기업의 AI 투자, 비용 관리가 따라가지 못하다

기업의 AI 기반 투자가 급가속하는 한편, 그 비용을 정확히 파악하고 관리할 수 있는 기업은 절반에도 미치지 못한다. VentureBeat가 2026년 6월(2분기)에 실시한 조사에서 직원 100명 이상의 107개사를 대상으로 이러한 실태가 드러났다. 대규모 지출이 먼저 진행되는 가운데 비용 전망이 따라가지 못하는 '계산 자원의 격차'가 기업의 AI 활용에 있어 구조적인 과제로 부상하고 있다.

AI를 이미 본번 환경에서 본격적으로 운영하는 기업은 전체의 21%에 불과하다. 그럼에도 불구하고 향후 1년간 투자를 평가하고 확대할 계획으로 가장 많이 언급된 것이 AI 전용 클라우드 서비스(45%)였다. 이러한 AI 전용 클라우드는 현재 대부분의 기업이 활용하지 않는 영역이며, 실제 운영 성숙도와 투자 의욕 사이에 큰 괴리가 발생하고 있는 상황이라고 할 수 있다.

기존 인프라의 활용 효율에도 과제가 있다. 조사 대상 기업의 83%가 GPU(AI 처리에 사용하는 전용 칩)의 가동률이 50% 이하라고 답했다. 절반 이상의 자원이 놀고 있는 계산이 된다. 더욱이 자사의 AI 계산 비용을 엄밀히 추적하고 관리할 수 있다고 답한 기업은 44%에 불과하며, 과반수가 비용의 실태를 정확히 파악하지 못하고 있다.

인프라 제공 사업자의 선택에도 변동이 보인다. 64%의 기업이 향후 12개월 이내에 인프라 프로바이더를 변경하거나 새로 추가할 계획이라고 답했으며, 38%는 향후 1분기 이내에 이를 수행할 의향을 보였다. 기간 인프라 분야로서는 예외적으로 높은 전환 의향이라고 할 수 있다. 프로바이더 선정 기준으로는 기존 시스템과의 연동 용이성(41%)과 총소유비용(35%)이 상위를 차지했으며, 토큰당 단가를 최중요시한다고 답한 기업은 8%에 불과했다.

또한 AI가 대량의 요청을 처리하는 '추론' 처리에 있어서는 GPU(계산 능력)보다 메모리의 전송 속도가 실질적인 제약이 되는 기술적 전환이 일어나고 있다. 그러나 이 동향을 아직 인식하지 못하거나 대응에 착수하지 않았다고 답한 기업이 전체의 약 5분의 1을 차지하고 있으며, 다음의 투자 판단에 영향을 미칠 수 있는 변화가 간과되고 있을 가능성이 있다.

이 조사 결과는 기업의 AI 투자가 '구매 판단'과 '관리 능력' 사이에서 크게 균형을 잃고 있는 상태를 나타내고 있다. 인프라 구매 속도가 비용 파악 체계를 상회하고 있는 한 지출의 최적화나 투자 대비 효과 설명이 어려워진다는 위험이 발생한다. AI 투자가 기업 전략의 중핵에 자리잡게 된 지금, 예산 배분의 타당성을 묻는 목소리가 경영층에서 높아질 가능성이 있다는 견방을 할 수 있다.

향후 초점은 투자의 양에서 '효율'로 어떻게 이행할 수 있는가에 있다. GPU 가동률의 개선, 비용 가시화 도구의 정비, 그리고 추론 비용의 구조 변화에 대한 대응이 다음 단계에서 기업의 AI 경쟁력을 좌우하는 요인이 될 것으로 자리잡혀진다. 투자를 가속화하는 것만이 아니라 이미 가진 자원을 얼마나 영리하게 사용할 수 있는가가 기업에 있어 다음 문제가 되어가고 있다.