기업 GPU, 86%가 절반 이하의 가동률

AI 투자의 실태를 보여주는 조사 결과가 공표되었다. VentureBeat Research가 2025년 6월 실시한 조사에 따르면, 자사에서 GPU를 운영하는 기업의 86%가 그 가동률을 50% 이하라고 응답했다. 조사 대상은 종업원 100명 이상의 기업에 근무하는 573명의 기술 리더로, AI 시스템의 각 구성층에 걸친 5개의 병렬 조사로 실시되었다.

이 수치가 의미하는 바는, 많은 기업이 비용이 많이 드는 AI용 하드웨어를 구매·설치하면서도 실제로는 절반 정도만 활용하고 있다는 현실이다. AI용 GPU는 도입 비용이 매우 높아 기업에게 큰 설비 투자에 해당한다. 그럼에도 가동률이 낮다는 것은 투자에 맞는 성과가 나오지 않고 있을 가능성을 시사하고 있다. 월스트리트에서는 「AI 투자가 과도하지 않은가」라는 논의가 계속되고 있지만, 이번 조사는 정확히 구매측인 기업 자신이 측정한 데이터이며, 그 무게감은 작지 않다.

문제를 더욱 심각하게 하고 있는 것은 비용 파악의 불충분함이다. AI의 계산 비용이나 투자 효과를 「엄격히 추적하고 있다」고 응답한 기업은 44%에 불과하며, 나머지 기업은 대략적인 추정으로 운영하고 있다는 뜻이다. 또한 에이전트(자율적으로 작업을 수행하는 AI 프로그램)의 운영 비용을 청구서가 도착해서 처음 파악하는 「사후 관리」 상태에 있는 기업이 27% 존재한다는 점도 명백해졌다. 예산 상한 설정이나 실시간 모니터링 없이 운영이 계속되고 있는 것이다.

그럼에도 기업의 AI 투자 의욕은 약해지지 않고 있다. 향후 12개월 이내에 평가를 검토하고 있는 새로운 계산 기반으로서, AI에 특화한 클라우드 서비스(CoreWeave, Lambda, Crusoe, Nebius 등)를 꼽은 기업이 45%에 달한다. 한편 현시점에서 이러한 신흥 클라우드를 실제로 이용하고 있는 기업은 2% 미만에 불과하다. 관심과 현실 사이에는 큰 괴리가 있다.

Nvidia에 대한 의존도를 낮추는 움직임도 조사에서 읽힐 수 있다. 향후 12개월에서 평가할 가능성이 높은 신흥 계산 기반으로서, AWS의 Trainium, Google의 TPU, AMD 등 Nvidia 이외의 액셀러레이터를 꼽은 기업이 32%였다. 차세대 Nvidia GPU를 꼽은 기업의 28%를 약간 상회하고 있으며, GPU 시장에서 압도적인 점유율을 보유한 Nvidia에 대한 일정한 경계감이 엿보인다.

기업이 AI 에이전트의 관리 체제를 정비하기 전에 전개를 진행하고 있다는 점도 조사에서 부각되었다. 지난 12개월에서 에이전트 관련 보안 인시던트나 피해에 이르기 전에 발견된 경미한 사고를 경험한 기업이 54%에 달했다. 또한 향후 12개월 이내에 관리 체제의 각 층에서 벤더를 전환하거나 추가할 예정이 있다고 응답한 기업이 약 6할에 달하며, 분기 내 전환을 검토하고 있는 기업도 층에 따라서는 약 3할 존재한다.

이번 조사가 보여주는 전체상은 AI 도입의 속도와 관리 체제 정비가 맞물리지 않고 있다는 구조적 과제이다. 새로운 하드웨어나 클라우드 서비스에 대한 투자를 결정하기 전에, 먼저 수중의 GPU 가동률이나 워크로드별 비용을 정확히 파악하는 것이 우선 과제로 위치지어진다. 기업이 AI에 대한 지출을 정당화하기 위해서는, 투자 효과를 가시화하는 메커니즘의 구축이 기술 선택과 동등 이상으로 중요해진다는 관점을 할 수 있다.