기업의 AI 투자, 비용 관리가 따라가지 못하는 실태

기업의 AI 인프라 투자가 비용을 파악하고 관리하는 능력을 크게 상회하고 있다. VentureBeat Pulse Research가 107개 기업을 대상으로 실시한 조사에서 이러한 「컴퓨트 격차」라고도 부를 수 있는 괴리의 실태가 드러났다. AI 시스템을 전규모로 본번 운용할 수 있는 기업은 겨우 21%에 그친 반면, 인프라 지출 확대 의욕은 높아서 투자의 성숙도와 지출 페이스가 맞지 않는 상황이 나타났다.

AI의 처리 능력을 지탱하는 GPU(그래픽 처리 장치)의 가동 현황을 보면 문제의 심각성을 알 수 있다. 조사 대상 기업의 83%가 보유 중인 GPU의 이용률을 50% 이하라고 답했다. 즉, 구매한 처리 능력의 절반 이상을 사용하지 못하고 있는 기업이 대다수를 차지한다는 뜻이다. 나아가 자사의 AI 컴퓨트에 소요되는 비용을 엄밀히 파악하고 추적할 수 있다고 답한 기업은 44%에 미치지 못했다. 투자를 가속화하면서도 그 비용 대비 효과를 측정하는 체계가 정비되어 있지 않은 기업이 많다는 것을 보여준다.

인프라의 조달처에 대해서도 고정화는 진행되지 않고 있다. 조사에서 64%의 기업이 향후 12개월 이내에 인프라 제공 사업자를 변경하거나 추가할 의향을 가지고 있다고 답했다. 나아가 38%는 그 시기를 향후 3개월 이내라고 답했다. 이처럼 기초적인 카테고리에서의 제공자 변경 의향이 이토록 높은 것은 업계 전체가 조달 재검토 국면에 있음을 시사하고 있다.

사업자를 선택할 때의 판단 기준도 주목할 만하다. 기존 시스템과의 통합 용이성을 중시한다고 답한 기업은 41%, 총보유비용(TCO)을 중시한다고 답한 기업은 35%였다. 한편 표면상의 토큰 단가(AI가 텍스트를 처리할 때의 1단위당 요금)를 최중요시하는 기업은 8%에 그쳤다. 표면적인 가격보다 도입 후 운용 전체에 소요되는 비용과 사용 편의성을 중시하는 경향이 강해지고 있음을 알 수 있다.

향후 1년간 어떤 인프라를 평가·검토할 예정인지에 대한 질문에서 「AI에 특화된 클라우드 서비스」라고 답한 기업이 45%로 가장 많았다. 현재 이러한 서비스를 실제로 사용 중인 기업이 거의 없음에도 불구하고 다음의 투자처로서 가장 관심을 받고 있다는 계획과 실태의 괴리도 확인되었다. 또한 AI의 추론 처리가 대규모화됨에 따라 GPU의 연산 능력보다 메모리 대역폭(데이터를 주고받는 속도)이 병목이 된다는 업계적 변화에 대해서도 5개 기업 중 1개 정도가 아직 인식하지 못하거나 대응을 검토하고 있지 않은 단계에 있다.

이 조사가 보여주는 구도는 AI 투자의 「보이지 않는 비용」 문제로 정리할 수 있다. 지출의 확대 자체는 기업의 AI 활용에 대한 의욕을 반영하고 있지만, 사용하지 못하고 있는 GPU와 추적하지 못하고 있는 비용은 투자 효율의 저하를 초래할 위험을 내포하고 있다. 인프라 정비와 병행하여 비용 가시성의 체계를 정비하는 것이 향후 AI 활용의 경쟁력을 좌우하는 하나의 핵심이 된다고 볼 수 있다.

AI 인프라의 조달을 재촉하는 기업에게는 「무엇을 사느냐」와 마찬가지로 「현재 가진 것을 어떻게 다 사용하느냐·측정하느냐」가 문제되는 단계에 접어들었다고 할 수 있다. GPU의 가동률이나 운용 비용의 가시성이라는 「관리의 기반」에 투자하느냐 하지 않느냐가 향후 인프라 투자의 효과를 크게 좌우한다는 점에서 이 조사 결과는 업계 전체에 대한 문제 제기로서 받아들일 가치가 있다.