기업 AI, 선도층과 초기층의 ROI 격차 심화

기업의 AI 활용에서 선도적인 활동을 하는 조직과 그렇지 않은 조직 사이에 투자수익률(ROI)의 명확한 격차가 발생하고 있다. 클라우드 콘텐츠 관리 기업 Box가 미국, 영국, 프랑스, 일본의 IT 의사결정자 1,640명을 대상으로 실시한 조사 '기업 내 AI 현황(State of AI in the enterprise)'에서 이러한 실태가 드러났다.

조사에서 특히 눈에 띄는 점은 지난 1년간 기업 AI 성숙도의 급속한 변화다. 자사의 AI 활용을 '선도적' 또는 '최선단'이라고 평가하는 조직의 비율은 불과 1년 만에 8%에서 64%로 크게 상승했다. 한편 '초기 단계' 또는 '미착수'라고 답한 조직은 53%에서 9%로 급감했다. 또한 응답 조직의 80%가 최소 10% 이상의 개선 형태로 AI 투자의 성과를 체감했으며, 절반 이상은 프로젝트 승인으로부터 6개월 이내에 측정 가능한 사업 효과를 얻었다고 답했다.

다만 성숙도의 차이는 성과의 차이로 직결된다. ROI가 25%를 초과한다고 답한 조직은 최선단층에서 50%에 달한 반면, 초기 단계 기업에서는 11%에 불과했다. 중간에 위치한 '선도' 층은 33%, '발전' 층은 16%으로 성숙도에 따라 단계적으로 격차가 벌어지고 있다. Box의 최고운영책임자인 올리비아 노테봄은 이러한 격차를 야기하는 것이 기술의 유무가 아니라 '통합과 관리의 엄밀함'이라고 지적한다. 선도 기업은 에이전트(자율적으로 작업을 수행하는 AI 프로그램)를 본운영 환경에 배포하고 반복적으로 사용 가능한 형태로 운영하는 반면, 초기 단계 기업은 개인 수준의 실험에 그치고 있다는 것이다.

성과의 격차를 야기하는 요인으로 조사가 드러낸 것이 '콘텐츠 접근' 문제다. 응답 조직의 96%가 AI 에이전트에는 자사 고유의 콘텐츠 접근이 필수적이라고 답했다. 그러나 다양한 활용 사례에 걸쳐 신뢰할 수 있는 콘텐츠에 에이전트를 연결할 수 있다고 답한 조직은 36%에 불과하다. 노테봄은 이 점에 대해 모델의 성능보다도 콘텐츠의 질과 안전성이 현재의 본질적인 과제라고 언급한다. 에이전트가 참조할 수 있는 콘텐츠의 질이 낮으면 산출 결과의 질도 떨어지고, 그 보안이 취약하면 위험도 높아진다는 뜻이다.

콘텐츠 기반을 정비하는 것에는 안전성 이외의 효과도 있다. 그동안 부서별로 분산되어 있던 데이터와 정보를 에이전트가 횡단적으로 다룰 수 있게 되어 조직 전체의 활용이 확대된다는 것이다. 달리 말하면, 콘텐츠층의 정비는 단순한 정보 관리의 문제가 아니라 AI를 조직의 실무에 접목할 때의 토대 마련으로 자리매김된다.

이 조사 결과가 보여주는 것은 기업 AI의 경쟁 축이 '어느 모델을 사용할 것인가'에서 '조직에 어떻게 접목할 것인가'로 이동하고 있다는 구도다. 선도층이 정비하고 있는 것은 에이전트를 배포하기 위한 전문 팀, 그 운영을 관리하는 거버넌스(통치) 체계, 그리고 일관된 콘텐츠 기반이라는 세 가지 요소이며, 이 세 가지가 갖춰져야 비로소 높은 ROI로 이어진다고 볼 수 있다.

앞으로 주목할 점은 현재 '발전' 단계에 있는 많은 기업이 이러한 격차를 어떻게 메워나갈 것인가 하는 부분이다. 기술 자체는 널리 활용 가능해지고 있는 한편, 거버넌스와 콘텐츠 관리 체계를 조직 내에 정착시키기 위해서는 시간과 체계가 필요하다. 성숙도의 차이가 성과의 차이로 가시화된 지금, 조직적인 정비에 나서는 기업과 그렇지 않은 기업 간의 격차가 앞으로 더욱 벌어질 가능성이 있다.