대형 3사, AI에이전트 보급의 벽은 모델이 아닌 기반에 있다

LinkedIn, Walmart, Zendesk——규모도 업종도 다른 3사가 각각 독자적으로 AI에이전트의 본격 운영에 착수한 결과, 같은 결론에 도달했다. 문제는 AI 모델의 성능이 아니라 그 아래에서 동작하는 시스템 기반에 있다는 것이다. 이 통찰은 2026년 컨퍼런스 'VB Transform 2026'의 패널 토론에서 공유되었다.

원래 기업용 시스템의 대부분은 인간이 조작하는 것을 전제로 설계되어 왔다. 인간이 클릭하고, 승인하고, 작업을 진행하는 속도에 맞춰 동작하면 충분했기 때문이다. 그런데 AI에이전트는 인간이 따라잡을 수 없는 밀리초 단위로 처리를 진행한다. 이 '속도의 근본적인 차이'가 본격 환경에서 다양한 장애를 일으켰다. 각 사가 직면한 것은 바로 이 갭이었다.

LinkedIn에서는 컨테이너 관리 시스템인 Kubernetes가 첫 번째 장벽이 되었다. 필요할 때 컨테이너를 시작하는 기존 방식은 몇 초가 걸렸으며, 에이전트의 처리 속도에 비해 너무 느렸다. 따라서 미리 컨테이너를 준비해두는 '사전 풀 방식'으로 전환하여 처리를 실시간으로 교체할 수 있는 체계를 구축했다. 나아가 어려운 과제로 부상한 것은 에이전트의 제어 방법이었다. AI가 다른 AI의 출력을 평가하는 구조에서는 평가하는 쪽도 같은 실패를 하기 쉽다는 단점이 있었다. LinkedIn은 이에 대해 워크플로우의 약 80%를 결정론적 스크립트로 처리하고, AI에 의한 추론이 필요한 장면만으로 한정하는 설계로 전환했다.

Walmart이 직면한 과제는 성공에 따른 문제였다. 사내용 AI에이전트 개발 환경을 공개한 결과, 엔지니어 외의 일반 직원들도 독자적으로 에이전트를 만들기 시작했으며, 내부에서 빠르게 확산되었다. 그 결과 같은 목적을 가진 에이전트가 다수 중복되어 생겨났고, 관리가 어려워졌다. 대책으로 중복을 감지하고 우수한 에이전트를 선별하여 본격 환경으로 승격시키는 '거버넌스' 체계를 정비했다. 개발의 자유도를 제한하기보다는 무질서하게 확산된 에이전트를 정리·통제하기 위한 체제를 구축한 것이다.

Zendesk 출신의 사미 고우시 씨는 동사의 2026년 3월 Forethought 인수를 거쳐 현직에 취임했다. 동씨가 지적한 병목은 데이터 쪽에 있었다. 대규모 데이터 자산을 보유하는 것은 강점이 되는 한편, 어떤 데이터를 에이전트에 참조하게 할지에 대한 설계가 실제 응답 품질에 직결된다. 데이터의 설계와 관리가 뒤로 밀리면, AI의 처리 속도가 아무리 빨라도 결과의 품질이 따라가지 못한다는 현실을 동씨는 실제 경험을 통해 설명했다.

이 3사의 사례가 보여주는 것은 AI에이전트를 '시험해보는 단계'에서 '조직이 실제로 사용하는 단계'로 이행하려면 모델의 개선만으로는 충분하지 않다는 점이다. 컨테이너의 시작 속도, 평가 로직의 설계, 거버넌스 체제, 데이터 관리——이러한 겉으로 평범해 보이는 기반의 문제가 에이전트의 본격 운영에 있어 실질적인 제약이 되고 있다.

AI 투자가 모델 개발에 집중되는 가운데, 이러한 사례들은 '기반 정비가 보급의 핵심'이라는 관점을 뒷받침하는 것이라고 할 수 있다. 향후 각 사의 에이전트 활용이 얼마나 횡전개될 수 있을지, 그리고 거버넌스와 기반 정비가 업계 전체에서 어떻게 표준화될지가 주목할 논점이 될 것이다.