기업 AI 에이전트, 비용과 안전의 함정

기업이 AI 에이전트를 본격적으로 도입하는 단계에서 직면하는 과제들이 다시 한 번 정리되고 있다. Red Hat에서 포트폴리오 전략 선임 이사를 맡고 있는 Brian Gracely가 VentureBeat이 개최한 AI Impact 이벤트에서 비용 관리, 보안, 조직 문화의 세 가지 관점에서 현장의 실태를 설명했다.

AI 에이전트에 대한 뒤처짐을 과도하게 걱정하는 기업 리더들이 많지만, Gracely에 따르면 실제로는 한 번 구축을 시작한 팀이 예상보다 빠르게 학습 곡선을 올라가는 경우가 많다고 한다. 즉, "경쟁사에 크게 뒤처지고 있다"는 불안감은 현실보다 과장된 측면이 있다는 견해다. 다만 학습의 빠른 속도 자체가 또 다른 문제를 야기한다. 에이전트의 사용 범위가 넓어질수록 AI에 들어가는 비용도 급속도로 증가하며, 엔지니어링의 과제였어야 할 비용 관리가 경영진 회의의 의제로 격상되어 버린다.

비용 증가의 배경에는 AI 에이전트의 사용량이 챗봇 시대에 비해 "자릿수가 다르게 많다"는 현실이 있다. 더욱이 소수의 모델 공급 기업에 대한 의존이 집중되어 있다는 점도 기업의 우려 사항이다. Gracely는 "대형 2~3개 업체의 공급업체는 이미 적자를 공표했으며, 그 적자를 메우기 위해 주식 상장을 목표로 하고 있다"고 지적한다. 그 위에서 "결국에는 매우 높은 비용을 계속 지불하거나, 다른 선택지를 찾아 스스로 통제하는 두 가지 선택지 중 하나가 될 것"이라며 특정 공급업체에 대한 과도한 의존 위험을 강조했다.

비용 절감에서 가장 즉시적 효과가 높은 것은 작업의 복잡성에 따라 AI 모델을 구분해서 사용하는 것이라고 Gracely는 설명한다. "보험 청구 처리만 한다면, 서양 문명의 역사나 축구 점수까지 학습한 모델은 불필요하다"는 말이 보여주듯이, 작업에 비해 과도한 모델을 계속 사용하는 것이 불필요한 지출을 만드는 최대 요인이다. 이를 자동화하는 방식이 "의미론적 라우팅"으로, 요청의 내용을 자동으로 분류하여 각각에 맞는 크기의 모델로 진행한다. 더불어 반복이 많은 쿼리를 캐싱(임시 저장)해 두면 GPU에 의한 재계산 빈도를 낮출 수 있다.

이러한 기법들이 보여주는 것은 효율성과 성능의 트레이드오프가 반드시 피해야 할 것이 아니라는 점이다. Gracely는 "GPU 인프라 계층에서 할 수 있는 일은 많으며, 모델의 유연성이라는 측면에서도 할 수 있는 일이 상당하다. 효율을 우선하고 싶을 때도, 혁신을 우선하고 싶을 때도, 어느 쪽에든 대응할 수 있는 선택지가 갖춰져 있다"고 말했다. 적절한 설계와 구성에 따라 비용을 줄이면서 고도의 에이전트를 운영하는 것이 현실적인 선택지가 될 수 있다.

AI 에이전트의 보안은 기존의 챗봇과는 다른 고유의 위험을 내포하고 있다. 에이전트는 외부 시스템으로의 접근이나 자율적인 의사결정을 수행하므로, 공격의 "공격 표면"이 훨씬 넓다. Gracely는 이러한 자율형 시스템에 특유한 보안상의 허점을 조직이 충분히 인식하지 못하고 있다고 경고했다. 또한 에이전트 채택이 일부 추진자를 넘어 조직 전체로 확산되지 않는 원인으로, 기술적 문제보다 조직 문화적 마찰이 더 크다고도 지적했다.

이러한 현장의 지식이 보여주는 전체 그림은 엔터프라이즈 AI의 "다음 장벽"이 모델의 성능이 아니라 운영에 있다는 견해를 뒷받침하는 것이다. 비용, 보안, 조직의 세 가지 과제는 모두 기술 선택만으로는 해결할 수 없으며, 경영, 제도, 문화의 변혁과 함께 추진해야 한다. AI 에이전트의 도입을 시험 단계에서 본격 전개로 이행할 수 있는 기업과 그렇지 못한 기업의 차이는 정확히 이 영역의 대응 능력에 나타난다.