AI 에이전트, 평가의 신뢰성에 기업의 우려 높아지다

사내 평가를 통과한 AI 에이전트나 대규모 언어 모델(LLM)의 기능이 실제 운영에서 사용자를 위한 장애를 야기한 경험을 가진 기업이 전체의 절반에 이르는 것으로 나타났다. 2026년 6월에 실시된 VB Pulse 조사(직원 100명 이상의 기업에서 157명의 담당자가 응답)에 따르면, 이 중 4개사 중 1개사는 유사한 실패를 여러 번 경험하고 있다. 다만 이 조사는 확률 표본이 아니라 자기선택형 샘플이므로, 결과는 경향으로 해석해야 한다는 점이 지적되고 있다.

이러한 실패가 계속되는 가운데 기업들은 자동화의 속도를 늦추지 않고 있다. 조사에서 응답자의 66%가 '이미 인간의 검토 없이 본번 환경으로의 배포를 일부 허용하고 있다' 또는 '향후 12개월 이내에 그러한 체계를 구축 중'이라고 답했다. 그러나 자동 평가 도구를 '완전히 신뢰한다'고 답한 비율은 겨우 5%에 불과하며, 자율성의 확대와 평가에 대한 신뢰도 사이에 큰 격차가 발생하고 있다.

왜 이러한 격차가 발생하는가, 그 배경에는 AI 에이전트의 동작 특성이 있다. 기존의 소프트웨어 테스트는 '특정 입력에 대해 기대하는 출력이 반환되는가'를 확인하는 형식이지만, AI 에이전트는 스스로 절차를 선택하고, 외부 도구를 호출하며, 데이터를 참조하면서 동작하기 때문에 실행할 때마다 결과가 달라질 수 있다. 개별 판단이 각각 타당해 보여도, 일련의 흐름 속에서 잘못된 최종 결과에 도달하는 경우가 있으며, 예를 들어 승인 없이 전송이 이루어지거나 기밀 정보가 유출될 위험이 있다.

자동 평가를 신뢰하지 않는 이유로 가장 많이 지적된 것은 '실제 운영 결과와의 괴리가 크다'는 것으로 29%, 다음으로 '편향이나 일관성의 부재'가 21%, '결과의 설명 어려움'이 18%, '데이터 유출이나 개인정보 보호에 대한 우려'가 17%였다. 이 순위가 시사하는 바는 기업이 문제시하는 것이 평가의 속도나 비용이 아니라, '점수가 실제 현장에서의 행동을 예측할 수 없다는 것' 자체라는 점이다.

미국국립표준기술연구소(NIST)도 생성 AI에 관한 지침서에서 유사한 과제를 지적하고 있다. 관리되는 환경에서의 측정은 프롬프트나 사용자, 문맥, 동작 조건이 바뀌는 실제 배포 환경에 그대로 적용되지 않을 수 있다고 언급하며, 필드 테스트, 배포 후 모니터링, 장애 보고 절차의 정비를 요구하고 있다.

한 번의 테스트에서 성공하는 것은 에이전트가 '그 작업을 수행할 수 있다'는 것을 보여줄 뿐, '안정적으로 수행할 수 있다'는 것의 증명이 아니다. 이는 에이전트 AI 특유의 과제라고 할 수 있다. 현재로서는 기업들이 에이전트를 먼저 출시하고, 거버넌스나 평가 체계는 나중에 정비하는 흐름이 되기 쉬우며, ID 관리, 비용 관리, 오케스트레이션과 같은 제어 계층의 정비가 후속으로 진행되는 구조가 있다.

향후 초점은 에이전트의 능력 자체보다 '신뢰성 확보'로 이동하고 있다고 볼 수 있다. 자동 평가를 신뢰할 수 있는 기업이 겨우 5%라는 현실은 평가, 모니터링, 거버넌스 관련 도구에 대한 수요가 높아질 기초가 되고 있으며, 에이전트 AI의 보급이 진행될수록 신뢰할 수 있는 평가 기반 구축이 산업 전체의 과제로 부상할 것이라는 견방을 할 수 있다.