기업의 AI 에이전트, 거버넌스가 따라가지 못하고 있다

많은 기업이 AI 에이전트를 먼저 도입하고 이를 안전하게 관리하기 위한 체계는 나중으로 미루고 있다. VentureBeat Research가 2025년 6월에 실시한 5가지 조사에서 이러한 실태가 드러났다. 조사 대상은 기업의 AI 구매에 관여하는 의사결정자 중심이었으며, 81%가 자사의 AI 조달을 권장하거나 결정하는 입장에 있었다. 현재 각 기업은 이미 도입된 에이전트에 사후적으로 관리 체제를 정비하려 하고 있으며, 향후 12개월 이내에 벤더를 전환하거나 새로 추가할 계획이 있다고 답한 기업은 5가지 관리 영역 모두에서 57~68%에 달했다.

이번 조사에서는 기업이 에이전트를 신뢰하고 운영하기 위해 필요한 5가지 관리 영역을 측정했다. 구체적으로는 '어떤 에이전트가 무엇을 할 수 있는지'를 정의하는 '신원 및 권한 관리', 에이전트의 산출물 품질을 확인하는 '평가', 운영 비용을 파악하는 '비용 가시성', 에이전트가 참조하는 업무 데이터와 정의를 제공하는 '컨텍스트 계층', 그리고 복수 단계에 걸친 에이전트 작업을 조율하는 '오케스트레이션'이다. 이들은 모두 에이전트가 인간의 감시 없이 작동할 때 필수적인 기반이 된다.

그러나 현재로서는 'AI 에이전트'라고 불리는 것의 대부분이 실제로는 일반적인 챗봇에 가깝다. 71%의 기업이 자사에서 운영 중인 '에이전트' 중 복수 단계의 작업을 자율적으로 수행할 수 있는 것이 전체의 4분의 1 이하라고 답했으며, 진정한 의미의 에이전트가 과반수를 차지한다고 답한 기업은 불과 10%에 불과했다. 일문일답형 챗봇이라면 위의 5가지 관리 기능이 거의 불필요하지만, 자율적으로 복수의 처리를 연쇄시키는 진정한 에이전트에는 모두 필요하다. 문제는 많은 기업이 자사의 '에이전트'가 어느 쪽에 해당하는지 파악하지 못하고 있다는 점이다.

안전을 보장해야 하는 '평가'의 신뢰성도 낮은 상태에 있다. 에이전트가 평가를 통과하면 인간의 검토 없이 본운영 환경에 코드나 시스템 변경을 반영하는 운영을 이미 도입했거나 12개월 이내에 실현하려는 기업은 전체의 3분의 2에 달한다. 한편 그 판단을 맡기게 되는 평가 체계를 '완전히 신뢰한다'고 답한 기업은 불과 5%에 그쳤다. 더욱이 내부 평가를 통과한 에이전트가 지난 1년 이내에 고객 대면 서비스에서 장애를 일으켰다고 답한 기업은 전체의 절반에 달하고 있으며, 평가 결과와 실제 운영 결과 사이에 큰 괴리가 있음을 보여주고 있다.

보안 측면에서도 심각한 문제가 있다. 69%의 기업이 복수의 에이전트에 동일한 API 키나 서비스 계정을 공유시키고 있다. 이러한 '인증 정보 공유'를 일부라도 하고 있는 조직에서는 보안 사건이나 그 미수 경험 비율이 63.5%(74개 조직 중 47개)였다. 이에 반해 모든 에이전트에 개별 신원과 권한을 할당하고 있는 조직에서는 같은 비율이 40.9%(22개 조직 중 9개)에 불과했으며, 인증 정보 관리 방식이 위험에 직결되어 있음을 알 수 있다.

이 조사 결과가 보여주는 구조적 문제는 '속도 우선으로 도입했지만 안전 관리가 뒤따라가고 있다'는 비대칭성이다. 에이전트의 자율성이 높아질수록 한 번의 오류가 고객이나 업무에 미치는 영향도 커진다. 현 시점에서는 많은 기업이 관리 체제 정비를 '추가 투자'로 예산을 배정하고 있으며, 거버넌스가 사후적이 되고 있다는 평가를 할 수 있다. 에이전트 AI의 본격적 활용을 위해서는 도입과 관리를 동시에 설계하는 '보안 바이 디자인' 발상으로의 전환이 앞으로의 초점이 될 것으로 예상된다.