기업 AI의 진정한 위험은 에이전트 간 복잡성에 있다

기업이 AI 에이전트를 대규모로 운영하는 상황에서 거버넌스(관리·통제 체계)가 따라가지 못한다는 구조적 과제가 드러나고 있다. 단일 에이전트를 운영하는 단계에서는 보이지 않던 문제가 에이전트의 수가 늘어나 서로 연동되기 시작하는 순간 급속도로 복잡화하여 전체상을 파악하기 어려워지기 때문이다.

그 복잡성은 에이전트의 수에 비례해서 증가하지 않는다. 에이전트가 10개 있다면 서로의 호출 경로는 이론상 그것을 훨씬 초과하는 조합이 된다. 어떤 에이전트가 다른 에이전트를 호출하고, 그 호출이 또 다른 처리를 시작하는 — 이러한 연쇄가 쌓이면 1건의 지원 대응이 인간의 눈에 닿기 전에 4개의 에이전트를 통과하는 상황도 발생할 수 있다. 각각의 인계 지점은 의사결정의 포인트이지만, 그 하나하나를 누군가가 승인한 기록은 없다.

이러한 상황에서 특히 문제가 되는 것이 '권한의 비대화'이다. 어떤 에이전트가 지원 티켓 요약이라는 목적으로 만들어질 때 적절한 권한 범위를 설정하는 수고를 덜기 위해 넓은 API(시스템 간 연결 지점) 접근이 부여되는 경우가 있다. 6개월 후 그 에이전트가 결제 시스템으로의 경로를 가지고 있다 해도 누구도 그것을 승인한 기억이 없다 — 실제로는 누구도 승인하지 않았기 때문이다. 더불어 여러 에이전트가 하나의 업무 흐름에 관여할 때 도중에 문제가 발생해도 '누가 책임을 질 것인가'를 물을 수 있는 담당자가 없는 경우가 생기기 쉽다.

이 과제의 첫 번째 단계로 각 에이전트에 고유한 ID(식별 정보)와 그 에이전트가 다룰 수 있는 권한의 범위를 명확히 정의하는 것이 필요하다고 지적된다. 나아가 그 에이전트의 동작에 대해 책임을 지는 담당자를 명시적으로 정하는 것도 필수적이다. 그러나 이것만으로는 부족하며 개별 에이전트의 관리에 머물지 않고 연동의 '사슬' 전체를 통한 감시 체계가 필요하게 된다.

보안팀에 '어느 에이전트가 어느 시스템에 접근할 수 있는가'라고 물었을 때 즉시 답변이 돌아오지 않는 기업은 적지 않을 것으로 보인다. 3단계 전의 에이전트가 어떤 처리를 일으켰는지를 추적할 수단이 없다면 문제가 발생했을 때 원인을 특정하기도 시정하기도 어렵다. 이러한 상황은 거버넌스 체계가 에이전트의 실제 동작에 따라가지 못하고 있음을 보여준다.

일시점의 승인 로그를 쌓기만 하는 접근 방식으로는 연쇄적으로 동작하는 에이전트 군의 관리에 한계가 있다. 필요한 것은 연쇄 전체를 횡단하여 지속적으로 감시할 수 있는 기반이라는 관점이 있다. 에이전트의 수와 연동의 복잡성이 앞으로 더욱 증가할 것으로 예상되는 가운데 이 거버넌스의 공백을 어떻게 채울 것인가가 기업의 AI 활용에 있어 실질적 과제로 자리잡게 된다.

향후 주목해야 할 점은 에이전트의 ID 관리나 권한의 명확화 같은 기술적 정비와 병행하여 조직으로서의 책임 체계를 어떻게 설계할 것인가 하는 부분이다. AI 에이전트가 업무의 심부에 들어갈수록 '누가 무엇에 책임을 질 것인가'라는 물음은 더욱 절실해진다. 도구나 체계의 정비뿐만 아니라 이를 운영하는 인간 측의 체계 구축이 문제가 되고 있는 단계라는 관점이 있다.