AI 에이전트 시대에 요구되는 '실행 중 신뢰'

기업용 AI가 새로운 단계로 전환되고 있다. 그동안의 AI는 질문에 답하는 '어시스턴트' 역할이 중심이었지만, 이제는 여러 도구를 호출하고 업무 시스템에 접근하며 인간의 개입을 거의 받지 않고 다단계 업무를 완료할 수 있는 '자율형 에이전트'가 기업 현장에 확산되고 있다. 이러한 변화에 따라 기존의 보안 관리 방식으로는 대응할 수 없는 새로운 위험이 드러나고 있다.

기존의 소프트웨어는 개발자가 미리 작성한 로직을 정해진 순서대로 실행할 뿐이었다. 반면 AI 에이전트는 목표를 달성하기 위해 어떤 도구를 사용하고 어떤 API를 호출하며 어떤 정보를 획득할지를 동적으로 판단한다. 이러한 유연성이 비즈니스 측면에서 큰 가치를 생성하는 반면, 보안 측면에서는 새로운 문제를 야기한다. AI 에이전트가 자율적으로 계속 움직이는 동안 그 행동이 정말 안전한지를 기존의 관리 수법으로는 파악하기 어렵기 때문이다.

현재의 AI 보안 논의 대부분은 프롬프트 인젝션(악의적 지시를 혼입시키는 공격), 모델의 취약성, 데이터 유출 같은 문제에 집중하고 있다. 이러한 것들은 확실히 중요한 과제이지만 문제의 일부에 불과하다. AI 에이전트가 정당한 인증을 거쳐 시스템에 진입한 후 자율적으로 계속 움직이는 단계에서는 기존의 보안 통제가 거의 기능하지 않는다는 점이 간과되기 쉽다.

기업의 보안은 지금까지 '당신은 누구인가', '무엇에 접근할 수 있는가', '어떤 작업이 허용되는가'라는 세 가지 질문을 중심으로 설계되어 왔다. 다중 인증(MFA), 역할 기반 접근 제어, 제로 트러스트 아키텍처 같은 수단은 인간 사용자나 기존형 애플리케이션에 대해서는 효과적으로 기능한다. 그러나 AI 에이전트는 정당한 ID로 인증을 통과하고 Microsoft 365, ServiceNow, Salesforce, GitHub 같은 업무 시스템에 대한 정규 접근 권한을 얻은 후에도 자신의 판단으로 계속 행동한다. 인증이 '누구인지'를 확인하는 데 그치는 반면, 에이전트가 실행 중에 '무엇을 하고 있는지'를 지속적으로 검증하는 메커니즘이 현행 체제에는 부족하다는 지적이다.

이 문제에 대응하기 위해 제기되고 있는 개념이 '런타임 트러스트(실행 중 신뢰 검증)'이다. 이는 인증 후에도 에이전트의 행동을 지속적으로 감시하고 사용자의 의도나 조직의 정책에 따라 움직이고 있는지를 실시간으로 확인하는 접근 방식을 가리킨다. 기존의 '입구에서의 확인'에서 '계속 움직이는 동안의 지속적 확인'으로 발상의 전환이 요구되고 있다.

현대의 AI 에이전트는 대규모 언어 모델(LLM), MCP(Model Context Protocol) 서버, RAG(검색 증강 생성) 시스템, 벡터 데이터베이스, 기업 API, SaaS 플랫폼, 사내 지식 저장소, 나아가 다른 AI 에이전트와도 연계하는 복잡한 에코시스템 속에서 작동한다. 이렇게 상호 연결된 환경에서는 하나의 도구가 침해되거나 지식 소스에 부정한 데이터가 혼입되기만 해도 그 영향이 시스템 전체에 파급될 위험이 있다. 자동화의 이점이 클수록 공격 대상이 되는 면도 넓어진다는 구조적 과제가 부각되고 있다.

AI 에이전트의 기업 도입이 가속화되는 가운데, 보안의 초점이 '입구의 관리'에서 '행동의 지속적 감시'로 이동하고 있다고 할 수 있다. 에이전트가 자율적으로 판단·행동하는 메커니즘을 활용하면서 그 행동이 조직의 의도에 얼마나 부합하는지를 검증하는 체계를 어떻게 구축할 것인가. 이는 앞으로 기업의 AI 활용 전략에서 피할 수 없는 과제가 될 것이라는 견해가 있다.