AI에이전트의 거버넌스는 데이터 층에서 구현하라

AI에이전트에 인간의 승인 없이 계획·판단·실행을 수행하는 자율성을 부여하려는 움직임이 기업들 사이에서 확산되고 있다. 이러한 상황에 대응하여 엔터프라이즈 데이터베이스 기업인 EDB는 AI 거버넌스(제어 메커니즘)를 데이터 층에 내장할 필요성을 주장하고 있다. 에이전트가 부정행위를 시도할 때 실제로 무엇이 이를 멈추게 하는가라는 질문이 시스템 설계의 중심 과제로 떠오르고 있기 때문이다.

기존에는 AI의 제어가 에이전트의 상위 계층에 지시, 정책, 감시 메커니즘을 쌓아올리는 형태로 이루어져 왔다. 그러나 이 접근방식에는 구조적 한계가 있다. 에이전트의 출력은 확률적이며, 즉 완전히 예측 불가능한 특성을 지닌다. 자율성이란 바로 그 출력을 예측하기 어렵게 만드는 특성 자체이며, 조치가 발생하기 전에 이를 심사하는 거버넌스는 밀리초 단위로 여러 시스템에 걸쳐 작동하는 에이전트의 속도를 따라잡을 수 없다. EDB는 이 문제를 상황에 따라 정반대의 판단이 요구되는 '자동차 문'의 규칙에 비유하여 설명한다. 사전에 정해진 규칙은 판단이 실제로 필요한 순간까지 타당해 보이지만, 문맥이 바뀌면 반대의 행동이 정답이 될 수 있다.

이러한 배경에서 EDB는 거버넌스를 '실행 가능한 형태로, 에이전트가 실제로 작업을 수행하는 장소인 데이터 층에, 그리고 그 순간에' 적용할 것을 주장한다. 에이전트는 데이터에 대한 쿼리·조회·변환·조작을 통해 가치를 창출한다. 특정 데이터에 대한 접근을 금지하는 정책은 에이전트가 접근을 요청하는 그 순간에 시스템이 이를 거부할 수 있을 때 비로소 의미를 갖는다. 감시 가능성에 대해서도 마찬가지로, 에이전트가 무엇을 했는지·어떤 데이터에 접근했는지·어느 사용자를 위해 작동했는지·무엇이 일어났는지를 재구성할 수 있는 메커니즘이 필요하다.

데이터 층에 거버넌스를 두는 최대의 이점은 에이전트가 어떻게 구축되었는지, 또는 어떻게 작동하는지에 관계없이 제어가 일관되게 기능한다는 점이다. 제어가 에이전트의 '약속'이 아니라 데이터베이스 자체의 특성으로 존재하기 때문이다. EDB는 기업이 이미 데이터 층에서 운영하고 있는 '역할 기반·속성 기반의 접근 제어' 등의 메커니즘이 이를 실현하는 기반이 된다고 설명한다. 에이전트가 정책을 준수할 것을 모델에 맡기는 것이 아니라 시스템 쪽에서 정책을 강제하는 설계가 요구된다.

이 논의가 가지는 의미는 AI 활용을 추진하는 기업에게 작지 않다. AI에이전트의 자율성이 높아질수록 기존의 '사전에 지시를 내리고 예상대로 작동하는지를 지켜보는' 접근방식은 기능하기 어려워진다고 볼 수 있다. 특히 금융·의료·법률 등 데이터 취급에 엄격한 규제가 적용되는 영역에서는 거버넌스를 에이전트 외부에 의존하는 위험이 상대적으로 크다고 평가된다.

EDB가 제시하는 '데이터 층에서의 거버넌스 구현'이라는 개념은 AI에이전트의 설계를 둘러싼 논의에서 하나의 지침을 제시하는 것이라고 할 수 있다. 향후 에이전트에 부여하는 자율성의 범위를 확대하려는 기업에게 있어 무엇을 에이전트에 위임할 것인가뿐만 아니라 '어느 층에서 제어를 보장할 것인가'라는 설계 판단이 보안과 컴플라이언스 관점에서 중요한 평가 기준이 될 가능성이 있다.