AI 에이전트의 의사결정을 가시화하는 Kiji Inspector

Dataiku의 엔지니어인 Hannes Hapke가 AI 에이전트가 도구를 선택하는 이유를 내부에서 밝히는 방법을 발표했다. 동사의 오픈소스 도구 'Kiji Inspector'를 사용하여 AI의 판단 과정을 분석하는 구체적인 접근법이 공유되었다.

AI 에이전트란 주어진 목표를 향해 자율적으로 행동을 선택하고 필요에 따라 외부 도구나 정보 출처를 활용하는 AI 시스템을 의미한다. 최근 이러한 에이전트형 AI의 실용화가 진행되는 한편, '왜 그 도구를 선택했는가'라는 판단의 근거가 인간에게는 보기 어렵다는 문제가 지적되어 왔다. 이는 AI의 신뢰성과 안전성을 평가할 때 업계 전체가 안고 있는 과제라고 할 수 있다.

Kiji Inspector가 주목하는 것은 AI가 판단을 내리는 순간 생성하는 '결정 토큰'이라 불리는 데이터다. 여기에 SAE(스파스 오토인코더, 즉 입력 데이터의 중요한 특징만 추출하는 압축·복원 모델)를 직접 적용함으로써 어떤 내부적 특징이 판단에 영향을 미치는지를 부각시킨다. 또한 '인과적 제거'라는 기법도 사용된다. 이는 AI의 특정 내부 처리를 의도적으로 무효화했을 때 출력이 어떻게 변하는지를 봄으로써 인과관계를 확인하는 방법이다.

기술적 구현 측면에서는 vLLM 엔진(대규모 언어 모델을 고속으로 실행하기 위한 추론 프레임워크)에 패치를 적용함으로써 AI의 각 레이어의 활성화 상태를 외부에서 획득할 수 있도록 하고 있다. 이 메커니즘을 사용하면 판단의 어느 단계에서 무엇이 일어나는지를 층별로 추적할 수 있다. 또한 본번 환경에서의 모니터링 워크플로우에 통합하는 방법에 대한 설명도 제공되고 있으며, 실제 시스템 도입을 염두에 둔 내용이 되어 있다.

이번 발표가 특히 의의 있는 이유는 기존의 '설명 가능 AI' 기법과의 차이점에 있다. 지금까지 널리 사용되어 온 '체인 오브 소트(사고의 연쇄)'는 AI가 자신의 추론을 말로 설명하도록 하는 접근방식이지만, 그 설명이 실제 내부 처리를 정확히 반영하고 있다고 볼 수 없다. Kiji Inspector는 이러한 표면적인 설명에 의존하지 않고 모델 내부의 수치적 상태를 직접 분석한다는 점에서 보다 심도 있는 접근법으로 위치 지어진다.

이 도구는 소프트웨어 아키텍트와 시니어 엔지니어링 리더를 주요 대상으로 설계되었다. AI 에이전트를 본번 환경에 배포·운영하는 입장의 사람들에게 있어 판단의 투명성을 보장하는 것은 시스템의 신뢰성을 유지하는 데 불가결한 요소다. 오픈소스로 공개되고 있다는 점도 광범위한 개발 현장에서의 활용을 촉진하는 요인이 될 수 있다.

AI 에이전트의 활용 범위가 확대됨에 따라 판단 과정의 감사와 설명 책임에 대한 요구도 높아질 것으로 예상된다. Kiji Inspector처럼 내부 상태를 직접 분석하는 기법이 보급되면 엔지니어가 AI의 행동을 더욱 엄밀히 파악할 수 있게 되어 문제의 조기 발견과 품질 관리의 정도 향상으로 이어질 것이라는 견해가 가능하다. 향후 유사한 접근 방식이 다른 도구나 프레임워크에도 확산되는지 여부가 주목할 사항이 된다.