MIT와 하버드가 「역할 일탈」을 방지하는 AI 기술 발표

MIT와 하버드 대학교의 연구자들이 복수의 AI 모듈을 조합한 시스템에서 발생하는 「역할 일탈(Role Drift)」이라는 문제를 발견하고, 이를 억제하는 기술 「Role Anchor」를 발표했다. 이 문제는 AI 시스템 전체의 정확도가 향상되는 것처럼 보이면서도, 내부에서는 개별 모듈이 본래의 역할을 수행하지 않게 되는 현상을 가리킨다.

복합 AI 시스템이란 복잡한 작업을 복수의 전문 모듈에 분담시키는 구조다. 예를 들어 RAG(검색 증강 생성)이라는 시스템에서는 외부 문서를 검색하는 「검색 모듈」과 그 결과를 바탕으로 답변을 생성하는 「독해 모듈」이 연계하여 작동한다. 본래 독해 모듈은 검색 결과만을 바탕으로 답변해야 하지만, 시스템 전체를 최적화하는 과정에서 이 모듈이 자신의 내부 지식을 사용하여 답변하게 되는 것이 확인되었다. 그럼에도 최종적인 정답률은 계속 상승하기 때문에 문제가 드러나기 어렵다.

이러한 문제가 발생하는 배경에는 AI 파이프라인의 최적화 기법이 있다. 엔지니어는 통상적으로 강화학습을 사용하여 시스템을 최적화할 때 최종 답변이 정확한지 여부라는 단 한 가지 지표(터미널 정확도)만을 평가 기준으로 사용한다. 논문의 공동 저자인 Xiaoyang Cao는 VentureBeat의 취재에 대해 「터미널 정확도는 복잡한 시스템 전체의 동작을 하나의 수치로 압축한다. 최종 답변이 정확한지는 알 수 있지만, 어느 모듈이 기여했는지, 각각이 할당된 역할을 수행했는지는 알 수 없다」고 밝혔다. 역할 일탈은 이 맹점 속에서 조용히 진행된다.

연구팀이 제안한 Role Anchor는 각 모듈이 학습 중에 자신의 역할에서 일탈하지 않도록 제약을 가하는 기술이다. RAG의 독해 모듈이라면 검색 결과에 기반하여 답변하도록 강제하고, 내부 지식으로의 지름길을 막는다. 이를 통해 역할 일탈을 억제하면서 시스템 전체의 성능을 유지할 수 있다고 한다.

이 연구가 보여주는 실용상의 위험은 명확하다. Cao는 「엔지니어팀에게 있어서의 현실적인 위험은 모든 엔드투엔드 평가를 통과하면서도 의도한 분업이 내부에서 조용히 붕괴된 파이프라인을 운영 환경에 배포해버릴 가능성이 있다」고 지적한다. 터미널 정확도만 신뢰하는 것은 시스템이 「정확한 답변을 산출하지만 정확한 이유로는 작동하지 않는」 상태를 놓치는 위험을 내포하고 있다고 할 수 있다.

복합 AI 시스템의 활용은 더 저렴한 모델에 처리를 분산시키거나 서브태스크를 병렬 처리하기 위해 확산되고 있다. 이러한 시스템이 기업의 업무나 의사결정에 통합되어 가는 중에, 각 모듈이 설계대로 작동하고 있는지를 검증하는 수단의 중요성은 증가할 것으로 예상된다. Role Anchor는 그 검증 도구로서도 기능한다고 알려져 있으며, 복합 AI의 신뢰성 평가라는 새로운 과제에 대한 하나의 접근 방식으로 위치지어진다.

향후에는 터미널 정확도라는 단일 지표에만 의존하지 않고, 모듈별 거동을 독립적으로 평가하는 구조를 어떻게 설계할 것인가가 AI 시스템 개발의 실천적인 논점이 될 것이라는 견해를 할 수 있다. Role Anchor는 그 물음에 대한 기술적 해답의 하나이지만, 복합 AI가 다양한 형태로 보급됨에 따라 같은 문제 의식에서 나오는 접근 방식이 증가할 것으로 예상된다.