LLM 멀티에이전트 실패 원인을 자동으로 특정하는 연구

여러 인공지능 에이전트가 역할을 나누어 문제를 푸는 LLM(대규모 언어 모델) 멀티에이전트 시스템은 최근 다양한 분야에서 활용이 확대되고 있다. 그러나 이러한 시스템이 실제 과제를 수행하는 장면에서는 에이전트들이 활발하게 상호작용하고 있음에도 불구하고 최종 목표를 달성하지 못하는 경우가 적지 않다. 어떤 에이전트가 어느 시점에 실패를 초래했는지 특정하는 것은 지금까지 쉽지 않았다.

이 문제에 대응하기 위해 펜실베이니아 주립대학교(PSU)와 듀크대학교의 연구자들이 실패의 원인을 자동으로 귀속시키는 기법에 대한 연구를 진행 중이다. 멀티에이전트 시스템에서는 여러 구성 요소가 연계하여 동작하기 때문에 문제가 발생했을 때 '어디서' '무엇이' 병목이 되었는지를 수작업으로 추적하는 것은 매우 어렵다. 자동화를 통해 이 과정을 효율화하는 것이 연구의 주된 목적이다.

이러한 연구가 중시되는 배경에는 멀티에이전트 시스템의 실용상의 한계가 있다. 시스템이 복잡해질수록 실패의 원인이 단일 에이전트에 귀결되지 않고 여러 에이전트 간의 상호작용 속에 숨어 있을 수 있다. 원인 특정을 자동화할 수 있다면 시스템의 개선과 신뢰성 향상에 직접적으로 연결할 수 있다.

LLM을 활용한 멀티에이전트 시스템은 문서 요약, 복잡한 추론, 소프트웨어 개발 지원 등 광범위한 용도에서 주목받고 있다. 한편 시스템이 커질수록 내부에서 무엇이 일어나고 있는지 파악하기 어려워진다는 문제도 지적되어 왔다. 이번 연구가 목표로 하는 '실패 귀속의 자동화'는 이러한 투명성 문제에 응답하려는 것이다.

PSU와 듀크대학교에 의한 본 연구는 멀티에이전트 시스템의 신뢰성을 높이기 위한 기초적인 지견을 제공하는 것으로 위치지어진다. 어떤 에이전트가 문제의 발단이 되었고 언제 발생했는지를 체계적으로 밝혀내는 기법이 확립된다면 더욱 견고한 인공지능 시스템의 설계와 운영에 기여할 가능성이 있다.