Meta와 UIUC, AI 에이전트의 자율적 하네스 제어 방식 발표

Meta의 인공지능 연구 부서와 일리노이 대학교 어바나-샴페인 캠퍼스(UIUC)의 공동 팀이 인공지능 에이전트의 행동을 제어하는 메커니즘을 자동으로 최적화하는 프레임워크 「EvoHarness-RL」을 발표했다. 인간 개발자가 손수 규칙을 작성하는 기존의 접근 방식을 재검토하여, 에이전트 자신이 환경에서 얻은 정보를 언제 읽어들이고, 업데이트하고, 정리해야 할지를 학습할 수 있도록 하는 것이다.

인공지능 에이전트가 복잡한 업무 태스크를 자율적으로 수행하려면 「하네스」라고 불리는 실행 제어 메커니즘이 필수적이다. 예를 들어, 대량의 고객 데이터를 낡은 시스템에서 새로운 클라우드 데이터베이스로 이행하는 것과 같은 장시간에 걸친 작업에서는, 에이전트가 자신의 기억(컨텍스트 윈도우)만으로 의존할 수 없다. 하네스는 서버의 로그와 같은 실행 중 피드백을 제공하고, 완료된 작업과 미완료 작업을 추적하며, 예기치 않은 오류가 발생했을 때의 복구 수단을 제공하는 역할을 담당한다.

지금까지의 일반적인 방식에서는 인간 개발자가 에이전트의 동작을 한 단계씩 세밀하게 기술한 규칙을 작성했으며, 에이전트는 그 스크립트를 충실히 실행하는 데 그쳤다. 공동 저자인 Xuying Ning은 이러한 수동 설계 접근 방식의 문제점을 명확히 지적한다. 「최적의 하네스는 모델에 따라 다르다. 모델이 바뀌면 필요한 프롬프트, 기억 설계, 권한 설정 등도 달라지기 때문에, 모든 것을 수동으로 작성하면 모델을 업그레이드할 때마다 오랜 조정·디버깅 작업이 발생한다」고 설명했다. 또한 과거의 경험을 단순히 쌓아나가기만 하는 기존의 기억 시스템에 대해서도, 「정보를 계속 추가하면서 문맥이 증가할수록 반드시 좋은 것은 아니며, 오히려 추론을 악화시킬 수 있다」고 언급했다.

EvoHarness-RL이 해결하려는 것은 장시간에 걸친 태스크(롱호라이즌 태스크)에서 발생하는 이러한 문제들이다. 「Harness-1」과 같은 기존의 자기진화형 프레임워크는 과거의 행동 기록을 축적하여 재사용 가능한 스킬로 정리하는 기능을 가지고 있는 반면, 실시간 상태 추적과 장기적 스킬 관리를 별도로 다루고 있었다. 즉, 에이전트가 「지금 이 순간에 무엇을 해야 할지」를 동적으로 판단하는 능력에 대해서는 충분히 훈련되지 않았던 것이다. EvoHarness-RL은 하네스에 추상화 계층을 추가하여, 이러한 즉시적인 환경 관리와 스킬 축적 양쪽 모두를 모델 자신이 학습할 수 있는 형태로 연결하는 설계가 되어 있다.

이러한 접근 방식이 의미하는 것은 인공지능 에이전트의 「범용성」을 높이는 방향으로의 일보라고 할 수 있다. 특정 모델이나 업무 흐름에 맞춰 개발자가 매번 하네스를 다시 작성할 필요가 없어지면, 엔지니어링 비용 절감에 이어질 뿐 아니라, 더욱 다양한 상황에서 에이전트를 활용하기 쉬워진다. 인공지능 분야에서는 현재 모델의 성능 자체의 향상과 함께, 에이전트가 얼마나 자율적이고 효율적으로 행동할 수 있는가 하는 「에이전트 기반의 설계」가 중요한 연구 영역으로 자리잡고 있으며, EvoHarness-RL은 그 흐름에 부합한 시도라고 할 수 있다.

앞으로 주목할 점은 이 프레임워크가 실제 업무 환경에서 얼마나 큰 확장성을 가지고 있을지 하는 부분이다. 연구 단계에서 보여진 성과가 기업의 현장에서 다루는 것과 같은 복잡하고 다양한 시스템 환경에서도 유효한지 여부는 계속 검증이 필요하다고 생각된다. 또한 강화학습(RL)을 이용하여 하네스 자체를 자동 최적화하는 방식은 향후 에이전트 설계의 표준적인 사고 방식 중 하나가 될 수 있다는 견해도 있다.