AI 모델을 동적으로 선택하는 「ACRouter」, 비용을 2.6분의 1로 감소

연구팀이 새로운 오픈소스 프레임워크 「Agent-as-a-Router」와 그 구체적인 구현체인 「ACRouter」를 공개했다. 이 시스템은 AI에 대한 질문(프롬프트)을 상황에 맞게 최적의 모델로 자동으로 분배하는 「모델 라우팅」에 에이전트라고 불리는 자율적인 AI의 구조를 결합한 것이다. 테스트에서는 고성능한 상위 모델에 항상 의존하는 방식과 비교하여 비용을 2.6분의 1로 억제하면서도 기존의 정적 라우터보다 정확도에서 우수한 결과가 나타났다.

모델 라우팅이란 간단히 말해 「어떤 질문을 어느 AI 모델에 맡길 것인가」를 자동으로 판단하는 구조다. 복잡한 추론이 필요한 작업에는 처리 능력이 높은 고비용 모델을 사용하고, 단순한 작업에는 경량이고 저렴한 모델을 할당함으로써 품질을 유지하면서 비용을 억제할 수 있다. 기업이 AI를 본격적으로 활용하기 시작할수록 이 분배의 신숙함이 비용 효율성에 직결되기 때문에 엔터프라이즈 AI의 기반 기술로 주목을 받고 있다.

지금까지의 라우팅 기법은 주로 2가지 종류가 있었다. 하나는 개발자가 「이 키워드가 포함되어 있으면 모델 A로」라는 규칙을 미리 손으로 작성하는 「휴리스틱 방식」이다. 다른 하나는 과거의 데이터로 기계학습한 분류 모델이 질문 내용을 보고 모델을 선택하는 「정적 학습 정책 방식」이다. 둘 다 공통의 문제를 안고 있으며, 한 번 설정한 규칙이나 모델이 고정되기 때문에 실제로 그 모델이 작업을 성공시켰는지 여부를 피드백으로 학습할 수 없다.

연구팀은 이 문제를 「정보 부족」이라고 표현하고 세 가지 구체적인 한계로 정리했다. 첫째는 실행 중에 새로운 결과를 축적할 수 없는 「고정 정보 상태」다. 둘째는 기업 데이터나 사용자의 행동이 변화했을 때 학습 당시의 데이터와 현실이 어긋나는 「분포 외 일반화 실패」다. 셋째는 새로운 모델이 등장했을 때 오래된 분류기가 즉시 구식이 되어버리는 「모델 교체에 대한 취약성」이다. 코딩이나 에이전트형 워크플로우 같은 실제 업무에 가까운 환경에서 테스트한 결과, 이러한 정적 방식에는 정확도의 명확한 상한이 존재함이 확인되었다.

Agent-as-a-Router는 이 한계를 극복하기 위해 라우터 자체를 에이전트(자율적으로 판단·행동하는 AI)로 설계했다. 구체적으로는 「컨텍스트·액션·피드백(C-A-F 루프)」이라고 부르는 구조를 도입하여 각 모델에 대한 할당 결과——성공했는지 실패했는지——를 지속적으로 기록·축적한다. 이 기억을 활용하여 라우터의 판단을 동적으로 업데이트하기 때문에 새로운 모델이 추가되거나 사용자 행동이 변화해도 대응할 수 있다. 또한 대규모 모델의 추가 학습이나 복잡한 규칙 기술을 필요로 하지 않고 도입할 수 있다는 점도 특징으로 꼽힌다.

이 구조가 가진 의미는 AI 인프라의 설계 사상의 전환이라는 관점에서 파악하면 이해하기 쉽다. 종래의 라우팅은 「미리 정한 규칙으로 동작시킨다」는 정적 인프라에 가까운 발상이었지만, Agent-as-a-Router는 「경험으로부터 계속 배우는 시스템」으로 바꾸는 것을 목표로 하고 있다. 기업이 AI를 한 번 도입해서 끝나는 것이 아니라 모델의 세대 교체나 업무 내용의 변화에 계속 따라가야 하는 지금의 상황을 생각하면, 자기 최적화하는 기반 기술에 대한 수요는 앞으로도 높아질 것으로 보인다. 모델 라우팅 영역에서 이러한 동적 접근법이 어디까지 실용화될지 계속 주목할 가치가 있다.