마이크로소프트, 모델 변경 없이 AI 스킬 자동 최적화

마이크로소프트는 AI 에이전트의 "스킬"을 자동으로 최적화하는 오픈소스 프레임워크 "SkillOpt"를 새로이 공개했다. MIT 라이선스로 제공되는 이 도구는 모델의 가중치(파라미터)에 전혀 손을 대지 않으면서도 에이전트의 동작을 정의하는 스킬 문서를 지속적으로 개선할 수 있다는 점이 최대의 특징이다.

AI 에이전트에서 "스킬"이란 마크다운 형식(.md)의 텍스트 파일에 기술된 지시문 그룹을 의미한다. 도메인 특화 휴리스틱, 도구 사용 정책, 출력 제약 조건, 알려진 오류 패턴 등이 포함되어 있으며, 에이전트가 복잡한 업무 흐름에 대응하기 위한 외부 인터페이스로 기능한다. 모델의 가중치를 바꾸지 않고도 동작을 커스터마이징할 수 있다는 장점이 있는 한편, 스킬 문서 자체의 최적화는 지금까지 인력에 의존할 수밖에 없었다.

종래에는 스킬의 개선이 담당자가 파일을 수동으로 다시 작성하고 어떤 변경이 성능 향상으로 이어지는지를 시행착오를 통해 시도하는 "추측" 작업이었다. 마이크로소프트 리서치 아시아의 시니어 리서치 SDE인 Yifan Yang은 이 과제를 다음과 같이 설명한다. "문제는 스킬을 변경할 수 있는지 여부가 아니라, 그 변경이 실제로 개선이 될 것이라는 보장이 없다는 점이다. 스텝 크기 제어가 없어서 스킬이 점차 악화되고, 검증이 없어서 겉으로는 문제없어 보이는 수정이 은밀히 성능을 저하시키며, 더욱이 실패한 편집 기록이 남지 않아서 같은 오류가 반복된다——이 3가지 실패 패턴이 계속 발생한다".

SkillOpt는 이러한 과제에 대해 딥러닝 최적화 기법을 텍스트 문서에 적용하는 방식으로 대응한다. 스킬의 .md 파일을 학습 가능한 객체로 취급하고, 에이전트의 실행 결과에서 얻은 성능 피드백을 바탕으로 그 내용을 체계적으로 업데이트한다. 수학적 규율을 텍스트 최적화에 도입함으로써 무질서한 변경을 방지하고, 변경이 실제로 성능 향상으로 이어지고 있는지를 지속적으로 검증할 수 있는 메커니즘을 실현했다.

각종 산업 벤치마크의 평가에서 SkillOpt는 기존 방법을 크게 앞도는 결과를 보여주었다. GPT-4.5 및 Qwen 같은 모델에서 현저한 정확도 향상이 확인되었으며, 최적화된 스킬은 "컴팩트하고 전이 가능한 아티팩트"로서 새로운 도메인에의 적용도 용이하다고 한다. AI 에이전트의 실용화가 가속화되는 가운데, 모델 본체에 손을 대지 않으면서도 에이전트의 전문성을 높일 수 있는 SkillOpt는 기업이 AI를 업무에 통합할 때의 유력한 선택지가 될 것으로 보인다.