Artificial Analysis, 지능지수 평가 기준 혁신

복수의 AI 모델을 횡단적으로 비교·평가하는 플랫폼 'Artificial Analysis'가 동사의 주요 평가 지표인 'Intelligence Index'의 산출 방식을 대폭 개선했다. 이번 변경에 따라 중국 AI 스타트업 Moonshot AI가 개발한 모델 'Kimi K3.1 Pro'의 순위가 5단계 하락했다.

Artificial Analysis는 복수의 AI 모델을 성능·비용·속도 등의 관점에서 비교할 수 있는 제3자 평가 서비스로 알려져 있으며, 개발자와 기업이 모델 선정 시 참고하고 있다. 동 서비스가 공표하는 Intelligence Index는 이러한 평가의 핵심에 위치하는 지표로, 업계 내에서도 주목도가 높다. 이번 개선은 그 근간을 이루는 산출 기준 자체를 변경하는 것이다.

이번 혁신으로 드러난 점은, 오픈모델(공개된 모델)과 클로즈드모델(비공개·상용 모델) 간의 평가상 차이가 신기준 하에서 더욱 선명해졌다는 것이다. 구체적인 평가 기준의 변경 내용과 양자의 차이가 어느 정도 벌어졌는지에 대해, Artificial Analysis는 상세 내용을 발표했다. 순위 변동의 영향을 가장 크게 받은 사례로 Kimi K3.1 Pro의 5단계 하락이 확인되었다.

평가 기준의 변경이 순위에 직접 영향을 미친 이번 사례는 AI 모델의 '평가 자체의 어려움'을 다시금 부각시킨다고 볼 수 있다. 무엇으로 모델의 지능을 측정할 것인가라는 물음 자체가 미해결 상태이며, 평가 방법의 설계에 따라 순위는 크게 변동한다. 개발 측에 있어서도, 하나의 지표에 의존한 모델 최적화가 장기적인 우위성을 보장하지 않는다는 리스크가 있다고 위치 지어진다.

또한 오픈모델과 클로즈드모델의 차이가 평가상에서 벌어지고 있다는 이번 시사는, 업계 전체의 구도를 읽어내는 데 있어 중요한 관점을 제공한다. 근래 Meta사의 'Llama' 시리즈 등 오픈모델의 성능 향상이 두드러진 한편, OpenAI나 Anthropic 같은 기업의 클로즈드모델과의 비교가 자주 논의 대상이 되어왔다. 신기준이 그 차이를 어떻게 재해석했는지는 향후 논의에 일정한 영향을 미칠 수 있다고 볼 수 있다.

제3자 평가 플랫폼의 기준 변경은 모델을 제공하는 기업의 평판이나 채택 판단에도 파급될 수 있다. 개발자 커뮤니티와 기업의 AI 담당자에게 있어, 평가 지표 자체의 설계와 변경 경위를 지속적으로 파악하는 것이 적절한 모델 선정의 전제로서 더욱 중요해진다고 위치 지어진다. Artificial Analysis의 향후 지표 설계 동향은 업계의 투명성이라는 관점에서도 계속해서 주목할 가치가 있다.