Artificial Analysis, Intelligence Index를 v4.2로 갱신

AI 모델의 성능을 비교·평가하는 지표인 "Intelligence Index"를 제공하는 Artificial Analysis가 해당 지표의 버전 4.2를 공개했다. 이번 업데이트는 최근의 스코어링에 대해 외부에서 의문의 목소리가 제기되었던 경위를 받은 것으로 보인다.

비판의 초점이 되었던 것은 OpenAI의 최신 모델인 "GPT-6 Astra"의 스코어링이었다. 이전 버전의 지표에서는 GPT-6 Astra의 실제 진전을 충분히 반영하지 못하는 것은 아닐까 하는 우려가 일부 관계자로부터 제시되었다. AI 모델의 평가 지표는 그 설계 방식에 따라 모델의 능력을 과소 또는 과대 평가할 위험을 안고 있으며, 이러한 종류의 논의는 업계에서 반복적으로 발생하는 문제이기도 하다.

버전 4.2로의 업데이트를 통해 GPT-6 Astra의 스코어는 이전 세대 모델과 비교하여 4포인트 상승했다. 다만 Anthropic의 모델인 Claude Fable 5.1과의 비교에서는 여전히 GPT-6 Astra가 뒤처지는 결과가 나왔다.

이러한 움직임이 보여주는 것은 AI 모델의 평가 지표 자체의 신뢰성이 모델의 성능과 동등하거나 그 이상으로 문제시되는 시대가 도래했다는 점이다. 어떤 모델이 "가장 우수한가"라는 논의는 평가의 척도가 바뀌기만 해도 순위가 크게 변한다. 따라서 평가 방법의 투명성과 타당성을 지속적으로 검토하는 프로세스가 업계 전체에 필수적인 것으로 위치지어진다.

Artificial Analysis와 같은 제삼자 평가 기관이 수행하는 역할은 이러한 맥락에서 더욱 중요성이 증대되고 있다. 각 AI 연구소가 자사 모델의 우월성을 주장하기 쉬운 현재의 상황에서 독립적인 평가 기관에 의한 중립적인 스코어링은 기업이나 개발자가 모델을 선택할 때의 중요한 판단 자료가 된다. 한편 그 평가 지표 자체가 비판에 노출됨으로써 평가 기관의 신뢰성도 문제시되게 된다.

향후 주목할 점은 버전 4.2의 업데이트 내용이 구체적으로 어떤 평가 방법의 변경을 수반하는 것이었는지, 그리고 그 변경이 다른 모델의 스코어에 어떻게 영향을 미치는지 하는 점이다. 단일 모델에 대한 비판을 받아 실시된 개정이 지표 전체의 객관성을 높이는 것이었는지 여부에 대해 계속해서 검증이 필요하다고 할 수 있다.