Artificial Analysis、Intelligence Indexをv4.2に刷新

AIモデルの性能を比較・評価する指標「Intelligence Index」を提供するArtificial Analysisが、同指標のバージョン4.2を公開した。今回の更新は、直近のスコアリングに対して外部から疑問の声が上がっていた経緯を受けたものとみられる。

批判の焦点となっていたのは、OpenAIの最新モデル「GPT-6 Astra」のスコアリングだ。旧バージョンの指標では、GPT-6 Astraの実際の進歩を十分に反映できていないのではないかという懸念が一部の関係者から示されていた。AIモデルの評価指標は、その設計次第でモデルの能力を過小または過大に評価してしまうリスクをはらんでおり、この種の議論は業界で繰り返し起きている問題でもある。

バージョン4.2への更新によって、GPT-6 Astraのスコアは前世代のモデルと比べて4ポイント上昇した。ただし、AnthropicのモデルであるClaude Fable 5.1との比較では、依然としてGPT-6 Astraが下回る結果となっている。

この動きが示すのは、AIモデルの評価指標そのものの信頼性が、モデルの性能と同等かそれ以上に問われる時代になっているという点だ。どのモデルが「最も優れているか」という議論は、評価の物差しが変わるだけで順位が大きく動く。そのため、評価手法の透明性や妥当性を継続的に見直すプロセスが、業界全体にとって不可欠なものと位置づけられる。

Artificial Analysisのような第三者評価機関が果たす役割は、こうした文脈でより重要性を増している。各AIラボが自社モデルの優位性を主張しやすい現在の状況において、独立した評価機関による中立的なスコアリングは、企業や開発者がモデルを選ぶ際の重要な判断材料となる。一方で、その評価指標自体が批判にさらされることで、評価機関の信頼性も問われることになる。

今後の注目点は、バージョン4.2の更新内容が具体的にどのような評価手法の変更を伴うものだったのか、またその変更が他のモデルのスコアにどう影響するかという点だ。単一モデルへの批判を受けて行われた改訂が、指標全体の客観性を高めるものだったのかどうか、引き続き検証が必要といえる。