OpenAI、AIコーディング評価指標の3割に欠陥と指摘

OpenAIは、AIモデルのプログラミング能力を測る目的で広く使われてきたベンチマーク「SWE-Bench Pro」を検証した結果、全タスクの約30%に不具合が含まれることを確認した。これを受けて同社は、これまで示していたSWE-Bench Proへの支持を撤回している。

SWE-Bench Proは、実際のソフトウェア開発で生じる課題を模した問題をAIに解かせることで、モデルの実用的なコーディング能力を評価する仕組みだ。こうした「ベンチマーク」は、AIモデルの性能を比較・選定する際の共通の物差しとして、研究者や企業に広く利用されてきた。特にコーディング分野では、プログラムを書く補助ツールの精度評価に直結することから、業界での活用が進んでいた。

今回OpenAIが明らかにしたのは、SWE-Bench Proに含まれるタスクのうち約30%が「壊れている」、つまり正常に機能しない状態にあるという事実だ。ベンチマークそのものに欠陥があれば、その結果に基づくモデルの評価も正確さを欠く可能性がある。OpenAIはこの検証結果を根拠に、同ベンチマークへの推奨・支持を取り下げることを決めた。

この問題が持つ意味は小さくない。AIモデルの性能評価は、どのモデルを採用するか、どの製品を信頼するかという判断に直接影響する。評価の土台となるベンチマークに大きな欠陥があれば、「このモデルはコーディングが得意だ」という主張の根拠自体が揺らぐことになる。業界全体が同じ物差しを使ってモデルを比較してきた分、その物差しの信頼性が問われる事態は広範な影響をもたらしうると言える。

AIの評価指標をめぐっては、以前から「ベンチマークに過学習したモデルが実用場面では期待通りに動かない」という問題が指摘されてきた。今回の件はそれとは性質が異なり、評価問題そのものの設計や動作に欠陥があったという点で、より根本的な課題を突きつけている。信頼できる評価基準を整備することが、AIの実用化が進む中でいっそう重要な課題として浮かび上がっている。

今後は、SWE-Bench Proの修正や代替ベンチマークの整備がどのように進むかが注目点となる。また、他のベンチマークにも同様の問題が潜んでいないかを再点検する動きが広がるかどうかも、業界全体の評価の信頼性を左右する重要な観点と位置づけられる。