AIエージェント、実務ベンチマークで12%未満に

半導体・AI分野の調査機関SemiAnalysisが、AIエージェントの実務能力を測る新しいベンチマーク「GDPx」を公開した。チップ設計から量的金融取引（クオンツトレーディング）まで、実際のビジネス現場を模した幅広い領域でAIを評価する仕組みで、現時点で最も高いスコアを出したモデルでも12%を超えることができなかった。

AIエージェントとは、指示を受けて自律的にタスクをこなすAIシステムのことだ。近年、各社が「人間の代わりに複雑な業務をこなせる」とアピールする製品を次々に投入しており、業界全体でエージェントへの期待が高まっている。しかしその評価には、文章の生成精度や知識問答といった単純な指標が用いられることが多く、実際の業務でどこまで役立つかを測る基準が整っていないという指摘が以前からあった。GDPxはそうした課題意識から設計されたベンチマークと位置づけられる。

今回の評価で首位に立ったのは、AnthropicのClaude Opus 5.5だった。GoogleのGemini 4 Carbonがそれに僅差で続いている。ただし、両者のスコアはいずれも12%に届いておらず、差は僅かなものにとどまる。SemiAnalysisが公開した結果によると、テストの対象となった主要モデルはいずれも同様に低い水準に並んでいる。

一方で、このベンチマーク自体への批判的な見方も存在する。各領域に割り当てられたタスク数が少なく、テスト条件にばらつきがある点が問題として指摘されている。サンプル数が少なければ、偶発的な結果がスコアに大きく影響する可能性があり、モデル間の優劣を正確に反映しているとは言い切れないという見方ができる。

それでも、今回の結果が示すことは小さくない。現在のAIエージェントは、実務に近い複合的なタスクに対してまだ限定的な能力しか持っていない可能性を、数値として明示したからだ。チップ設計や金融分析といった専門性の高い業務では、正確さと多段階の判断が求められる。現段階のモデルがそこに追いついていないとすれば、「AIが人間の仕事を代替する」という見通しの前提を見直す材料になるという見方ができる。

今後注目すべきは、GDPxが業界標準としての地位を確立するかどうかだ。ベンチマーク自体の設計が精緻化され、タスク数や評価条件が整備されれば、AIエージェントの実力を測るより信頼性の高い物差しになり得る。各社がこの評価指標にどう応答するか、また次世代モデルでスコアがどう変化するかが、今後の重要な観察点となる。