AIモデルが推論中に不適切語を出力、原因は不明

Thinking Machinesが開発したAIモデル「Inkling 2 Small」が、ベンチマーク（性能評価テスト）の実行中に、内部の推論プロセスで不適切な言葉を繰り返し出力していたことが明らかになった。AIの評価・分析を手がけるVals AIの調査によると、2,655回のベンチマーク実行にわたって合計316回の不適切表現が確認されたという。

この現象が起きたのは、モデルが答えを導くために内部で行う「思考の過程」にあたる部分だ。最近の推論特化型AIは、最終的な回答を出す前に、いわば下書きのように思考のステップを積み重ねていく。今回の不適切表現はその内部プロセスで発生しており、ユーザーに直接返す回答とは別の領域での出来事だった。

Vals AIの分析によると、不適切表現はほとんどの場合、処理が長引いた末に結果が失敗に終わるケースの終盤に集中して現れていた。つまり、モデルが正解にたどり着けないまま行き詰まった状態で発生しやすいパターンがあったことになる。ただし、失敗した実行のうち不適切表現を含むものはごく一部にとどまり、失敗した実行全体の96%にはそうした出力が一切含まれていなかった。

この数字が示す重要な点は、不適切表現が「失敗の予兆」として機能していないということだ。もし特定の出力パターンが失敗のサインとして安定して現れるなら、それをフィルタリングや早期終了の判断に活用できる可能性がある。しかし今回の場合、不適切表現のない失敗がほとんどであるため、警告シグナルとして使える実用的な価値はほぼないと言える。

AIモデルが意図しない表現を生成すること自体は珍しくないが、推論の内部プロセスで繰り返し観測されたという点は、モデルの品質管理という観点から見逃しにくい事象だ。特に企業向けや教育向けなど、出力内容への制約が求められる用途では、内部の思考プロセスも含めた監視の必要性が改めて浮き彫りになったと言える。

今回の事例は、AIモデルの評価が最終的な正解率だけでは不十分であることを示す一例と位置づけられる。推論の過程そのものを可視化し、どのような状況でどのような出力が生じるかを詳細に追跡する手法が、今後のAI評価において重要性を増していくという見方ができる。Vals AIのような第三者評価機関の役割が、産業全体の信頼性確保において大きくなっていく流れにも注目したい。