AIの「ど忘れ」は知識不足ではなく引き出し失敗

大規模言語モデル（LLM）が誤った情報を生成する「ハルシネーション（幻覚）」が起きたとき、開発者の多くはモデルが必要な知識をそもそも持っていないと判断する。そのため、モデルを大きくしたり、学習データを増やしたり、外部データベースから情報を取り込む仕組み（RAG：検索拡張生成）を構築したりといった対策が取られてきた。しかし、GoogleリサーチとイスラエルのTechnion工科大学の研究者らが発表した新たな研究は、この前提を根本から問い直している。

研究チームの実験によると、GPT-5やGemini-3などの最先端モデルは、テストした事実の95〜98%をパラメータ（モデル内部の記憶領域）としてすでに保持していることが確認された。つまり問題の大半は「知識の欠如」ではなく、「知識をうまく引き出せないこと」にあるという。この発見は、ハルシネーション対策の方向性を見直す根拠となりうる。

研究チームは、モデルの知識を評価する新しい枠組みとして「ファクトレベルプロファイリング」を提案した。従来の評価は「質問に正しく答えられたか否か」を見るものだったが、この手法では一つの事実を複数の角度や言い回しから繰り返し問い、モデルが本当にその情報を内部に持っているかどうかを詳細に調べる。研究者らは「エンコーディング（記憶）の失敗」と「リコール（想起）の失敗」は通常の精度指標では区別できないが、原因も解決策もまったく異なると指摘している。

この枠組みに基づき、研究チームは知識の状態を五つのプロファイルに分類した。事実を記憶しており即座に答えられる「直接想起」、記憶も想起もできない「エンコーディング失敗（空の棚）」、記憶はしているのに引き出せない「リコール失敗（鍵の紛失）」などが含まれる。たとえば「Oasisが初めてライブを行ったのはBoardwalkクラブ」という事実を例に挙げ、モデルがそのままの文脈では再現できるのに、「Oasisが初めてライブを行った場所は？」という問いかけには答えられないケースを示している。

この研究が実用面で示唆することは大きい。知識の不足ではなく「引き出しの難しさ」が主な問題であれば、モデルの再学習や大規模なデータ追加よりも、推論時の計算量を増やしたり、問い方を工夫したりすることで改善できる可能性がある。研究者らも「リコール失敗に対しては、モデルがすでに持っている知識をより効果的に活用させる事後学習的なアプローチが有効」と論文内で述べている。

AIシステムの信頼性向上を目指す開発現場にとって、この視点の転換は費用対効果の面でも意味を持つと言える。より大きなモデルや外部データベースへの依存を減らせるとすれば、インフラコストの削減にもつながりうる。一方で、「エンコーディング自体が失敗している事実」については依然としてデータ拡充やモデル拡大が必要であり、二つの失敗タイプを正確に見分けることが前提となる。今後は、この分類をどのように実際のシステムへ組み込んでいくかが注目点となりそうだ。