Google、LLMの「忠実な不確実性」を提案

大規模言語モデル（LLM）が引き起こすハルシネーション（事実誤認）は、企業のAI活用における大きな障壁であり続けている。Googleの研究者たちがこの問題に新たなアプローチで挑んだ論文が注目を集めている。

研究チームが提唱するのは「忠実な不確実性（faithful uncertainty）」という概念だ。これはモデルの応答を、モデル自身が内部で持つ確信度と一致させるメタ認知的な手法である。この仕組みにより、モデルは「答えるか、答えないか」という二択の判断に縛られることなく、「おそらくこうだと思いますが……」といった適度に留保を持たせた形で回答できるようになる。

現在、ハルシネーションを抑制しようとすると、避けられないトレードオフが生じる。エラーを減らすほど、本来は正しく答えられる質問にも回答を控えてしまうという問題だ。論文ではこれを「ユーティリティ税（utility tax）」と呼んでいる。

共著者でGoogleのリサーチサイエンティストを務めるGal Yona氏はVentureBeatの取材に対し、「ハルシネーションを減らすための介入策の多くが、実際には本番環境に導入されない理由がここにある」と説明した。「ハルシネーションは確かに減るが、モデルが実際には知っている質問にも答えなくなってしまうため、有用性が損なわれるのです」とYona氏は述べた。

その深刻さを示す具体的なデータも示されている。誤答率25%のモデルを5%にまで厳格に抑えようとした場合、正しい回答の52%を捨てることになるという。つまり、ゼロハルシネーションを追求するあまり、正確な情報の半数以上が握り潰されてしまうのだ。

「忠実な不確実性」は、この問題を解決するカギとなる。モデルが自らの知識の境界を正確に把握できるようになれば、内部知識で対応可能な場面と、外部ツールや検索APIの呼び出しが必要な場面とを的確に判断できる。これは、自律的に動作するエージェント型AIシステムにおいて特に重要な制御レイヤーとなる。

研究チームは、LLMの事実性を改善する方法として大きく2つを挙げている。1つはモデルにより多くの知識を教えること、もう1つは自分が何を知らないかをモデル自身が認識できるようにすることだ。Yona氏は「モデルの容量には限界があり、知識の裾野は事実上無限だ」と指摘しており、後者のアプローチの重要性を強調する。「忠実な不確実性」は、この2つ目の課題に真正面から取り組む試みとして、エンタープライズAIの実用化に向けた有望な一歩と言えそうだ。