AIエージェント、評価の信頼性に企業の懸念高まる

社内評価を通過したAIエージェントや大規模言語モデル（LLM）の機能が、実際の運用でユーザー向けの障害を引き起こした経験を持つ企業が、全体の半数に上ることがわかった。2026年6月に実施されたVB Pulse調査（従業員100人以上の企業から157人の担当者が回答）によると、そのうち4社に1社は同様の失敗を複数回経験している。なお、この調査は確率標本ではなく自己選択型のサンプルであるため、結果は傾向として読み取るべきものとされている。

こうした失敗が続く一方で、企業は自動化のペースを落としていない。調査では、回答者の66%が「すでに人間によるレビューなしで本番環境へのデプロイを一部許可している」か、「今後12か月以内にそうした仕組みを構築中」と答えた。しかし自動評価ツールを「完全に信頼する」と答えた割合はわずか5%にとどまっており、自律性の拡大と評価への信頼度の間に大きなギャップが生じている。

なぜこのギャップが生まれるのか、その背景にはAIエージェントの動作の特性がある。従来のソフトウェアテストは「特定の入力に対して期待する出力が返るか」を確認する形式だが、AIエージェントは自ら手順を選び、外部ツールを呼び出し、データを参照しながら動作するため、実行のたびに結果が異なる場合がある。個々の判断がそれぞれ妥当に見えても、一連の流れの中で誤った最終結果に至るケースがあり、例えば承認なしに送信が行われたり、機密情報が漏れたりするリスクがある。

自動評価を信頼しない理由として最も多く挙げられたのは「実際の運用結果との乖離が大きい」で29%、次いで「偏りや一貫性のなさ」が21%、「結果の説明しにくさ」が18%、「データ漏洩やプライバシーへの懸念」が17%だった。この順位が示すのは、企業が問題視しているのは評価の速度やコストではなく、「スコアが実際の現場での振る舞いを予測できないこと」そのものだという点だ。

米国国立標準技術研究所（NIST）も、生成AIに関するガイダンスの中で同様の課題を指摘している。管理された環境での測定は、プロンプトや利用者、文脈、動作条件が変わる実際のデプロイ環境にそのまま適用できない場合があると述べており、フィールドテスト・デプロイ後のモニタリング・障害の報告プロセスの整備を求めている。

1回のテストで成功することは、エージェントが「その作業をこなせる」ことを示すにすぎず、「安定してこなせる」ことの証明にはならない。これはエージェントAI特有の課題といえる。現状では、企業はエージェントを先にリリースし、ガバナンスや評価の仕組みは後から整備するという流れになりがちで、ID管理・コスト管理・オーケストレーションといった制御レイヤーの整備が後追いになっている構図がある。

今後の焦点は、エージェントの能力そのものより「信頼性の担保」に移りつつあると見ることができる。自動評価を信頼できる企業がわずか5%という現実は、評価・モニタリング・ガバナンス関連ツールへの需要が高まる素地となっており、エージェントAIの普及が進むほど、信頼できる評価基盤の構築が産業全体の課題として浮上していくという見方ができる。