RAGコスト6分の1を実現するカスケード設計

RAG（検索拡張生成）を使った分類システムにおいて、すべての判断を大規模言語モデル（LLM）に委ねる設計は、コストと説明責任の両面で限界を抱えている。これを解決する手法として、処理を3段階に分けて振り分ける「カスケードアーキテクチャ」が注目されている。規制産業でのRAG実装経験をもとにした設計論として、推論コストを最大6分の1に抑えられるという考え方が示されている。

背景には、LLMをすべての処理の入り口として使う設計の構造的な問題がある。LLMは判断の根拠を再現するのが難しく、「モデルが文脈をもとに判断した」という説明は、規制当局やコンプライアンス担当者には通用しない。また、1日に数万件の案件を処理するシステムでは、すべてのケースにLLM呼び出しが発生するとコストと応答遅延がそのまま処理量に比例して増える。さらに、本来なら決まったルールで答えが出るはずの単純なケースに対しても、LLMは微妙なばらつきを生じさせることがある。これは検出しにくい形で一貫性を損なうという課題だ。

カスケード設計の第1段階は「決定論的処理」だ。完全一致の照合や構造化フィールドの比較など、明確なルールで解決できるケースをここで処理し、LLMを呼び出さない。このステージで全体の過半数以上を処理できるとされており、すべての判断はルールに基づく参照であるため、説明責任の観点からも透明性が高い。

第1段階を通過した曖昧なケースは、第2段階の「検索層」に進む。ここでは過去の審査員の判断や、表面上の矛盾を説明する文書、エッジケースを整理する過去の事例など、その曖昧さに直接関連する証拠を検索して引き出す。この設計では、検索の精度が生成の質よりも重要とされている。誤った文脈を検索してしまうと、どれだけ優れたLLMを使っても、もっともらしく論理的だが誤った答えを出すリスクがあるからだ。

そして第3段階でようやくLLMが登場する。LLMは「最前線」ではなく「最終的なエスカレーション先」として位置づけられる。この段階まで到達するのは、決定論的処理でも検索だけでも解決できなかった、本当に複雑な判断が必要なケースだけだ。結果として、LLMへの呼び出し回数は大幅に減り、推論コストの削減につながる。

この設計が示す意味は、AIシステムの費用対効果だけにとどまらない。金融や医療・法務など規制の厳しい領域では、判断の再現性と説明可能性が不可欠の要件となる。カスケード設計はその要件に応えながら、コストも抑えるという実用的な落としどころとして位置づけられる。LLMを万能の解答者として使うのではなく、その強みである「複雑な文脈での判断」にだけ集中させるという考え方は、エンタープライズAI設計の方向性のひとつとして注目に値する。

RAGシステムの設計において「何をLLMに渡すか」という選択そのものが、品質・コスト・説明責任のすべてを左右する。今後は、LLMを使う「量」よりも、LLMを使う「場面の選び方」の巧拙が、AIシステムの競争力を分ける軸になっていくという見方ができる。