NvidiaがAIモデル間のKVキャッシュ転送技術を開発

Nvidiaの研究者が、複数のAIモデルを組み合わせたシステムにおけるコストと遅延を大幅に削減できる技術を開発した。「クロスモデルKVキャッシュ転送」と呼ばれるこの手法では、あるモデルが保持する会話履歴の記憶データを、別のモデルが使える形式に変換して引き継ぐことができる。実験では、対応するモデルの組み合わせにおいて、従来の方式と比べて2.7〜25倍の高速化を達成し、精度も対象モデル単独時の最大98%を維持できることが確認された。

この技術が解決しようとしている課題を理解するには、LLM（大規模言語モデル）がどのように会話を処理しているかを知る必要がある。LLMは入力を受け取ると、まず「プリフィル」と呼ばれる処理を行い、それまでの会話内容をすべて読み込んでKVキャッシュ（Key-Valueキャッシュ）と呼ばれる記憶領域に格納する。その後の「デコード」フェーズでは、このキャッシュを参照しながら次のトークン（単語のかたまり）を順番に生成していく。キャッシュがあることで、過去の会話内容を毎回ゼロから計算し直す必要がなくなるため、処理が効率化される仕組みだ。

問題が生じるのは、会話の途中でモデルを切り替えようとしたときだ。たとえばAIエージェントシステムでは、軽い処理は小さなモデルに任せ、複雑な推論が必要になった段階でより大きなモデルに引き継ぐといった設計がある。しかしモデルが異なれば内部構造も異なるため、KVキャッシュのデータ形式に互換性がない。このため切り替えを行うたびに、引き継ぎ先のモデルはそれまでの会話をゼロから再計算しなければならず、処理コストと応答時間の増大につながっていた。会話が長くなるほど、またモデルが大きくなるほど、この再計算コストは膨らむ。

Nvidiaが開発した手法は、この問題を「線形変換」という比較的シンプルな数学的処理によって解決する。送り出し側モデルのKVキャッシュを、受け取り側モデルが期待する形式に変換するマッピングを行うことで、プリフィル処理を再実行せずに記憶データを引き継げるようにした。深層学習モデルのような計算コストの高い仕組みを用いないことも、この手法の特徴の一つだ。

この技術が持つ意義は、単なる処理速度の改善にとどまらない。複数のLLMを組み合わせた「マルチモデルワークフロー」は、コスト効率や能力の最適化を図るうえで有望なアプローチと位置づけられるが、モデル切り替えのたびに生じる再計算コストがボトルネックとなり、実用化の障壁になってきた側面がある。クロスモデルKVキャッシュ転送はこの障壁を低くする可能性があり、長期的なタスクを扱うエンタープライズ向けAIシステムの設計に選択肢をもたらすという見方ができる。

一方で、実験の結果はあくまで「互換性のあるモデルの組み合わせ」における数値であり、すべてのモデルペアに同様の効果が得られるかは現時点では明らかでない。アーキテクチャの差異が大きいモデル間での転送精度や、実際のプロダクション環境での挙動については、今後の検証が必要な領域として残っている。この技術がどのモデル・フレームワークで利用可能になるか、またどのような条件下で効果を発揮しやすいかが、今後の注目点となる。