GoogleDeepMind、Gemma 4を拡散モデルに転用

Google DeepMindは、既存の言語モデル「Gemma 4」を拡散モデルへと転用した「DiffusionGemma」を開発した。ゼロから新しいモデルを訓練するのではなく、元の訓練コストの10%未満で構築したとしており、開発効率の面で注目される取り組みだ。

そもそも、テキスト生成AIには大きく2つのアプローチがある。一つは「自己回帰モデル」と呼ばれる方式で、単語をひとつずつ順番に生成していく仕組みだ。ChatGPTやGeminiなど、現在主流の大規模言語モデルの多くはこの方式を採用している。もう一つが「拡散モデル」で、画像生成AIで広く使われてきた技術をテキストに応用したものだ。拡散モデルはノイズから段階的に情報を復元する仕組みを持ち、複数の要素を並列に処理できる点が特徴とされる。

DiffusionGemmaは、256トークンを同時並列で生成する。これにより、1秒あたり約1,500トークンという処理速度を実現したとGoogle DeepMindは示している。トークンとは、AIがテキストを処理する際の最小単位で、おおむね1〜2文字程度に相当する。単語を一つひとつ順に出力する自己回帰方式と比べると、並列処理による速度上の優位性が見込める構造だ。

一方で、品質面では課題も残っている。ベンチマーク評価において、DiffusionGemmaの性能は元の自己回帰モデルを下回っており、特に推論を必要とするタスクでの差が大きいとされる。推論タスクとは、複数のステップを経て答えを導き出す問題のことで、現時点では拡散モデル方式の弱点になっているという見方ができる。

この取り組みが持つ意味として、まず「既存モデルの再利用」という視点が挙げられる。大規模言語モデルの訓練には膨大なコストと時間がかかるため、すでに訓練済みのモデルを別のアーキテクチャへ転用できるとすれば、研究の進め方に変化をもたらす可能性がある。10%未満のコストで別方式のモデルを構築できたという今回の事例は、その一つの実証例と位置づけられる。

テキスト向け拡散モデルの研究自体は、ここ数年で複数の研究機関が取り組む分野になっている。しかし、自己回帰モデルとの性能差を埋められるかどうかは、今後の研究次第という段階にある。速度面の優位性を保ちながら推論能力を高められるかが、この分野の焦点になるという見方ができる。

Google DeepMindが既存資産を活用してアーキテクチャの多様化を進めている点は、テキスト生成AIの技術開発が「一つの方式への集約」から「複数アプローチの並行探索」へと向かう流れを示す動きとも読める。DiffusionGemmaが現時点で完成形ではないとしても、低コストでの転用可能性を示したこと自体が、今後の研究コミュニティに一定の示唆を与えるものと言えそうだ。