ドイツ研究連合、オープンLLM「Soofi S」を公開

ドイツの研究コンソーシアムが、大規模言語モデル「Soofi S 30B-A3B」を公開した。このモデルはドイツ・ミュンヘンにあるドイツテレコムのクラウドインフラ上で、一から学習させて開発されたものだ。完全なオープンモデルとして公開されており、英語とドイツ語の両方のベンチマークで、同様の公開モデルの中で最高水準の性能を記録している。

大規模言語モデルの世界では、英語を中心に学習されたモデルが圧倒的多数を占める。英語以外の言語、特にドイツ語のような欧州言語に対して高い性能を発揮するモデルは依然として少なく、多言語対応は長らく課題とされてきた。また、クラウドインフラを含めた開発の地域的な分散という観点でも、AIの主要な研究拠点が米国や中国に集中している現状がある。今回の取り組みはそうした流れとは一線を画すもので、欧州主導のAI開発という文脈に位置づけられる。

Soofi Sは総パラメータ数が316億あるが、1回の処理（1トークン）あたりに実際に使われるパラメータはその一部に限られるハイブリッドアーキテクチャを採用している。これは「スパース活性化」とも呼ばれる仕組みで、全パラメータを毎回フルに動かすのではなく、必要な部分だけを選んで計算する。このため、文章が長くなっても処理速度が落ちにくいという特性を持つ。学習データはドイツ語の比重を意図的に高めており、ドイツ語対応の強化を開発の中心に据えた設計となっている。

ベンチマーク（モデルの性能を比較するための標準的な評価テスト）では、英語・ドイツ語ともに完全公開型の競合モデルを上回る結果を出した。完全なオープンモデルであることで、研究者や開発者がモデルの中身を自由に確認・改良できる点も、この結果の意味を大きくしている。

このモデルが示す意味は、技術的な性能にとどまらない。欧州の研究機関が、米国の主要クラウド事業者に依存せず、地域のインフラを使って競争力のあるモデルを独自に開発できたという事実は、AIの地政学的な文脈でも注目に値する。EU（欧州連合）がAI規制の整備を進める中、欧州発のオープンモデルが主要言語での高性能を示したことは、自律的なAI開発能力の確保という観点から重要な一歩と見ることができる。

今後の注目点は、このモデルが実際の業務や研究でどのように活用されるかだ。ドイツ語に強いオープンモデルの登場は、行政・医療・法律など専門領域でのドイツ語AI活用の裾野を広げる可能性がある。また、スパース活性化アーキテクチャの実用性を示した事例として、他の研究機関や開発者にとっても参照価値があると考えられる。欧州のAI開発コミュニティがこの成果をどう受け取り、次の取り組みにつなげるかも引き続き見ていく価値がある。