MoE推論をスマホ向けに最適化するFreeTokenを開発

カリフォルニア大学バークレー校とMITの研究者たちが、「FreeToken」と呼ばれるオープンソースの推論エンジンを開発した。このエンジンはMixture-of-Experts（MoE）と呼ばれるモデル構造を、一般的な消費者向けハードウェア上で効率よく動かすことを目的として設計されている。

MoEとは、質問の内容に応じて使うAIの「専門家」部分を切り替えることで処理を軽くする仕組みだ。高性能なAIモデルをデータセンターではなく手元の端末で動かすには、計算資源や電力の制約があるため、こうした効率化の工夫が欠かせない。高性能なAIモデルほどMoE構造を採用する傾向が強まっており、これをいかに省電力・低コストで動かすかは、AI研究における共通の課題といえる。

FreeTokenが採用した主な技術は二つある。一つは「動的スケジューリング」と呼ばれる処理の割り振り方法で、状況に応じて計算の優先順位をリアルタイムに調整する。もう一つはモデルの重み（パラメータ）を効率よく管理する最適化手法で、これによりメモリ使用量を抑えながら推論速度を高める。両者を組み合わせることで、デコード速度と実行効率の両面を改善したとしている。

FreeTokenはオープンソースとして公開されており、研究者や開発者が自由に利用・改変できる。ターゲットとする環境は「エッジAI」、つまりクラウドに頼らず端末のみで処理する用途だ。これは「セルフホスト型の推論システム」、すなわちサーバーや外部サービスに依存しない自前のAI環境を構築したいユーザーにとって、選択肢が広がることを意味する。

今回の研究が持つ意義は、高性能AIの「民主化」という観点から考えるとわかりやすい。これまで大規模なAIモデルの推論は、高価なGPUを備えたサーバー上で行うのが一般的だった。一方でFreeTokenは、こうしたモデルを手元のPCやシングルボードコンピュータのような比較的安価なハードウェアで動かせる可能性を示したと位置づけられる。

プライバシーの観点でも注目できる動きだ。クラウドにデータを送らず端末内だけで推論を完結させる構成は、センシティブな情報を扱う企業や個人にとって魅力的な選択肢となりうる。オープンソースである点は、透明性の確保やコミュニティによる改良が進む土台にもなり、今後の発展に注目したい要素といえる。

AIの高性能化とハードウェアの制約という長年の緊張関係に対し、ソフトウェア側の工夫で突破口を開こうとするアプローチは、今後も研究の主戦場の一つであり続けると見られる。FreeTokenがエッジAI推論の実用水準をどこまで引き上げられるか、実際の利用事例を通じた検証が今後の焦点となりそうだ。