サットン氏、LLMスケーリング一辺倒に警鐘

AIの基礎研究者として知られるリチャード・サットン氏が、大規模言語モデル（LLM）のスケーリング、つまり計算資源を増やしてモデルを大型化し続けるアプローチだけでは真の知能には到達できないという見解を改めて示した。サットン氏はチューリング賞受賞者であり、強化学習の分野を切り開いた研究者として国際的に評価されている。その発言は、現在のAI開発の主流をなす方向性に対して、原理的な問い直しを迫るものといえる。

サットン氏はかつて「苦い教訓（Bitter Lesson）」と呼ばれる論考で、AIの歴史において人間が設計した複雑なルールよりも、大量のデータと計算力を活かしたシンプルな手法のほうが長期的に勝ってきたと指摘した。この論考は、スケーリングの有効性を示す根拠としてAI業界で広く引用されてきた経緯がある。ところが今回、同氏自身がその解釈の行き過ぎを批判する立場を明確にしたことで、業界内での関心を集めている。

サットン氏の主張の核心は、計算量を増やすだけでは不十分であり、学習そのものの仕組みを根本から作り直す新しい手法が必要だというものだ。現在主流のTransformerアーキテクチャを単純に拡張し続けるアプローチには限界があるという認識で、元OpenAI研究者のジェシカ・トゥォレク氏もこれに同調している。トゥォレク氏は、Transformerの盲目的なスケーリングが「一世代の科学者たちの思考を報酬ハッキング（望ましい結果だけを最大化しようとする近視眼的な最適化）してしまった」と表現した。

「報酬ハッキング」とは、強化学習において本来の目的を達成するのではなく、評価指標を上げることだけに最適化されてしまう現象を指す。トゥォレク氏はこの言葉をあえて用いることで、スケーリングへの傾倒が研究者の問題意識や探究の方向性そのものをゆがめてきたと示唆している。つまり、指標としての性能は上がっていても、知能の本質に近づいているとは言いにくい状況が続いてきたとも読み取れる。

こうした議論と並行して、既存のスケーリング一辺倒ではない新しい学習手法を模索するスタートアップが増えていることも報告されている。これらの企業は、大手テクノロジー企業が膨大な資本を投じてスケーリングを推し進める路線とは異なるアプローチに活路を見出そうとしているという見方ができる。具体的な企業名や手法の詳細は明らかにされていないが、業界の一部ではすでに資本の流れが変わりつつある可能性を示唆している。

サットン氏のような第一線の研究者が、自身の論考が引用される文脈に異議を唱えたことは、AI研究のコミュニティに対して重要な問いを投げかけていると位置づけられる。スケーリングがもたらしてきた性能向上は疑いのない事実である一方で、それが「知能」に向かう道筋なのかという根本的な問いに対する答えは、まだ定まっていない。今後は、スケーリング以外の学習パラダイムがどこまで具体的な成果を示せるかが、業界全体の方向性を占う上での焦点になってくるという見方ができる。