スケーリング限界（スケーリングの壁）とは
Scaling Limits / スケーリングの壁
モデルサイズ・データ量・計算量を増やしても性能向上が鈍化・停滞する現象
概要
モデル・データ・計算量を増やすほど性能が向上するスケーリング則(scaling-laws)は経験則にすぎず、実際には複数の限界に直面する。学習に使える高品質テキストデータの枯渇、計算コストの指数的増大、コスト対効果の悪化、特定タスクでの性能頭打ちなどが指摘される。2024年以降、次世代フロンティアモデルの性能向上幅が事前予測より小さいとする観測が相次ぎ、事前学習のスケーリングだけに依存しないアプローチ(推論時スケーリング、合成データ、アーキテクチャ改良など)への関心が高まった。
背景
パラメータ数と学習データ量を増やし続けるだけでは、今後も同じ効率で性能向上をもたらすとは限らないという問題意識から議論されるようになった概念で、test-time-scalingなど代替アプローチの提案背景にもなっている。
歴史
2022年: Hoffmann et al.(DeepMind)が論文"Training Compute-Optimal Large Language Models"(Chinchilla)を発表。計算量に対しモデルサイズとデータ量をバランス良く増やす必要があると指摘し、巨大化偏重のスケーリングに疑問を投げかけた。2024年以降: フロンティアモデルの性能向上鈍化が業界内で広く議論されるようになった。
比較
- スケーリング則 — スケーリング則は性能向上の経験則を示すが、スケーリング限界はその効果が薄れる領域を指す
- テスト時スケーリング — 事前学習のスケーリング限界を補う手段として、推論時の計算量を増やすアプローチが注目される