創発的能力とは
Emergent Abilities
モデル規模がある閾値を超えたときに、小規模モデルには見られなかった能力が急激に現れる現象
ひとことで言うと
AIモデルがある大きさを超えた途端、それまでできなかったことが急にできるようになる現象。
概要
創発的能力とは、モデルのパラメータ数や学習計算量がある一定の規模を超えたときに、それより小さいモデルでは性能がほぼ偶然レベルだったタスクの性能が急激に向上する現象を指す。 スケーリング則が示す損失の滑らかな改善とは対照的に、個々のタスクの評価指標(正解率など)で見ると性能はなだらかに向上せず、あるモデル規模を境に不連続的に跳ね上がって観測されることが多い。 多段階の算数文章題を解くChain-of-Thought推論や、指示追従、複雑な論理パズルの解決などが、創発的能力の例としてしばしば挙げられる。 一方で、この「急激な変化」は評価指標の選び方(離散的な正解/不正解で測るか、連続的なスコアで測るか)に起因する見かけ上の現象である可能性も指摘されており、現象の解釈については研究者の間で議論が続いている。
背景
モデルを大規模化する中で、開発者や研究者は、小規模モデルでは全くできなかったタスクを大規模モデルが突然こなせるようになる事例を数多く観測した。 創発的能力という概念は、この現象を整理し、モデル規模と獲得される能力の関係を理解しようとする試みから生まれた。
歴史
2022年: Weiらが論文「Emergent Abilities of Large Language Models」で、複数のベンチマークにおける規模と性能の非連続な関係を体系的に報告。 2023年: Schaefferらが論文「Are Emergent Abilities of Large Language Models a Mirage?」で、評価指標の選び方によって見かけ上の急激な変化が生じている可能性を指摘し、議論が活発化。
利点
- モデルを大規模化する投資判断において、性能向上への期待を示す根拠の1つとなる
- 特定タスクでの急激な性能向上を捉えることで、モデル開発の優先順位付けに役立つ知見が得られる
欠点
- どの規模でどの能力が創発するかを事前に正確に予測することは難しい
- 評価指標の設計次第で「創発」に見えるかどうかが変わり、現象の実在性自体に議論の余地がある
- 望ましい能力だけでなく、意図しない有害な能力や挙動も同様に創発する可能性がある
比較
- スケーリング則 — スケーリング則は損失の滑らかな改善を示すのに対し、創発的能力は個別タスクの性能が不連続に向上する現象を指す
- Chain-of-Thought — Chain-of-Thought推論による性能向上は、創発的能力の代表例としてしばしば紹介される
関連用語
よくある質問
創発的能力は本当に「突然」現れるのか？
正解率のような離散的な指標で見ると急激に見えるが、対数尤度など連続的な指標で見ると滑らかに改善している場合があり、見かけ上の非連続性である可能性が指摘されている。
創発的能力の具体例は？
多段階の算数文章題、単語の並び替えパズル、複雑な指示への追従性能などが、モデル規模の拡大に伴い急激に向上した例としてよく挙げられる。
参考文献
- Research PaperEmergent Abilities of Large Language Models