スケーリング
スケーリングに関連する用語(5件)
スケーリングは、モデルサイズ・データ量・計算量を拡大して性能を向上させるアプローチです。スケーリング則(Scaling Laws)に基づくモデルの大規模化が近年のAI進化を牽引してきました。
用語一覧
創発的能力
Emergent Abilities
モデル規模がある閾値を超えたときに、小規模モデルには見られなかった能力が急激に現れる現象
技術LLMスケーリング
Ray
Pythonの並列・分散処理を簡単に書けるようにする、機械学習ワークロード向けのオープンソース分散実行フレームワーク
インフラ分散処理スケーリング
テスト時スケーリング
Test-time Scaling / Test-time Compute / 推論時スケーリング
学習済みモデルの推論時に計算量を追加投入し、思考の長文化や複数候補の生成・選別によって回答品質を高めるアプローチ
技術推論スケーリングLLM
スケーリング限界
Scaling Limits / スケーリングの壁
モデルサイズ・データ量・計算量を増やしても性能向上が鈍化・停滞する現象
技術スケーリング評価
相転移
Phase Transition
モデル規模が臨界点(閾値)を超えた際、性能や能力が連続的でなく急激に変化する現象を、物理学の相転移になぞらえた呼び方
技術スケーリングLLM