Re Reference AI

スケーリング

スケーリングに関連する用語(5件)

スケーリングは、モデルサイズ・データ量・計算量を拡大して性能を向上させるアプローチです。スケーリング則(Scaling Laws)に基づくモデルの大規模化が近年のAI進化を牽引してきました。

用語一覧

創発的能力

Emergent Abilities

モデル規模がある閾値を超えたときに、小規模モデルには見られなかった能力が急激に現れる現象

技術LLMスケーリング

Ray

Pythonの並列・分散処理を簡単に書けるようにする、機械学習ワークロード向けのオープンソース分散実行フレームワーク

インフラ分散処理スケーリング

テスト時スケーリング

Test-time Scaling / Test-time Compute / 推論時スケーリング

学習済みモデルの推論時に計算量を追加投入し、思考の長文化や複数候補の生成・選別によって回答品質を高めるアプローチ

技術推論スケーリングLLM

スケーリング限界

Scaling Limits / スケーリングの壁

モデルサイズ・データ量・計算量を増やしても性能向上が鈍化・停滞する現象

技術スケーリング評価

相転移

Phase Transition

モデル規模が臨界点(閾値)を超えた際、性能や能力が連続的でなく急激に変化する現象を、物理学の相転移になぞらえた呼び方

技術スケーリングLLM