相転移（Phase Transition）とは
Phase Transition
モデル規模が臨界点(閾値)を超えた際、性能や能力が連続的でなく急激に変化する現象を、物理学の相転移になぞらえた呼び方
概要
相転移は、物理学において水が氷から液体、液体から気体へと温度変化に応じて不連続に状態を変えるプロセスを指す概念を、LLMのスケーリングに伴う挙動変化を説明する比喩として転用した言葉。 モデルサイズや学習データ量を徐々に増やしていくと、ある地点までは性能はなだらかに向上するだけにとどまる。 特定の臨界的な規模を超えた瞬間には、不連続な変化が起きることもある。 この瞬間、小規模モデルには見られなかった新しい能力が急激に獲得されたかのように観測される。 相転移は、この急激な変化パターンそのものを指す比喩表現。 その結果として実際に獲得される新しい能力を指す言葉としてEmergent Abilities(創発的能力)が使われ、両者はセットで語られることが多い。