パラメータ（モデルパラメータ）とは
Parameter / モデルパラメータ / 重み
ニューラルネットワークが学習によって獲得する重みとバイアスの値。LLMの規模を表す指標としても使われる
最終更新:
概要
パラメータは、ニューラルネットワーク内の重みやバイアスなど、学習によって値が調整される数値。学習では、損失を小さくするように勾配降下法でパラメータを更新し、推論では学習済みのパラメータを使って入力から出力を計算する。人間が学習前に設定する学習率やバッチサイズなどのハイパーパラメータとは区別される。 LLMでは、パラメータの総数がモデルの規模を示す指標として使われ、「7B」「70B」はそれぞれ70億、700億個のパラメータを持つことを表す。例えばGPT-3は1750億パラメータを持つ。スケーリング則の研究では、パラメータ数、学習データ量、計算量を増やすほど損失は下がる傾向にあると示されている。 ただし、性能はパラメータ数だけでは決まらず、学習データの質や量、学習方法にも左右される。また、パラメータ数が多いほど推論に必要なメモリと計算量が増える。量子化でパラメータを低いビット数で表したり、Mixture of Expertsで推論時に一部のパラメータだけを使ったりして、そのコストを抑える手法がある。