対数尤度（Log-likelihood）とは
Log-likelihood
モデルが観測データをどれだけよく説明できるかを対数スケールで表した指標
概要
対数尤度は、あるモデル(確率分布)のパラメータのもとで、観測されたデータが得られる確率(尤度)を対数スケールで表した量。 尤度は複数サンプルの確率の積として計算されるため値が非常に小さくなりやすいが、対数を取ることで積を和に変換でき、数値計算上も扱いやすくなる。 最尤推定(Maximum Likelihood Estimation)では、対数尤度を最大化するパラメータを探索することでモデルを学習し、この最大化は負の対数尤度(交差エントロピーと本質的に同じ量)の最小化と等価。 言語モデルの学習・評価においても、モデルが正解トークン列に与える対数尤度の合計や平均が、学習の損失やPerplexity算出の基礎として使われる。