交差エントロピー（Cross Entropy）とは
Cross Entropy
2つの確率分布間のずれを測る指標で、分類モデルの損失関数として広く使われる
概要
交差エントロピーは、真の分布と予測分布という2つの確率分布間のずれ(距離に近い概念)を測る情報理論由来の指標。 分類タスクでは、正解クラスを表すone-hot分布と、モデルが出力するクラスごとの予測確率分布との交差エントロピーを損失関数として最小化することで、モデルを正解クラスに高い確率を割り当てるよう学習させる。 言語モデルの事前学習でも、次トークンの正解分布(one-hot)と予測分布との交差エントロピーが標準的な損失関数として用いられ、この損失の指数がPerplexity(パープレキシティ)として評価に使われる。 数学的には負の対数尤度の期待値と一致し、最尤推定と交差エントロピー最小化は同じ最適化問題として扱える。