Perplexityとは
パープレキシティ / 困惑度
言語モデルが次のトークンをどれだけ的確に予測できているかを示す、確率に基づく評価指標
ひとことで言うと
AIが次にどんな単語が来るかをどれだけ自信を持って言い当てられているかを表す数値。低いほど得意。
概要
Perplexity(パープレキシティ)は、言語モデルがテストデータの各トークンに対してどれだけ高い確率を割り当てられたかを基に計算される評価指標で、値が低いほどモデルがそのテキストの並びをうまく予測できていることを示す。 数式的には、テストデータに対するモデルの平均対数尤度の指数として定義され、直感的には「モデルが次のトークンを予測する際に、平均していくつの候補の中から選んでいるのに相当するか」を表す指標として解釈できる。 人間が読んで自然だと感じる文章か、あるいは応答の有用性や事実の正しさといった観点は直接測れないため、Perplexityが低いことは必ずしも応答の質の高さを保証しない。 主に事前学習中のモデルの学習進捗のモニタリングや、異なる言語モデル同士の言語モデリング能力の比較に使われる指標であり、指示追従性能や対話品質の評価には別のベンチマークやLLM-as-a-Judgeを使うことが多い。
背景
言語モデルは本来、次のトークンの確率分布を予測するモデルとして学習されるため、その予測確率そのものを使ってモデルの学習進捗や言語モデリング能力を定量的に評価する指標が求められた。 Perplexityは、この予測確率を人間にも解釈しやすい形に変換した指標として、言語モデル研究の初期から使われてきた。
利点
- モデルの出力を人手で確認しなくても、テストデータさえあれば自動的かつ客観的に計算できる
- 学習中の損失の推移として自然に得られるため、追加のコストなく学習進捗のモニタリングに使える
- 異なる言語モデル同士の、純粋な言語モデリング能力の比較に適している
欠点
比較
- 損失関数 — Perplexityは、言語モデルの損失関数(交差エントロピー)の値を指数変換して解釈しやすくした指標
- LLM-as-a-Judge — Perplexityが予測確率に基づく機械的な指標であるのに対し、LLM-as-a-Judgeは応答の有用性など、より実用的な観点を評価できる
- MMLU — Perplexityが言語モデリング能力そのものを測るのに対し、MMLUは知識や推論力といった応用的な能力を測る
関連用語
よくある質問
Perplexityが低いモデルは良いモデル？
言語モデリング能力が高いことは示すが、応答の有用性や安全性、事実の正しさは別途評価する必要がある。Perplexityだけでモデルの総合的な品質を判断できない。
異なるモデル同士でPerplexityを比較できる？
トークナイザーの語彙構成やテストデータの前処理が異なると値を単純に比較できないため、同一の条件で計算されたPerplexityでない限り、比較には注意が必要。