Win Rate（勝率）とは
勝率
2つのモデル出力を比較した際にどちらがより高い頻度で選好されたかを表す評価指標
概要
Win Rate(勝率)は、2つのモデル(またはモデルのバージョン)の出力をペアで比較し、一方がもう一方より好ましいと判定された割合を表す評価指標。 判定は人間評価者による選好比較で行われる場合と、強力なLLMを評価者として用いるLLM-as-a-Judgeで行われる場合がある。 ベースラインモデルに対するWin Rateとして表現されることが多く、RLHFやDPOなどアライメント手法の効果を測る指標として、AlpacaEvalやMT-Benchなど多くのLLM評価ベンチマークで採用されている。 単独のスコアではなく相対的な比較指標であるため、比較対象(ベースライン)や判定者の選び方によって結果が変わりうる点に注意が必要。