主観評価とは
Subjective Evaluation
評価者個人の感覚や印象に基づいてモデル出力の質を判断する評価手法
概要
主観評価は、正解が一意に定まらない性質(自然さ・読みやすさ・満足度など)について、評価者個人の感覚や印象に基づいてモデル出力の質を判断する評価手法。 人間評価の一種だが、事実の正誤のような客観的な基準ではなく、評価者ごとに感じ方が異なる主観的な尺度を扱う点が特徴。 音声合成の自然さを評価するMOS(Mean Opinion Score)のように、複数の評価者のスコアを平均して尺度化する手法が広く使われる。 評価者間のばらつきを抑えるため、評価基準の明文化や複数評価者によるスコアの平均・一致度確認が重要になる。