人間評価（Human Evaluation）とは
Human Evaluation
自動評価指標だけでは測れないモデル出力の質を人間の判断で評価する手法
概要
人間評価は、モデルの出力(文章の自然さ・有用性・安全性など)を人間の評価者が直接判断・採点する評価手法。 BLEUやROUGEのような自動評価指標は計算コストを抑えられ再現性も高い一方、流暢さや文脈適合性、有害性のような質的な側面を十分に捉えられないことが多い。 そのため人間評価は、補完的または最終的な判断基準として用いられる。 2つのモデル出力のどちらが良いかを選ばせる選好比較(preference comparison)や、あらかじめ定義した基準に沿って点数を付ける採点式など、実施形式は様々。 RLHFにおける報酬モデルの学習データや、LLMのベンチマークにおけるWin Rate算出の基盤としても、人間評価が用いられる。