ROUGEとは
Recall-Oriented Understudy for Gisting Evaluation
生成された要約と参照要約との単語の重なりから、要約品質を自動評価する指標群
ひとことで言うと
AIが作った要約の質を、お手本の要約との言葉の重なり具合で測る指標。
概要
ROUGE(Recall-Oriented Understudy for Gisting Evaluation)とは、自動生成された要約と、人間が作成した参照要約との間の単語やn-gramの重なりを計算することで、要約の品質を評価する評価指標群の総称。 単語の並びの一致数を再現率(Recall)の観点から評価するROUGE-Nや、最長共通部分列を用いるROUGE-L等、複数のバリエーションが存在し、自動要約タスクの評価における事実上標準的な指標として広く使われている。 BLEUが主に精度(Precision)寄りの指標であるのに対し、ROUGEは参照要約の内容がどれだけ生成要約に含まれているかという再現率(Recall)寄りの視点を重視する設計になっている。
背景
自動要約システムの評価を人手のみで行うのはコストが高く、大量の候補やモデル間の比較を効率的に行う手段が求められていた。 ROUGEは、参照要約との語彙的な重なりを自動的に計算することで、この評価を効率化するために考案された。
歴史
2004年: LinがROUGEを提案する論文を発表。 以降、自動要約研究における標準的な評価指標として広く採用された。
アーキテクチャ
ROUGE-Nは生成要約と参照要約間のn-gramの一致数を数え、主に再現率を基準にスコアを算出する。 ROUGE-Lは、両者の最長共通部分列(LCS)の長さをもとにスコアを算出し、単語の並び順の類似性もある程度反映する。
利点
- 人手評価と比べて低コスト・高速に、大量の要約結果を一貫した基準で評価できる
- 複数のバリエーション(ROUGE-N、ROUGE-L等)があり、評価したい観点に応じて使い分けられる
欠点
- 単語の表層的な一致に基づくため、意味は同じでも表現が異なる要約を正しく評価できない場合がある
- 要約の一貫性・事実の正確さといった、より高次の品質までは直接評価できない
比較
関連用語
よくある質問
ROUGEスコアが高ければ良い要約？
参照要約との語彙的な重なりが大きいことを示すが、要約としての流暢さや事実の正確さは別途確認が必要で、ROUGEスコアのみで要約品質を判断するのは不十分とされる。
参考文献
- Research PaperROUGE: A Package for Automatic Evaluation of Summaries