BERTScore（バートスコア）とは
バートスコア
BERTなどの文脈埋め込みを使い、生成文と参照文のトークン同士の意味的な類似度で品質を測る自動評価指標
最終更新:
概要
BERTScoreは、機械翻訳や要約などで生成された文と人手による参照文を比較する自動評価指標。BLEUやROUGEが単語やn-gramの表層的な一致を数えるのに対し、BERTScoreは事前学習済みモデルで得た文脈埋め込みを使って意味の近さを測る。 計算では、生成文と参照文の各トークンを文脈埋め込みに変換し、トークン間のコサイン類似度を求める。生成文の各トークンについて参照文で最も類似度が高いトークンとの類似度を平均したものを適合率、逆方向の平均を再現率とし、両者からF1を算出する。まれな単語を重視するためにIDFで重み付けする設定もある。 言い換えや同義語を含む文でも高く評価できるため、表層一致の指標より人手評価との相関が高いと報告されている。一方で、スコアは使う埋め込みモデルや層に依存し、事実の誤りや論理の破綻を必ずしも検出できない。
歴史
2019年にZhangらが論文「BERTScore: Evaluating Text Generation with BERT」をarXivで公開し、2020年のICLRで発表した。
利点
- 言い換えや同義語を含む文も意味の近さで評価できる
- 参照文があれば自動で計算でき、追加の人手評価が不要
欠点
- スコアが使う埋め込みモデルや層によって変わり、異なる設定間で比較しにくい
- 事実の誤りや論理的な矛盾を見逃すことがある
- 参照文が必要で、正解が1つに定まらないタスクには向かない