評価

HellaSwagとは

状況説明に続く最も自然な文の続きを4択から選ばせ、常識的な推論力を測るベンチマーク

ひとことで言うと

ある場面の説明を読み、続きとして一番自然な文を4択から選ばせて常識力を測るテスト。

概要

HellaSwagは、日常的な状況を説明する文章に続く「最も自然な続き」を4つの選択肢から選ばせることで、LLMの常識的推論力を測定するベンチマーク。選択肢のうち1つは人間が書いた正しい続きで、残り3つは敵対的フィルタリング(Adversarial Filtering)という手法を使い、当時の言語モデルが誤って選びやすい紛らわしい誤答として意図的に生成されている。人間にとっては簡単に正しい続きを見分けられる一方、当時の言語モデルの多くは表面的な単語の並びのもっともらしさに引きずられて誤答を選びやすく、人間とモデルの常識推論力の差を際立たせる設計になっている。 GPT-3以降の大規模言語モデルの登場によりスコアが大きく向上し、現在では多くの強力なLLMが人間に近い、あるいはそれを上回る正答率を示すようになっている。

背景

従来の常識推論ベンチマークは、モデルの性能向上とともにすぐに高い正答率に達してしまい、識別力を失う課題があった。 HellaSwagは、敵対的フィルタリングによって当時のモデルが誤りやすい選択肢を意図的に生成することで、より長く識別力を保てるベンチマークを目指して作成された。

歴史

2019年: ZellersらがHellaSwagを提案する論文「HellaSwag: Can a Machine Really Finish Your Sentence?」を発表。 2020年: GPT-3など大規模モデルの登場により、正答率が急速に向上し始める。 2023年以降: 主要なLLMの多くが高い正答率に達し、識別力の低下が指摘されるように。

アーキテクチャ

各設問は、動画キャプションデータセットActivityNet CaptionsやWikiHowの記事から抽出した状況説明文(context)と、その自然な続きとなる4つの選択肢(endings)から構成される。正解ラベルは4択のうちの1つのインデックスとして与えられ、残り3つの選択肢は敵対的フィルタリングによって生成された紛らわしい誤答文になっている。

ワークフロー

動画キャプションデータなどから日常的な状況説明の文章を集め、人間が書いた自然な続きを正解の選択肢とする。敵対的フィルタリングにより、当時の言語モデルが高いスコアを与えやすい紛らわしい誤答を残り3つの選択肢として生成する。評価対象のモデルに4択の中から最も自然な続きを選ばせ、正答率をスコアとして算出する。

コード例

Hugging Face datasetsでのHellaSwag読み込み

from datasets import load_dataset

dataset = load_dataset("hellaswag")
example = dataset["validation"][0]
print(example["ctx"])
print(example["endings"])
print(example["label"])

利点

敵対的フィルタリングにより、表面的な単語の並びだけでは解けない紛らわしい選択肢が用意されている
選択式で採点が明確なため、大規模な自動評価に向いている
常識的推論力という、知識量とは異なるモデルの能力を測る指標として活用できる

欠点

近年の強力なLLMでは正答率が飽和しつつあり、モデル間の性能差を識別しにくくなっている
選択肢が英語の日常的な状況記述に基づくため、文化的・言語的な偏りを含む可能性がある
選択式のタスクであるため、自由記述形式の常識推論力までを直接測れるわけではない

比較

MMLU — MMLUが幅広い分野の知識を問うのに対し、HellaSwagは日常的な状況における常識推論力に特化している
GSM8K — GSM8Kが多段階の数式的推論を測るのに対し、HellaSwagは常識的な状況判断力を測る
Chatbot Arena — HellaSwagのような静的な選択式ベンチマークに対し、Chatbot Arenaは人間の実際の投票に基づく動的な評価をする

よくある質問

敵対的フィルタリングとは？

当時の言語モデルが誤って高いスコアを与えやすい選択肢を、アルゴリズム的に選別・生成する手法。人間には簡単でもモデルには紛らわしい誤答を作ることで、ベンチマークの識別力を高める。

HellaSwagは今も有効な指標？

近年の強力なLLMでは正答率が非常に高くなり、モデル間の差を見分ける力は弱まっている。他の新しいベンチマークと組み合わせて使われることが多い。

参考文献

Research PaperHellaSwag: Can a Machine Really Finish Your Sentence?
GitHubrowanz/hellaswag