MMLUとは
Massive Multitask Language Understanding
57分野の多岐選択問題でLLMの幅広い知識と理解力を測定するベンチマーク
ひとことで言うと
幅広い分野の選択問題をAIに解かせて、知識量を測るテスト。
概要
MMLU(Massive Multitask Language Understanding)とは、人文科学・社会科学・STEM分野等57の科目にわたる多肢選択式の問題でLLMの知識と理解力を測定するベンチマーク。 中学・高校・大学レベルから専門職レベルまで幅広い難易度の問題が含まれており、モデルが特定タスクに特化した学習をせずにどれだけ幅広い知識を獲得しているかを測る「zero-shot」または「few-shot」形式での評価に使われる。 GPT-4やClaude等、主要なLLMの性能比較で頻繁に引用される代表的なベンチマークの1つ。 近年のトップクラスのモデルはMMLUで人間の専門家に近いスコアを記録するようになり、問題の難易度自体が飽和しつつあるとの指摘から、より高難度な後継ベンチマーク(MMLU-Pro等)も登場している。
背景
LLMの評価は、単一のタスクだけでなく幅広い分野の知識と推論力を横断的に測る必要があるとの考えから、多様な科目を統合したベンチマークとしてMMLUが考案された。
歴史
2020年: HendrycksらがMMLUを提案する論文を発表。 GPT-3等の当時のモデルの評価に用いられ、以降主要なLLMの性能比較における標準的なベンチマークの1つとして定着した。
利点
- 57分野という幅広い知識領域を横断的に評価できる
- モデル間の性能比較に広く使われており、他の研究結果との比較がしやすい
欠点
- 多肢選択式のため、自由記述形式の実際の応答品質を直接測れるわけではない
- 学習データにベンチマークの問題そのものが含まれてしまう「データ汚染」のリスクが指摘されている
比較
関連用語
よくある質問
MMLUのスコアが高ければ実用上も優れている？
幅広い知識量の目安にはなるが、実際の対話品質・指示追従性・安全性等は別途評価する必要があり、MMLUのスコアだけで実用性能を判断するのは不十分とされる。
参考文献
- Research PaperMeasuring Massive Multitask Language Understanding
- GitHubhendrycks/test