GPQAとは
GPQA Diamond / Graduate-Level Google-Proof Q&A
検索しても解けない大学院レベルの科学問題で構成される、高難度の質問応答ベンチマーク
ひとことで言うと
博士級の専門家が作った、Google検索を使っても解けないほど難しい科学の試験。最先端AIの賢さを測る定番テスト。
概要
GPQAとは、生物学・物理学・化学の大学院レベルの難問で構成される、多肢選択式の質問応答ベンチマークを指す。 該当分野の博士号取得者や博士課程在籍者が作成・検証した問題で構成され、専門外の人間がWeb検索を使っても正答が難しい「Google-proof」な設計を特徴とする。 特に難度の高い抜粋であるGPQA Diamondは、推論モデルの科学的推論能力を測る標準的なベンチマークとして、主要モデルの発表時に広く報告されている。 MMLUなど従来のベンチマークが飽和する中、フロンティアモデルの能力差を判別できる高難度ベンチマークとして使われている。
歴史
2023年11月にニューヨーク大学などの研究者ら（Reinら）が発表した。
比較
- MMLU — MMLUが幅広い分野の学部レベルの知識を問うのに対し、GPQAは博士人材が作成した、Google検索でも解けない大学院レベルの難問で構成される
関連用語
よくある質問
なぜ「Google-proof」と呼ばれるのか。
専門外の人間が問題を見てWeb検索を使っても、短時間では正答にたどり着きにくいよう意図して設計されているため。
GPQA DiamondとGPQA本体の違いは何か。
GPQAは複数の難度の問題を含むデータセットで、その中でも専門家の正答率が高く非専門家との差が大きい、特に高難度の問題を抜粋したサブセットがGPQA Diamondになる。