GPQAとは
GPQA Diamond / Graduate-Level Google-Proof Q&A
検索しても解けない大学院レベルの科学問題で構成される、高難度の質問応答ベンチマーク
ひとことで言うと
博士級の専門家が作った、Google検索を使っても解けないほど難しい科学の試験。最先端AIの賢さを測る定番テスト。
概要
GPQAとは、生物学・物理学・化学の大学院レベルの難問で構成される、多肢選択式の質問応答ベンチマークを指す。 該当分野の博士号取得者や博士課程在籍者が作成・検証した問題で構成され、専門外の人間がWeb検索を使っても正答が難しい「Google-proof」な設計を特徴とする。 特に難度の高い抜粋であるGPQA Diamondは、推論モデルの科学的推論能力を測る標準的なベンチマークとして、主要モデルの発表時に広く報告されている。 MMLUなど従来のベンチマークが飽和する中、フロンティアモデルの能力差を判別できる高難度ベンチマークとして使われている。
歴史
2023年11月にニューヨーク大学などの研究者ら（Reinら）が発表した。