AIMEとは
American Invitational Mathematics Examination
米国の数学コンテストを転用した、LLMの数学的推論能力を測る高難度ベンチマーク
ひとことで言うと
アメリカの数学オリンピック予選クラスの試験。毎年新しい問題が出るため「答えの丸暗記」が効かず、AIの数学力を測るテストとして使われる。
概要
AIME（American Invitational Mathematics Examination）とは、米国の高校生向け数学コンテストで、LLMの数学的推論能力を測るベンチマークとして転用されている試験を指す。 毎年出題される15問の整数解答問題で構成され、数学オリンピックの米国代表選考の一段階に当たる高難度の試験になる。 新しい年度の問題は過去のモデルの学習データに含まれないため、データ汚染の影響を受けにくい評価として、推論モデルの発表時にAIME 2024・AIME 2025などの正答率が広く報告されている。
歴史
試験自体は1983年から実施されている。LLMのベンチマークとしては、2024年以降の推論モデルの評価で標準的に使われるようになった。
関連用語
よくある質問
AIMEとGSM8Kの違いは何か。
GSM8Kが小学校レベルの文章題であるのに対し、AIMEは数学オリンピック選考に使われる高校生向けの難問で、LLMの数学的推論能力の限界を測る、より難度の高いベンチマークとして使われる。
なぜ新しい年度の問題が重視されるのか。
LLMの学習データには過去の年度の問題と解答が含まれている可能性が高く、正答率が実力ではなく記憶の再生を反映してしまうためで、公開直後の新しい年度の問題は学習データへの混入(データ汚染)の影響を受けにくいと考えられている。
参考文献
- DocumentationAIME Problems and Solutions (AoPS Wiki)