AIMEとは
American Invitational Mathematics Examination
米国の数学コンテストを転用した、LLMの数学的推論能力を測る高難度ベンチマーク
ひとことで言うと
アメリカの数学オリンピック予選クラスの試験。毎年新しい問題が出るため「答えの丸暗記」が効かず、AIの数学力を測るテストとして使われる。
概要
AIME（American Invitational Mathematics Examination）とは、米国の高校生向け数学コンテストで、LLMの数学的推論能力を測るベンチマークとして転用されている試験を指す。 毎年出題される15問の整数解答問題で構成され、数学オリンピックの米国代表選考の一段階に当たる高難度の試験になる。 新しい年度の問題は過去のモデルの学習データに含まれないため、データ汚染の影響を受けにくい評価として、推論モデルの発表時にAIME 2024・AIME 2025などの正答率が広く報告されている。
歴史
試験自体は1983年から実施されている。LLMのベンチマークとしては、2024年以降の推論モデルの評価で標準的に使われるようになった。