GSM8Kとは
Grade School Math 8K
小学校レベルの算数文章題8,500問で、LLMの多段階推論能力を測定するベンチマーク
ひとことで言うと
小学生向けの文章題をAIに解かせて、順序立てて考える力を測るテスト。
概要
GSM8K(Grade School Math 8K)は、OpenAIが公開した約8,500問の小学校レベルの算数文章題から成るデータセットで、単純な計算力ではなく、問題文を読み解いて複数の計算ステップを正しい順序で組み立てる多段階推論能力をLLMに要求するベンチマーク。 各問題は2〜8ステップ程度の基本的な四則演算の組み合わせで解けるように設計されているが、文章題という形式上、問題文から必要な数値関係を正しく読み取り、式を順序立てて立てる能力が求められる。 Chain-of-Thoughtプロンプティングの効果を検証する初期の代表的なベンチマークとして使われ、最終的な答えだけでなく途中の解法過程を出力させることで正答率が大きく向上することを示す事例としてもしばしば引用される。 モデルの数学的推論能力の基本的な指標として長年使われてきたが、近年の強力なLLMでは正答率が非常に高い水準に達しており、より難しい数学ベンチマーク(MATHなど)との併用が一般的になっている。
背景
従来の言語モデル評価は主に言語理解や知識を問うタスクが中心で、複数の推論ステップを正しい順序で積み重ねる能力を専門に測るベンチマークが不足していた。 GSM8Kは、比較的平易な算数の文章題という形式を使い、この多段階推論能力を切り出して評価できるようにする目的で作成された。
歴史
2021年: OpenAIのCobbeらが論文「Training Verifiers to Solve Math Word Problems」でGSM8Kを公開。 2022年: Chain-of-Thoughtプロンプティングの効果を示す代表的なベンチマークとして広く引用される。 2023年以降: 主要なLLMの正答率が90%を超える水準に達し、より難易度の高い数学ベンチマークとの併用が進む。
コード例
datasetsライブラリでのGSM8K読み込み例
from datasets import load_dataset
dataset = load_dataset("gsm8k", "main")
print(dataset["test"][0]["question"])
print(dataset["test"][0]["answer"])利点
- 問題設計がシンプルで、モデルの多段階推論能力を分かりやすく可視化できる
- Chain-of-Thoughtなどのプロンプティング手法の効果を検証する題材として広く使われ、比較可能な実績が蓄積されている
- 採点が最終的な数値の一致で機械的に行えるため、大規模な自動評価に向いている
欠点
- 問題の難易度が小学校レベルにとどまるため、近年の強力なLLMでは正答率が飽和しつつある
- 学習データにベンチマーク問題やその類題が混入していると、実際の推論能力以上にスコアが高く出てしまう(データ汚染)
- 算数の文章題という限定的な領域の推論力しか測れず、他分野の推論力を必ずしも代表しない
比較
- Chain-of-Thought — GSM8Kは、Chain-of-Thoughtプロンプティングによる推論精度の向上を示す代表的なベンチマークとして使われた
- MMLU — MMLUが幅広い分野の知識を問うのに対し、GSM8Kは算数文章題を通じた多段階推論力に特化している
- HumanEval — HumanEvalがコード生成能力を測るのに対し、GSM8Kは数学的な推論能力を測る
関連用語
よくある質問
GSM8Kはどんな問題が出る？
「りんごを何個買って、いくら払って、おつりはいくつか」のような、小学校レベルの日常的な算数文章題が出題される。1問あたり2〜8ステップ程度の計算で解ける設計になっている。
GSM8Kは今でも指標として有効？
近年の強力なLLMでは正答率が非常に高くなり指標としての識別力が低下しているため、より難易度の高いMATHなどのベンチマークと組み合わせて使われることが多い。
参考文献
- Research PaperTraining Verifiers to Solve Math Word Problems
- GitHubopenai/grade-school-math