ベンチマーク（評価ベンチマーク）とは
Benchmark / 評価ベンチマーク
共通の問題セットと採点方法でAIモデルの性能を測り、モデル同士を比較するための標準テスト
最終更新:
概要
ベンチマークは、決まった問題セットと採点基準を用意し、複数のモデルを同じ条件で評価するためのテスト。LLMでは、知識を問うMMLU、プログラミング能力を測るHumanEval、算数の文章題を解くGSM8K、実際のGitHubのissueを修正させるSWE-benchなど、能力ごとに多数のベンチマークが作られている。 スコアは数値で比べやすい反面、特定のベンチマークで高得点でも実際の業務で役立つとは限らない。テスト問題が学習データに混入する「データ汚染」や、スコアを上げるための過剰な最適化、上位モデルの得点が上限に張り付いて差が出なくなる「飽和」といった問題もある。そのため、新しい難問のベンチマークの作成や、人間の投票によるArenaのような評価方法、自社業務に合わせた独自の評価セットの整備も行われている。
欠点
- スコアが高くても、実際の利用場面での性能を保証しない
- 問題が学習データに含まれると、スコアが実力以上に高く出る