データ汚染とは
Data Contamination / ベンチマーク汚染 / データコンタミネーション
評価用ベンチマークの問題や解答が学習データへ混入し、評価スコアが実力以上に高く出てしまう問題
ひとことで言うと
AIが「試験問題と答えを事前に見てしまっていた」状態。テストの点数が本当の実力より高く出てしまい、評価が信用できなくなる問題。
概要
データ汚染とは、評価用ベンチマークの問題や解答がモデルの学習データへ混入し、評価スコアが実力以上に高く出てしまう問題を指す。 LLMはWeb全体から収集したデータで学習するため、公開されているベンチマークは学習データへ紛れ込みやすく、スコアが能力の測定ではなく記憶の再生を反映してしまう。 対策として、公開後の新しい問題での評価（新年度のAIMEなど）、非公開テストセットの維持、汚染検出手法の研究、実施のたびに問題を差し替える動的ベンチマークなどが使われている。 ベンチマークスコアの比較を信頼するうえで前提となる、評価の信頼性の中核的な課題になる。
歴史
生成AIの評価分野では、2023年のGPT-4テクニカルレポートが学習データとベンチマークの重複を検証する分析を掲載するなど、大規模モデルの評価で無視できない課題として広く認識されるようになった。
比較
- データポイズニング — データポイズニングが攻撃者による学習データへの意図的な混入を指すのに対し、データ汚染は主にベンチマークの問題が意図せず学習データへ混入する評価上の問題を指す
関連用語
よくある質問
データ汚染はどう検出するか。
n-gramの一致率を調べる手法、モデルへ問題文の続きを生成させて訓練データに含まれていたかを推定する手法、非公開の新規問題での再評価などが使われる。
汚染を防ぐことはできるか。
Web全体を学習データに使う限り、公開済みベンチマークの排除は難しい。そのため、評価のたびに新しい問題を使う動的ベンチマークや、非公開テストセットの維持が重要な対策とされる。