訓練-評価乖離（Train-Eval Gap）とは
Train-Eval Gap / Train-Test Mismatch
学習時の性能指標と、実運用・評価時の性能とが一致しない現象
概要
モデルは学習データや検証セットで高い性能を示しても、実運用環境や異なる分布のデータでは性能低下することがある。原因として、ベンチマークデータが事前学習コーパスに混入するデータ汚染(data-contamination)、学習データの分布と実タスクの分布のずれ、ベンチマーク自体が実世界の使用パターンを十分に反映していないことなどが挙げられる。この乖離は、ベンチマークスコアの高さが実際の有用性を保証しない、という評価手法全体への懐疑にもつながっている。