グロッキングとは
Grokking
過学習の後も学習を続けると、あるタイミングで突然汎化が起きる現象
ひとことで言うと
AIが丸暗記状態（過学習）になった後もしつこく学習を続けると、ある日突然「本当の理解」に切り替わる不思議な現象。
概要
グロッキングとは、モデルが学習データへ過学習した後も学習を続けると、あるタイミングで突然テストデータへの汎化が起きる現象を指す。 合同算術のような小さなアルゴリズム的タスクで、学習データの正解率が100%に達してから長い停滞を経て、テスト正解率が急上昇する挙動として報告された。 過学習した後は汎化しないという従来の直感に反する現象であり、記憶から規則の獲得への内部的な相転移として、ニューラルネットワークの学習ダイナミクスや解釈可能性の研究対象になっている。
歴史
2022年1月にOpenAIの研究者ら（Powerら）が論文で報告し命名した。
関連用語
参考文献
- Research PaperGrokking: Generalization Beyond Overfitting (arXiv)