グロッキングとは
Grokking
過学習の後も学習を続けると、あるタイミングで突然汎化が起きる現象
ひとことで言うと
AIが丸暗記状態（過学習）になった後もしつこく学習を続けると、ある日突然「本当の理解」に切り替わる不思議な現象。
概要
グロッキングとは、モデルが学習データへ過学習した後も学習を続けると、あるタイミングで突然テストデータへの汎化が起きる現象を指す。 合同算術のような小さなアルゴリズム的タスクで、学習データの正解率が100%に達してから長い停滞を経て、テスト正解率が急上昇する挙動として報告された。 過学習した後は汎化しないという従来の直感に反する現象であり、記憶から規則の獲得への内部的な相転移として、ニューラルネットワークの学習ダイナミクスや解釈可能性の研究対象になっている。
歴史
2022年1月にOpenAIの研究者ら（Powerら）が論文で報告し命名した。
関連用語
よくある質問
グロッキングはどんなモデル・タスクでも起きるか。
主に合同算術のような明確なアルゴリズム的構造を持つ小規模タスクで再現性高く報告されており、大規模言語モデルの一般的な学習で同様の現象がどこまで広く起きるかは研究段階になる。
参考文献
- Research PaperGrokking: Generalization Beyond Overfitting (arXiv)