In-Context Learningとは
ICL / 文脈内学習
重みを更新せず、プロンプト内の例示や指示だけから新しいタスクの解き方を捉えて実行するLLMの能力
ひとことで言うと
AIに例をいくつか見せるだけで、追加の学習をしなくてもその場でやり方を覚えたように振る舞う能力。
概要
In-Context Learning（文脈内学習）とは、モデルの重みを更新せず、プロンプトに与えた例示や指示だけから新しいタスクの解き方を捉えて実行するLLMの能力を指す。 プロンプトに少数の入出力例を並べると、モデルはその場でパターンを読み取り、続く入力へ同じ形式や規則を適用する。Few-shotプロンプティングはこの能力を利用した手法になる。 勾配降下による学習を伴わないのにタスクへの適応が起きる現象として、その仕組み自体が研究対象になっている。 ファインチューニングなしでタスクへ適応できるため、LLM活用の基本的な前提を成す能力と位置づけられる。
歴史
2020年のGPT-3の論文「Language Models are Few-Shot Learners」で大規模モデルの顕著な能力として示され、広く知られるようになった。
比較
- ファインチューニング — ファインチューニングが重みの更新によってタスクへ適応させるのに対し、In-Context Learningは重みを変えずプロンプト内の例示だけで適応する
関連用語
参考文献
- Research PaperLanguage Models are Few-Shot Learners (arXiv)