Re Reference AI

技術

In-Context Learningとは

ICL / 文脈内学習

重みを更新せず、プロンプト内の例示や指示だけから新しいタスクの解き方を捉えて実行するLLMの能力

LLMプロンプトエンジニアリング

ひとことで言うと

AIに例をいくつか見せるだけで、追加の学習をしなくてもその場でやり方を覚えたように振る舞う能力。

概要

In-Context Learning(文脈内学習)とは、モデルの重みを更新せず、プロンプトに与えた例示や指示だけから新しいタスクの解き方を捉えて実行するLLMの能力を指す。 プロンプトに少数の入出力例を並べると、モデルはその場でパターンを読み取り、続く入力へ同じ形式や規則を適用する。Few-shotプロンプティングはこの能力を利用した手法になる。 勾配降下による学習を伴わないのにタスクへの適応が起きる現象として、その仕組み自体が研究対象になっている。 ファインチューニングなしでタスクへ適応できるため、LLM活用の基本的な前提を成す能力と位置づけられる。

歴史

2020年のGPT-3の論文「Language Models are Few-Shot Learners」で大規模モデルの顕著な能力として示され、広く知られるようになった。

比較

  • ファインチューニングファインチューニングが重みの更新によってタスクへ適応させるのに対し、In-Context Learningは重みを変えずプロンプト内の例示だけで適応する

関連用語

Few-shotZero-shotプロンプトエンジニアリングファインチューニング創発的能力

参考文献

関連Zenn記事