ポストトレーニングとは
Post-training / 事後学習
事前学習を終えたモデルへ行う、指示チューニング・選好学習・強化学習などの追加学習の総称
ひとことで言うと
土台となる学習を終えたAIを、「指示に従う」「安全に答える」「深く考える」ように仕上げる後工程のまとめ言葉。
概要
ポストトレーニングとは、事前学習を終えたモデルに対して行う一連の追加学習の総称を指す。 指示チューニング（SFT）、RLHFやDPOによる選好の学習、検証可能報酬による強化学習（RLVR）などが含まれる。事前学習で得た知識・能力を、指示に従う・安全に応答する・深く推論するといった実用的な振る舞いへ変換する工程になる。 近年のモデルの性能差はポストトレーニングの設計にも左右されるようになり、事前学習と並ぶ独立した技術領域として扱われている。
歴史
比較
- 事前学習 — 事前学習が大量のテキストから知識と言語能力を獲得する工程であるのに対し、ポストトレーニングはその能力を指示追従や安全性などの実用的な振る舞いへ整える工程