ポストトレーニングとは
Post-training / 事後学習
事前学習を終えたモデルへ行う、指示チューニング・選好学習・強化学習などの追加学習の総称
ひとことで言うと
土台となる学習を終えたAIを、「指示に従う」「安全に答える」「深く考える」ように仕上げる後工程のまとめ言葉。
概要
ポストトレーニングとは、事前学習を終えたモデルに対して行う一連の追加学習の総称を指す。 指示チューニング（SFT）、RLHFやDPOによる選好の学習、検証可能報酬による強化学習（RLVR）などが含まれる。事前学習で得た知識・能力を、指示に従う・安全に応答する・深く推論するといった実用的な振る舞いへ変換する工程になる。 近年のモデルの性能差はポストトレーニングの設計にも左右されるようになり、事前学習と並ぶ独立した技術領域として扱われている。
歴史
利点
欠点
比較
- 事前学習 — 事前学習が大量のテキストから知識と言語能力を獲得する工程であるのに対し、ポストトレーニングはその能力を指示追従や安全性などの実用的な振る舞いへ整える工程
関連用語
よくある質問
ポストトレーニングと事前学習の境界はどこにあるか。
明確な境界があるわけではないが、一般に大量の未整理コーパスからの学習を事前学習、指示追従・選好・検証可能タスクへの適応を目的とした追加学習をポストトレーニングと呼ぶ。
ポストトレーニングだけでモデルの性能は大きく変わるか。
変わりうる。同じ事前学習済みモデルでも、ポストトレーニングの設計(データ品質や手法の組み合わせ)によってベンチマークスコアや実利用時の使い勝手に大きな差が出ると報告されている。