教師あり学習 vs 強化学習
教師あり学習は入力と正解ラベルのペアから入力と出力の対応関係を学習する枠組み、強化学習はエージェントが環境との試行錯誤を通じて、長期的な報酬の合計を最大化する方策を学習する枠組み。教師あり学習は「正解」が直接与えられるのに対し、強化学習は行動の良し悪しが報酬という間接的な信号としてのみ伝えられる。LLMの開発では、事前学習後の指示チューニングに教師あり学習、RLHFなどのアライメントに強化学習が使われる。
3行で違いを説明
Comparison Table
| Item | 教師あり学習 | 強化学習 |
|---|---|---|
| Purpose | 入力から正解の出力を予測する関数を学習する | 長期的な報酬の合計を最大化する行動の選び方(方策)を学習する |
| 学習信号 | 正解ラベル(教師信号) | 報酬 |
| データ | 事前に用意したラベル付きデータセット | エージェントが環境と相互作用して得る経験 |
| 代表的な手法 | 線形回帰、決定木、ニューラルネットワークなど | Q学習、方策勾配法、Actor-Critic法など |
| Release | パーセプトロン(1958年)をはじめとする初期の機械学習から存在 | 1950年代の動的計画法を起源とし、1988年のTD学習、1989年のQ学習で発展 |
Architecture
Feature Comparison
| Feature | 教師あり学習 | 強化学習 |
|---|---|---|
| 正解ラベルが必要 | ○ | — |
| 報酬の設計が必要 | — | ○ |
| 探索と活用のトレードオフ | — | ○ |
| 一連の行動(逐次的な意思決定)の学習 | — | ○ |
Advantages
教師あり学習
- 正解が明確なため、学習を安定させやすく評価もしやすい
- 画像分類・スパム判定・需要予測など幅広いタスクで実績がある
強化学習
- 正解を直接定義しにくい課題でも、報酬を設計すれば学習できる
- 一連の行動の結果として良い戦略を獲得でき、人間を上回る方策を見つけることもある
Disadvantages
Best Use Cases
Migration
両者は排他的な関係になく、組み合わせて使われることが多い。LLMの開発では、教師あり学習(指示チューニング)でまず望ましい応答形式を学習させ、その後に強化学習(RLHF等)で人間の選好に沿うよう調整する流れが標準的になっている。