価値学習（Value Learning）とは
Value Learning
人間の価値観や選好を明示的なルールでなくデータから帰納的に学習させる、AIアライメント研究のアプローチ
ひとことで言うと
AIに「何が良いことか」をルールとして教え込むのでなく、人間の行動や評価データから学ばせる考え方。
概要
価値学習(Value Learning)とは、AIシステムに人間の価値観や選好を、明示的にルール化するのではなく、人間の行動や選好データから帰納的に学習させようとするアプローチ。 人間の意図や価値観を事前にすべて列挙・記述するのは難しいという前提に立つ。 複数の応答に対する人間の選好比較データから報酬モデルを学習する手法や、人間の行動観察から報酬関数を推定する逆強化学習(Inverse Reinforcement Learning)などが、価値学習の枠組みに位置づけられる。 RLHFにおける報酬モデルの学習は、価値学習の考え方を実用化した代表例の1つとして扱われることがある。
歴史
2000年、NgとRussellが逆強化学習(Inverse Reinforcement Learning)を定式化した論文を発表し、人間の行動観察から報酬関数を推定する手法の理論的基盤を示した。 AIセーフティ研究の文脈での「価値学習」という用語は、2010年代半ば以降、人間の価値観をAIに学習させる問題として広く議論されるようになった。
利点
- 全ての望ましい振る舞いを人手でルール化する必要がなく、データから学習できる
- 文脈依存的で言語化しにくい人間の選好も、比較データを通じて反映しやすい
欠点
- 学習に用いる人間の選好データ自体に偏りがあると、その偏りがモデルへ反映される
- 人間の観察された行動が、必ずしも真の価値観を正確に反映しているとは限らない
比較
関連用語
参考文献
- Research PaperAlgorithms for Inverse Reinforcement Learning