Re Reference AI

アライメントとは?関連技術・用語一覧

アライメントは、AIの振る舞いを人間の意図や価値観に沿わせるための技術・研究分野です。RLHFやConstitutional AIなどの手法により、有害な出力の抑制や指示への忠実な応答を実現します。

アライメントに関連する用語(11件)。定義・仕組みはアライメントの用語ページで解説。

アライメント関連の技術(10件)

RLHF

Reinforcement Learning from Human Feedback / 人間のフィードバックに基づく強化学習

人間による応答の選好評価を報酬信号として、強化学習でLLMの応答を人間の意図に近づける手法

技術強化学習アライメント

DPO

Direct Preference Optimization / 直接選好最適化

報酬モデルを別途学習せず、人間の選好データから直接LLMの方策を最適化するアライメント手法

技術アライメントファインチューニング

指示チューニング

Instruction Tuning

多様なタスクを指示文と模範応答のペアとして学習させ、LLMの指示追従能力を高めるファインチューニング手法

技術ファインチューニングアライメント

Constitutional AI

CAI / 憲法的AI

人間があらかじめ定めた原則(憲法)に基づき、AI自身に自分の応答を評価・修正させてアライメントするAnthropic発の手法

技術アライメント安全性

RLAIF

Reinforcement Learning from AI Feedback / AIフィードバックによる強化学習

人間の代わりにAIモデルが出力を評価し、そのフィードバックでモデルを強化学習する手法

技術強化学習アライメント

報酬モデル

Reward Model / RM

LLMの出力の良し悪しをスコアとして予測し、強化学習の審判役を担うモデル

技術強化学習アライメント

PPO

Proximal Policy Optimization / 近接方策最適化

方策の更新幅をクリッピングで制限し安定した学習を実現する強化学習アルゴリズムで、RLHFの方策最適化段階で広く使われる

技術強化学習アライメント

選好学習

好み学習 / 人間の好み学習 / Preference Learning

人間による選好(どちらが好ましいか)の比較データからモデルの挙動を学習する手法

技術アライメント強化学習

価値学習

Value Learning

人間の価値観や選好を明示的なルールでなくデータから帰納的に学習させる、AIアライメント研究のアプローチ

技術安全性アライメント

RLCD

Reinforcement Learning from Contrastive Distillation / 対照的蒸留による強化学習

正負の属性を対比させたプロンプトで出力ペアを生成し、それを選好データとして報酬モデルを学習する手法

技術強化学習アライメント

アライメント関連の評価(1件)

指示追従

Instruction Following / インストラクションフォローイング

自然言語で与えられた指示の内容や制約を理解し、それに沿った出力を返すモデルの能力

評価アライメントLLM

アライメント関連の年表

GPTの歴史

OpenAIが2018年のGPT-1から一貫して開発してきたGPTシリーズの変遷。ChatGPTによる一般普及からGPT-5に至るまでの主要リリースをたどる。

モデル8件のイベント / 2018 - 2025

関連するタグ

強化学習ファインチューニング安全性LLM