Constitutional AIとは
CAI / 憲法的AI
人間があらかじめ定めた原則(憲法)に基づき、AI自身に自分の応答を評価・修正させてアライメントするAnthropic発の手法
ひとことで言うと
人がすべて採点する代わりに、あらかじめ決めたルールをもとにAI自身に「この答えは良いか」を判断させて改善する方法。
概要
Constitutional AIは、Anthropicが提案したアライメント手法。 人間があらかじめ定めた原則の集合(「憲法」)に基づき、AI自身が自分の応答を批判・評価し、その原則に沿うよう応答を修正する過程を学習に取り込むことで、有害な出力を抑えつつ人間の労力を抑制する。 学習は大きく2段階に分かれ、まずモデルに有害となりうる指示への応答を生成させ、憲法の原則に照らして自己批判・修正させたデータで教師あり学習する。 続いて、モデル自身に複数の応答を憲法の原則に基づいて比較評価させ、その選好データをもとに強化学習(RLAIFと呼ばれる、人間の代わりにAIのフィードバックを使う枠組み)でさらにアライメントを進める。 人間による有害性評価のラベル付けを減らしながら応答の安全性と有用性を両立させることを目指しており、Claudeシリーズのアライメント手法の根幹をなしている。
背景
RLHFは効果的な一方、有害な応答を判定するための大量の人間によるラベル付けが必要で、評価者の心理的負担やコストが課題となっていた。 Constitutional AIは、判断基準を明文化した原則としてAIに与え、AI自身に評価・修正させることで、人間による直接的な有害性評価の必要性を減らす狙いで考案された。
歴史
2022年: AnthropicがBaiらの論文「Constitutional AI: Harmlessness from AI Feedback」を発表。 2022年以降: Claudeシリーズのアライメント手法の中核として継続的に発展・適用されている。
ワークフロー
有害となりうる指示に対しモデルが初期応答を生成する。 憲法の原則に基づき、モデル自身がその応答を批判し、より安全で有用な応答へ書き直す。 書き直された応答を教師データとして教師あり学習したのち、モデル自身が複数の応答を原則に基づいて比較評価した選好データを用いて強化学習によりさらに調整する。
コード例
自己批判・修正ループの概念コード
def constitutional_revise(prompt, response, principles, llm):
critique = llm.generate(f"次の応答を原則『{principles}』に照らして批判してください。\n応答: {response}")
revised = llm.generate(f"批判: {critique}\nこの批判を踏まえ、応答を書き直してください。")
return revised利点
- 有害性評価のための人間のラベル付け作業を大きく減らせる
- 評価基準を明文化した原則として管理でき、アライメントの方針を追跡・調整しやすい
- AI自身による評価を活用するため、人間の評価者による心理的負担を軽減できる
欠点
- AI自身の評価能力に依存するため、評価が誤っている場合にその誤りがそのまま学習に反映されるリスクがある
- 定める原則(憲法)の内容や記述の質が、最終的なアライメントの結果を大きく左右する
- 人間の評価をすべて排除できるわけではなく、原則の設計や検証には引き続き人間の関与が必要
比較
関連用語
よくある質問
Constitutional AIの「憲法」とは？
AIの応答が守るべき原則を言語化したルール集のこと。有害性を避ける指針や、有用性・誠実さに関する方針などが含まれ、AI自身が応答を評価する際の基準として使われる。
RLAIFとは？
Reinforcement Learning from AI Feedbackの略で、人間ではなくAI自身が生成した評価・選好データを使って強化学習を行う枠組み。Constitutional AIの後段の学習で使われる。
参考文献
- Research PaperConstitutional AI: Harmlessness from AI Feedback