Re Reference AI

技術

アライメントとは

Alignment

LLMの出力を人間の意図・価値観・安全基準に沿わせるための研究・技術分野

安全性LLM

ひとことで言うと

AIの答えが人間の望むこと・安全な範囲に沿うようにする取り組み。

概要

アライメントとは、LLMなどのAIシステムの出力や振る舞いを、開発者や社会が意図する目的・価値観・安全基準に沿わせるための研究・技術分野の総称。 事前学習だけを経たモデルは次のトークンを予測するよう学習されているにすぎず、有用で安全な応答をするとは限らない。 指示に忠実に従う(helpful)、有害な出力を避ける(harmless)、事実に基づいた誠実な応答をする(honest)といった性質を獲得させるため、指示チューニングやRLHF、DPOといった手法を通じてモデルの振る舞いを調整する工程がアライメントにあたる。 アライメントが不十分なモデルは有害な指示に従ってしまったり、逆に安全性を過度に優先して無害な質問にも回答を拒否してしまったりすることがあり、有用性と安全性のバランス調整が継続的な課題になっている。

背景

大規模コーパスでの事前学習だけを行ったLLM(ベースモデル)は、文章の続きを予測することに最適化されており、人間が期待する形式で有用に答えたり、有害な要求を拒否したりする保証がない。 この「事前学習の目的」と「実際にユーザーが求める振る舞い」のギャップを埋めるため、アライメントという工程が必要とされるようになった。

歴史

2017年: OpenAIとDeepMindの研究チームが人間のフィードバックによる強化学習の枠組みを提案。 2022年: InstructGPTが指示チューニングとRLHFを組み合わせ、人間の意図に沿った応答を生成する手法を確立。 2022年: ChatGPTの公開によりアライメント済みLLMが広く一般に普及。 2023年以降: RLHFより軽量なDPO(Direct Preference Optimization)等、アライメント手法の効率化が進む。

アーキテクチャ

一般的なアライメントの工程は、指示と望ましい応答のペアで学習する教師ありファインチューニング(指示チューニング)と、人間の選好データを用いて応答の良し悪しを学習する選好最適化(RLHFやDPO)の組み合わせで構成される。

ワークフロー

事前学習済みのベースモデルを用意 → 指示と望ましい応答のペアで指示チューニング → 複数の応答に対する人間の選好データを収集 → RLHFやDPOにより選好データに基づきモデルを最適化 → 評価・安全性検証を経てリリース。

コード例

Hugging Face TRLでDPOによる選好最適化を行う

from datasets import load_dataset
from trl import DPOConfig, DPOTrainer
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("gpt2")
tokenizer = AutoTokenizer.from_pretrained("gpt2")
dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train[:1%]")

trainer = DPOTrainer(
    model=model,
    args=DPOConfig(output_dir="aligned-model"),
    train_dataset=dataset,
    processing_class=tokenizer,
)
trainer.train()

利点

  • ベースモデルだけでは得られない、指示追従性や安全性を獲得できる
  • 有害な出力や誤情報を減らし、業務利用に耐えるアシスタントとして使いやすくなる
  • 指示チューニングとDPO/RLHFの組み合わせにより、複数の評価軸を段階的に改善できる

欠点

  • 人間の評価者や選好データに含まれるバイアスがモデルに反映される場合がある
  • 安全性を重視しすぎると、正当な質問さえ拒否しやすくなる(過剰な保守化)ことがある
  • 高品質な人間の選好データの収集にコストと時間がかかる

比較

  • RLHF — RLHFはアライメントを実現する代表的な手法の1つ
  • ファインチューニング — アライメントは、ファインチューニングの一種である指示チューニングや選好最適化を通じて行われることが多い
  • ハルシネーション — アライメントはハルシネーションのような信頼性の課題に対処する取り組みの一部でもある
  • Claude — Claudeは、Constitutional AIというアライメント手法を用いて開発されている
  • ジェイルブレイク — ジェイルブレイクは、アライメントによって獲得された安全性の制約を回避しようとする試み
  • レッドチーミング — レッドチーミングで発見された問題は、アライメントの改善へフィードバックされることが多い

関連用語

RLHFファインチューニングLLMハルシネーションClaudeジェイルブレイクレッドチーミングDPOConstitutional AI指示チューニング

よくある質問

アライメントを行うと性能は落ちる？

一部のベンチマークで生成の多様性や創造性がやや低下する「アライメント税(alignment tax)」という現象が報告されているが、指示追従性や実用面での有用性は向上する。

アライメントは一度行えば完了？

いいえ。 新たな脆弱性(ジェイルブレイク手法等)が発見されるたびに評価・改善を繰り返す、継続的な取り組みとして扱われることが多い。

参考文献

関連Zenn記事