ステアリング（Steering）とは
Steering / Activation Steering / Model Steering
モデル内部の活性化を直接操作し、出力のスタイルや性質を狙った方向へ誘導する技術
ひとことで言うと
モデル内部の計算過程に直接手を加えて、出力の傾向を狙った方向に誘導する技術。
概要
ステアリング(Steering)とは、プロンプトの書き換えではなく、モデル内部の活性化(activation)に対して特定のベクトルを加算・調整することで、出力のスタイルや性質、話題への言及傾向等を狙った方向へ誘導する技術を指す。 解釈可能性研究において、特定の概念に対応する内部特徴(feature)が事前に特定できている場合、その特徴に対応する方向へ活性化を人為的に強めることで、モデルの挙動を直接操作できる。 プロンプトエンジニアリングが入力側からモデルの出力を間接的に誘導するのに対し、ステアリングはモデル内部へ直接介入する点で異なり、有害な出力の抑制や特定の振る舞いの強調等、アライメントや安全性向上の手法としても研究されている。
歴史
2024年5月、Anthropicが論文「Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet」を公表した。抽出した内部特徴を用いてモデルの出力を操作する例として、特定の概念に強く言及するよう誘導した「Golden Gate Claude」のデモも公開した。
利点
欠点
- 操作対象の特徴を事前に特定する必要があり、対象モデルの内部構造への深い理解が前提となる
- 過度な操作は、意図しない副作用や出力品質の低下を招く場合がある
比較
- プロンプトエンジニアリング — プロンプトエンジニアリングは入力側からの間接的な誘導、ステアリングはモデル内部への直接的な介入
- アライメント — ステアリングは、アライメントを実現するための実装手段の1つとして研究されている