ターゲットファインチューニングとは
Targeted Fine-Tuning
モデルの特定の振る舞いや能力だけを変えることを狙い、絞り込んだデータで行うファインチューニング
最終更新:
ひとことで言うと
AIモデルの全体ではなく、直したい癖や伸ばしたい能力の一点に絞って追加で学習させる方法。
概要
ターゲットファインチューニング(Targeted Fine-Tuning)とは、モデル全体の汎用的な性能向上ではなく、特定の振る舞い・能力・知識だけを変えることを目的に、その目的に合わせて絞り込んだデータで行うファインチューニングのこと。 例として、特定の話題での応答スタイルの修正、過剰な応答拒否の緩和や逆に拒否すべき依頼への対応の強化、特定ドメインの知識の追加などがある。アンセンサードモデルの作成で、応答拒否を含まないデータを使って拒否の振る舞いを弱めるのも、この一種と言える。 対象外の能力を保つため、学習するパラメータをLoRAなどで一部に限定したり、学習データに汎用的な例を混ぜたりする工夫が使われる。データが偏るほど破滅的忘却によって他の能力が損なわれやすくなる点に注意が必要。 厳密に定義された専門用語ではなく、目的を絞ったファインチューニング全般を指して使われる。