ファインチューニング
ファインチューニングに関連する用語（9件）
ファインチューニングは、事前学習済みモデルを特定のタスクやドメインに適応させる追加学習です。少量のデータで専門性の高いモデルを作成でき、LoRAなどの効率的な手法も普及しています。
用語一覧
LoRA
Low-Rank Adaptation
低ランク行列の追加学習により、事前学習済みモデルを効率的にファインチューニングする手法
破滅的忘却
Catastrophic Forgetting
新しいタスクを追加学習した際に、以前学習していたタスクの性能が大きく低下してしまう現象
DPO
Direct Preference Optimization / 直接選好最適化
報酬モデルを別途学習せず、人間の選好データから直接LLMの方策を最適化するアライメント手法
指示チューニング
Instruction Tuning
多様なタスクを指示文と模範応答のペアとして学習させ、LLMの指示追従能力を高めるファインチューニング手法
Self-Instruct
LLM自身に指示・応答のペアを生成させ、指示チューニング用データセットを合成する手法
RAFT
Retrieval-Augmented Fine-Tuning
検索した正解文書と無関係な文書(ディストラクタ)を含めてファインチューニングし、RAG利用時の頑健性を高める手法
PEFT
Parameter-Efficient Fine-Tuning / パラメータ効率的ファインチューニング
モデルの大部分を凍結し、少数のパラメータだけを学習してファインチューニングする手法の総称
QLoRA
Quantized LoRA
ベースモデルを4bitに量子化して凍結し、その上にLoRAを載せて学習するメモリ効率の高いファインチューニング手法
ポストトレーニング
Post-training / 事後学習
事前学習を終えたモデルへ行う、指示チューニング・選好学習・強化学習などの追加学習の総称