Re Reference AI

PEFTとは?関連技術・用語一覧

PEFT(Parameter-Efficient Fine-Tuning)は、モデルの一部のパラメータのみを更新する効率的なファインチューニング手法の総称です。LoRAなどが代表例で、少ない計算資源でモデルをカスタマイズできます。

PEFTに関連する用語(3件)。定義・仕組みはPEFTの用語ページで解説。

PEFT関連の技術(3件)

LoRA

Low-Rank Adaptation

低ランク行列の追加学習により、事前学習済みモデルを効率的にファインチューニングする手法

技術ファインチューニングPEFT

PEFT

Parameter-Efficient Fine-Tuning / パラメータ効率的ファインチューニング

モデルの大部分を凍結し、少数のパラメータだけを学習してファインチューニングする手法の総称

技術ファインチューニングPEFT

プロンプトチューニング

Prompt Tuning / ソフトプロンプト / Soft Prompt Tuning

モデル本体の重みを固定したまま、入力の先頭に付ける学習可能な埋め込みベクトルだけを学習してタスクに適応させる手法

技術ファインチューニングPEFT

関連するタグ

ファインチューニング