軽量化とは?関連技術・用語一覧
軽量化は、モデルのサイズや計算量を削減して動作環境の制約に適応させる技術です。量子化・蒸留・プルーニングなどにより、エッジデバイスやローカル環境での実行を可能にします。
軽量化に関連する用語(10件)
軽量化関連のモデル(1件)
軽量化関連の技術(8件)
知識蒸留
Knowledge Distillation / 蒸留 / 教師-生徒学習
大規模な教師モデルの出力を模倣させることで、小規模な生徒モデルへ知識を移す学習手法
技術モデル圧縮軽量化
量子化
Quantization
モデルの重みや計算を低ビット精度の数値表現に変換し、モデルサイズと推論コストを削減する手法
技術モデル圧縮軽量化
PTQ
Post-Training Quantization / 学習後量子化
学習済みモデルの重みを、追加学習なしに事後的に低ビット精度へ変換する量子化手法
技術モデル圧縮軽量化
QAT
Quantization-Aware Training / 量子化を考慮した学習
学習段階から量子化による誤差を考慮に入れることで、低ビット化後も精度低下を抑える量子化手法
技術モデル圧縮軽量化
GPTQ
少量のキャリブレーションデータのみで、LLMの重みを4bit程度まで高速かつ高精度に量子化するPTQ手法
技術モデル圧縮軽量化
AWQ
Activation-aware Weight Quantization
活性化値の分布をもとに重要な重みを特定し、その精度を保護しながら量子化するLLM向けの重み量子化手法
技術モデル圧縮軽量化
モデル圧縮
Model Compression
推論コストやモデルサイズを削減しつつ性能をできるだけ維持する技術の総称
技術モデル圧縮軽量化
プルーニング
Pruning / 枝刈り
出力への寄与が小さいニューロン・重み・層を削減し、モデルサイズと推論コストを下げるモデル圧縮手法
技術モデル圧縮軽量化