モデル圧縮
モデル圧縮に関連する用語（13件）
モデル圧縮は、モデルのサイズや計算量を削減しつつ性能を維持する技術です。量子化・蒸留・プルーニングなどの手法があり、エッジデバイスでの実行や推論コスト削減に不可欠です。
用語一覧
知識蒸留
Knowledge Distillation / 蒸留 / 教師-生徒学習
大規模な教師モデルの出力を模倣させることで、小規模な生徒モデルへ知識を移す学習手法
量子化
Quantization
モデルの重みや計算を低ビット精度の数値表現に変換し、モデルサイズと推論コストを削減する手法
PTQ
Post-Training Quantization / 学習後量子化
学習済みモデルの重みを、追加学習なしに事後的に低ビット精度へ変換する量子化手法
QAT
Quantization-Aware Training / 量子化を考慮した学習
学習段階から量子化による誤差を考慮に入れることで、低ビット化後も精度低下を抑える量子化手法
GPTQ
少量のキャリブレーションデータのみで、LLMの重みを4bit程度まで高速かつ高精度に量子化するPTQ手法
AWQ
Activation-aware Weight Quantization
活性化値の分布をもとに重要な重みを特定し、その精度を保護しながら量子化するLLM向けの重み量子化手法
モデル圧縮
Model Compression
推論コストやモデルサイズを削減しつつ性能をできるだけ維持する技術の総称
プルーニング
Pruning / 枝刈り
出力への寄与が小さいニューロン・重み・層を削減し、モデルサイズと推論コストを下げるモデル圧縮手法
スパース化
Sparsification
パラメータや計算グラフの大部分を0または未使用にし、実質的な計算量・メモリ使用量を削減する手法の総称
重要度評価
Importance Scoring / Saliency Scoring
モデル内の重み・ニューロン・層が出力にどの程度寄与しているかを定量化し、削減対象の判断に用いる評価
歪み最小化
Distortion Minimization
量子化などによって生じる出力の誤差(歪み)を最小化するよう、パラメータや量子化パラメータを最適化する手法
プロンプト蒸留
Prompt Distillation / Context Distillation
詳細な指示・例を含むプロンプトへの応答パターンを、プロンプトなしでも再現できるようモデル自体に学習させる手法
計算効率
Computational Efficiency
同じ性能をより少ない計算量・メモリ・時間で達成できるかを表す、モデルの学習・推論における効率性の指標