PTQとは
Post-Training Quantization / 学習後量子化
学習済みモデルの重みを、追加学習なしに事後的に低ビット精度へ変換する量子化手法
ひとことで言うと
学習が終わったモデルに、後から手軽に量子化をかける手法。
概要
PTQ(Post-Training Quantization、学習後量子化)とは、既に学習が完了したモデルに対し、再学習せずに重みや活性化値を低ビット精度の数値表現へ変換する量子化手法。 量子化後のモデル性能を保つため、変換前に少量のキャリブレーションデータを用いて数値の分布(スケール・ゼロ点等)を調整する場合が多いが、QATのようにモデル全体を再学習する必要はなく、比較的少ない計算コスト・短時間で適用できる点が特徴。 GPTQやAWQ等、LLM向けに開発された量子化手法の多くもPTQに分類される。
背景
学習済みの大規模モデルを量子化する際、QATのように学習全体をやり直すアプローチは計算コスト・時間の面で負担が大きい。PTQは、既存の学習済みモデルへ事後的に変換を適用するだけで量子化を完了できる、より手軽な手法として発展した。
歴史
2018年: GoogleのJacobらが論文「Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference」を発表し、整数演算のみで推論する量子化手法とその学習方法を示した。同論文はQATとあわせて、学習済みモデルを整数量子化する手法の基礎ともなっている。 以降、LLMを対象としたGPTQ・AWQ等、PTQに分類される量子化手法が多数提案されている。
利点
- 再学習が不要なため、量子化を短時間・低コストで適用できる
- 学習用のデータセットや計算資源を用意できない場合でも、学習済みモデルへ適用しやすい