モデル圧縮（Model Compression）とは
Model Compression
推論コストやモデルサイズを削減しつつ性能をできるだけ維持する技術の総称
概要
モデル圧縮は、学習済みモデルの推論速度やメモリ使用量、モデルサイズを削減しつつ、可能な限り性能を維持することを目的とした技術の総称。 重みを低ビット表現に変換する量子化、重要度の低い重みや層を取り除く枝刈り(プルーニング)、大きな教師モデルの挙動を小さな生徒モデルに学習させる知識蒸留などが代表的な手法として含まれる。 エッジデバイスやモバイル環境での推論、大規模モデルの運用コスト削減など、計算資源が限られる場面で重要性が高い。 圧縮率と精度低下のトレードオフをどう管理するかが、モデル圧縮手法を選定・組み合わせる際の主要な論点となる。