Re Reference AI

技術

INT4とは

数値を4ビットの整数で表現する、LLMの大幅な軽量化に用いられる量子化精度

数値精度量子化

ひとことで言うと

数値を4ビットの整数で表す形式。AIモデルをさらに大きく軽量化できる。

概要

INT4とは、数値を4ビット(16段階)の整数で表現する数値形式。 INT8よりもさらにビット数が少なく、モデルサイズを大きく圧縮できる一方、表現できる数値の段階が非常に少ないため、単純に変換すると性能低下が大きくなりやすい。 GPTQ・AWQ等、精度低下を抑えるための工夫を組み込んだ量子化手法と組み合わせ、GPUメモリが限られた個人のPCでもLLMを動かす目的でよく利用される。 4ビットまで落とすとモデルサイズをFP16比で4分の1程度まで圧縮できるため、数十億パラメータ規模のモデルでも一般的なゲーミングPC相当のGPUメモリで動かせるようになる効果は大きい。 さらに低い1〜2ビットまで量子化する研究も存在するが、性能低下が顕著になりやすいため、実用上はINT4が精度とサイズのバランスが取れた下限として広く使われている。

背景

LLMのパラメータ数が増大するにつれ、INT8への量子化だけでは十分にメモリ使用量を削減できない場面が増えた。 INT4は、この要求に応えるためのさらに踏み込んだ量子化目標として、精度低下を抑える手法の発展とともに実用化が進んだ。

歴史

2022-2023年: GPTQ・AWQ等、重要な重みを保護しながら4bit程度まで圧縮する量子化手法が相次いで提案され、INT4によるLLMの実用的な圧縮が広がった。

アーキテクチャ

重み全体を単純に4bitへ丸めると誤差が大きくなりやすいため、GPTQのように層ごとに量子化誤差を補正しながら丸め込む手法や、AWQのように出力への影響が大きい重要な重みを識別し量子化の影響を受けにくくする手法が用いられる。

利点

  • モデルサイズを圧縮でき、限られたGPUメモリや個人のPCでも大規模モデルを動作させやすくなる
  • GGUF等のフォーマットを通じて、ローカルLLM実行ツールで手軽に利用できる

欠点

  • 単純な量子化では性能低下が大きく、GPTQ・AWQ等工夫された手法の利用が前提になる
  • INT8と比べ、タスクによっては無視できない精度低下が生じやすい

比較

  • INT8 — INT8よりさらにビット数を減らした形式がINT4で、圧縮率は高いが精度の確保がより難しくなる
  • 量子化 — INT4は、量子化の中でも特に高い圧縮率を狙う際に使われる目標精度
  • GGUF — GGUF形式で配布されるモデルの多くは、INT4程度まで量子化されている

関連用語

INT8量子化GGUF

よくある質問

INT4量子化されたモデルは実用的な性能を保てる？

GPTQ・AWQ等の工夫された手法を用いれば、多くのタスクで実用上許容できる範囲に性能低下を抑えられるとされるが、モデルやタスクによっては明確な差が出る場合もある。

参考文献

関連Zenn記事