EXL2（ExLlamaV2形式）とは
ExLlamaV2形式
推論ライブラリExLlamaV2が使う、層ごとに異なるビット数を割り当てられるLLMの量子化形式
最終更新:
ひとことで言うと
AIモデルを小さく圧縮して保存する形式の一つ。GPUで速く動かすことを重視している。
概要
EXL2とは、turboderpが開発するGPU向けのLLM推論ライブラリExLlamaV2で使われる量子化形式。 GPTQと同様に、少量のキャリブレーションデータを使って量子化の誤差が小さくなるように重みを変換する。2・3・4・5・6・8ビットの量子化を層や行列ごとに組み合わせられ、モデル全体の平均ビット数(bpw: bits per weight)を2.5や4.65のように小数単位で指定できる点が特徴。重要度の高い部分に多くのビットを割り当てることで、同じサイズでも誤差を抑えられる。 GPUのVRAM容量に合わせて細かくサイズを調整できるため、ローカル環境で大きなモデルを動かす用途で使われる。CPUでの推論も想定したGGUFに対し、EXL2はGPUでの推論を前提にしている。 ExLlamaV2のほか、text-generation-webuiやTabbyAPIなどのツールから利用できる。
関連する用語
参考文献
- GitHubturboderp/exllamav2