GGUFとは
GPT-Generated Unified Format
量子化されたモデルの重みとメタデータを1ファイルにまとめた、llama.cpp発のモデル配布フォーマット
ひとことで言うと
軽量化したAIモデルの重みをまとめて配布するためのファイル形式。
概要
GGUF(GPT-Generated Unified Format)とは、llama.cppプロジェクトが定義した、LLMの重み・量子化情報・トークナイザ等のメタデータを1つのファイルにまとめて格納するフォーマット。 モデルの構造やパラメータをファイル単体から読み込めるよう設計されており、Ollama・LM Studio等、多くのローカルLLM実行ツールで標準的な配布形式として採用されている。 以前使われていたGGML形式の後継として設計され、拡張性や互換性が改善されている。 1つのファイルにモデル本体と量子化パラメータ、チャットテンプレート等の実行に必要な情報がまとまっているため、ダウンロードしてすぐに動かせる手軽さがローカルLLM実行ツールで広く採用される理由になっている。
背景
ローカル環境でLLMを手軽に配布・実行するには、モデルの重みだけでなく、量子化方式やトークナイザの設定等を含めて1つのファイルとして扱えることが望ましい。 GGUFは、こうした情報を1ファイルへ統合し、異なるツール間でも一貫して読み込めるよう設計された。
歴史
2023年8月: llama.cppプロジェクトが、以前のGGML形式に代わる新フォーマットとしてGGUFを導入。 以降、Hugging Face等でGGUF形式に変換された量子化モデルが数多く公開され、ローカルLLM実行の事実上標準的なフォーマットとして普及した。
利点
欠点
- 主に推論向けのフォーマットであり、学習(ファインチューニング)にそのまま使う用途には向かない
- フォーマット自体はllama.cppのエコシステムに強く依存しており、対応していないツールでは扱えない