> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/ji-chu/dynamic-3.0-ggufs.md).

# Unsloth Dynamic 3.0 GGUF

[**Unsloth**](https://github.com/unslothai/unsloth) **Dynamic v3.0** は、Dynamic 量子化の次のイテレーションであり、Dynamic v2.0 から大きく改善されています。

本日、私たちは [**Qwen3.8-27B**](/docs/jp/moderu/qwen3.8.md) の Dynamic v3.0 量子化版をリリースします。 **同サイズでトップ1精度が10%以上向上** し、 **他のあらゆるプロバイダーと比べて**。これは、私たちが最初に共有した **早期プレビュー** 版の Dynamic v3.0 の更新です。新しい 3.0 GGUF は、 **llama.cpp** そして [**Unsloth Desktop**](/docs/jp/desktop.md).

{% columns %}
{% column width="41.66666666666667%" %}
Dynamic v3.0 全体では、同じサイズを保ちながらモデル品質をより多く維持し、 **Divergence-300** @32 と **KLダイバージェンス**.

また、皆さまのご支援に心から感謝します！ たった5日で、Unsloth Qwen3.8 のダウンロード数が510万件を超えました！
{% endcolumn %}

{% column width="58.33333333333333%" %}

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fl9piThTmmUsePst5w3F2%2Fimage.png?alt=media&amp;token=821e88e2-ad4e-40bf-adf2-e13837228e82" alt=""><figcaption><p>下に、より多くのグラフ/ベンチマークと分析があります</p></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

私たちの新しい手法は、多くの新機能と改善で構成されています。現在は、さまざまなソースから得た、はるかに高品質な imatrix キャリブレーションデータセットを使用しています。このデータセットは **エージェント型コーディング、チャット**、および多言語性能向けに洗練されています。さらに、私たちは **レイヤー選択** を改善し、モデル品質を可能な限り保つために、さらに多くの量子化技術を導入しました。

私たちは **imatrix キャリブレーションデータセットで学習しておらず**、さらに **QAT** または **QAD**も使用していません。すべては **ポストトレーニング量子化**で行われています。使用した imatrix ファイルは、コミュニティがテスト、評価、利用できるよう公開しています。研究者や開発者の皆さんには、私たちの Unsloth quants/imatrix を使って Qwen3.8 の派生版やファインチューニング版を作成することをお勧めします。私たちの [過学習分析](#not-overfitting) もお読みください。

* また、以下未満の小さな量子化版から MTP モジュールも削除し、 `UD-Q2_K_XL` （8.37GB 以下）の小さな量子化版では MTP モジュールも削除し、ディスク容量を約500MB節約しました。必要なら `Q4_0` MTP の別モジュールを使用できます
* また、より小さい UD-1bit 量子化版も作成しました。 `UD-IQ1_S` 6.2GB（MTP なし）で、トップ1精度を約72%維持しつつ、サイズは89%小さくなっています。
* `UD-Q2_K_XL` は、次点のものよりトップ1精度が約8%高く、9.83GB でありながら、以前は壊れていた1つの小さな JS バグを含む動作する HTML プログラムを作成できました。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FHkiEb4BgU9IZ4t0pbMKs%2FUD-Q2_K_XL-Qwen.gif?alt=media&amp;token=6b4cd6d5-0b70-4741-a72e-1f5e1974dbb0" alt="" width="360"><figcaption><p>2ビットの Qwen3.8-27B GGUF で生成</p></figcaption></figure>

### 🔀 Divergence-300 @32

通常、Kimi-K3 の「Dynamic 1-bit reaches **\~78.9%** トップ1精度を達成しつつ **62% 小型化**」のようにトップ1精度を報告します。しかし、トップ1は1回の予測に対する argmax なので、実際の推論の評価にはあまり有効ではありません。

Terminal-Bench 2.1 + DeepSWE + Harbor + MathArena 2025-26 + 非ラテン文字/長文プロンプトからの300件のホールドアウト例（キャリブレーションデータセットには含まれない）のデータセットを作成し、BF16 とすべての量子化版およびプロバイダーについて、32トークンの greedy argmax デコードを行いました。See [過学習分析](#not-overfitting) についての詳細は以下をご覧ください。

これにより、過学習があるかどうか、また量子化出力が複数トークンにわたって BF16 の軌跡とどれほど似ているかを評価できます。これは、KLD のトップ1を32トークンでの KLD トップ1のように拡張しているため、トップ1精度よりも優れた指標です。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FySCIjoinQuhNqfGz3C4Q%2Fimage.png?alt=media&amp;token=dcc5a2be-3445-4a67-b1e2-0ca5e89fbcf6" alt=""><figcaption></figcaption></figure>

### :question:1ビットはエージェント型ユースケースには使用すべきではありません

で見られるように [#divergence-300-32](#divergence-300-32 "mention")、UD-Q2\_K\_XL から UD-IQ2\_S へ、32トークン予測の精度が約25%から8〜10%未満へと急激に低下します。この急激な低下は、ツール呼び出しや非推論モードが機能しなくなることを意味します。1ビット版を使う場合の問題点と対策は以下のとおりです：

1. **過度なループ**\
   UD-Q2\_K\_XL 未満の量子化版を使うと、ループが非常に多く見られます。すべての場合で `presence_penalty = 1.5` を使用してください（またはそれ以上）
2. **空の応答**\
   1ビット量子化版では、少なくとも low reasoning で thinking を常に有効にしてください。非推論モードでは、そもそもモデルが出力しなくなります。
3. **エージェント型ユースケースとツール呼び出し**\
   このモデルをツール呼び出しには使用しないでください。 **保持されるのは一般知識** を大きく量子化した場合のみであり、モデルはツールの呼び出しに失敗するか、呼び出しを続けるか、あるいはまったく呼び出しません。
4. **一般知識は機能します**\
   トップ1回復率77%は、実際の推論ワークロードのより良い指標である8%の Divergence-300 @32 の代わりにはなりません。モデルは非常に短い一般知識の事実質問には使えますが、最適なのは UD-Q2\_K\_XL です。

### 🔀 KLダイバージェンス ベンチマーク

私たちはすべてのプロバイダーについて KLD ベンチマークも実行し、トップ1と KLD 平均を報告しています。すべてのレベル、特に小さい量子化サイズでは、Unsloth の UD-3 量子化版が同じディスク容量で最大+10%のトップ1精度向上を実現します！

すべてのプロットでは、公平な比較のために、ディスク容量の計算時に x 軸から MTP ヘッドを除外しています。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F4ipZ74oiCRRLbB2FJa4J%2Fimage.png?alt=media&amp;token=09f263b9-4cd9-45dc-bd31-8c7ecff2ca41" alt=""><figcaption></figcaption></figure>

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FA6YPmwKLaJ7IZ4U4bQE3%2Fimage.png?alt=media&amp;token=e003bf7b-5c78-4eb4-bbae-5358410ef3fa" alt=""><figcaption></figcaption></figure>

### :dove:過学習なし

未見の Wikitext と Code で旧 UD-2 と比較すると、KLD が大幅に改善していることがわかります。大きいものではそれほどでもないため、大きい量子化版では今でも旧 UD-2 を使用しています。今後はそれらも実験して改善する予定です！

また、キャリブレーションに完全に異なるデータセットを使用し、漏洩を可能な限り排除することで過学習を抑えています。これらの未見データセットで KLD をテストし、さらに QAD / QAT は行わず、純粋な PTQ のみを行っているため、他の QAD / QAT 手法に比べて過学習の懸念は小さくなっています。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FP6ro1GH2PqtO63Zdvale%2Fimage.png?alt=media&amp;token=109ca035-6fe1-4154-a33e-20d609f2bf57" alt=""><figcaption></figcaption></figure>

同様に [#divergence-300-32](#divergence-300-32 "mention") は、DeepSWE、Terminal Bench などからの300件の未見プロンプトのデータセットを使用し、過学習を評価するための別のデータセットとして機能します。そして、私たちの新しい UD-3 手法が過学習していないことを示しています。

***

## Dynamic v2.0（旧版）

私たちは [Unsloth](https://github.com/unslothai/unsloth) Dynamic v2.0 量子化を導入します。これは、以前の量子化版に対する大幅なアップグレードです。この新しい手法は主要な量子化手法を上回り、 [Aider Polyglot](/docs/jp/ji-chu/dynamic-3.0-ggufs/unsloth-dynamic-ggufs-on-aider-polyglot.md)、5-shot MMLU および KLダイバージェンスで新たなベンチマークを打ち立てます。

これにより、 [量子化された LLM](/docs/jp/moderu/tutorials.md) を、可能な限り精度を保ったまま実行＋ファインチューニングできるようになります！ 2.0 GGUF は llama.cpp などのほとんどの推論エンジンで実行できます。 [Unsloth Studio](/docs/jp/shii/studio.md) などを使用します。

{% columns %}
{% column %}
**2026年4月20日更新：** 新しい GGUF ベンチマークをご覧ください： [Qwen3.6](/docs/jp/moderu/qwen3.6.md#unsloth-gguf-benchmarks) そして [Gemma 4](/docs/jp/moderu/gemma-4.md#unsloth-gguf-benchmarks).

[2026年2月27日更新：](/docs/jp/moderu/qwen3.5/gguf-benchmarks.md) **Qwen3.5** が公開され、ツール呼び出し用チャットテンプレートのいくつかの問題を修正し、すべての GGUF を困惑度と KLダイバージェンスでベンチマークしました。 [ベンチマークを見る！](/docs/jp/moderu/qwen3.5/gguf-benchmarks.md)

その **大きな利点** を使用する [Unsloth パッケージ](https://github.com/unslothai/unsloth) と量子化版における私たちの役割は、主要モデルのバグ修正に積極的に取り組んでいることです。私たちは [Qwen3](https://www.reddit.com/r/LocalLLaMA/comments/1kaodxu/qwen3_unsloth_dynamic_ggufs_128k_context_bug_fixes/), [Meta（Llama 4）](https://github.com/ggml-org/llama.cpp/pull/12889), [Mistral（Devstral）](https://app.gitbook.com/o/HpyELzcNe0topgVLGCZY/s/xhOjnexMCB3dmuQFQ2Zq/~/changes/618/basics/tutorials-how-to-fine-tune-and-run-llms/devstral-how-to-run-and-fine-tune), [Google（Gemma 1–3）](https://news.ycombinator.com/item?id=39671146) そして [Microsoft（Phi-3/4）](https://simonwillison.net/2025/Jan/11/phi-4-bug-fixes)のチームと直接協力し、精度を向上させる修正を提供してきました。
{% endcolumn %}

{% column %}

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FtRVN97QDzO0Pq7SscC7x%2Fgemma%20426b%20bench.png?alt=media&amp;token=80b4da76-efe9-4554-8e31-cca6494d456c" alt=""><figcaption><p>Gemma 4 26B A4B ベンチマーク（低いほど良い）</p></figcaption></figure>

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FHq98A18pHA2ePwlInrFG%2Fqwen36_mean_q6k_corrected_arrow_pareto_fixed.png?alt=media&amp;token=a5190c8a-4d04-4d4d-be94-dd15214e6687" alt=""><figcaption><p>Qwen3.6 ベンチマーク（低いほど良い）</p></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

{% hint style="success" %}
Unsloth Dynamic GGUF は現在、 [Unsloth Studio](/docs/jp/shii/studio.md) ✨

<img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FsERzR65n4jc1UtuSHozZ%2Fwedefrwfwe.gif?alt=media&amp;token=e303ed9e-0d90-456d-8d57-874a06803903" alt="" data-size="original">
{% endhint %}

{% hint style="success" %}
[2025年9月10日更新：](/docs/jp/ji-chu/dynamic-3.0-ggufs/unsloth-dynamic-ggufs-on-aider-polyglot.md) より厳しいベンチマークをご要望だったので、Aider Polyglot の結果をご紹介します！私たちの Dynamic 3-bit DeepSeek V3.1 GGUF のスコアは **75.6%**&#x3067;、多くの完全精度 SOTA LLM を上回っています。 [続きを読む。](/docs/jp/ji-chu/dynamic-3.0-ggufs/unsloth-dynamic-ggufs-on-aider-polyglot.md)

<img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-a114143bdd47add988182aabf9313ab40be38d7d%2Faider%20thinking.png?alt=media" alt="DeepSeek-V3.2 Thinking Aider Benchmarks" data-size="original"><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-b085c16c7f8351308229f1341846cbf1a2617d0a%2Faider%20non.png?alt=media" alt="Llama 4 5-shot MMLU Benchmarks" data-size="original">
{% endhint %}

Benjamin Marie が LiveCodeBench v6、MMLU Pro などのために実施した実世界のユースケースベンチマークもご覧いただけます：

<div><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FhfO2gsbz2lWrZXg3ojyE%2FHCGBTzgboAASv_A.png?alt=media&amp;token=7d6334ca-4f3c-4946-aacd-d55527375fce" alt="" width="563"><figcaption></figcaption></figure> <figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Ftbfnqq8ppzwFbeqPhnw0%2FHAfMRrrXQAALkQb.png?alt=media&amp;token=9730d4e1-3d4a-4ae6-92bf-32aa6724ab86" alt="" width="450"><figcaption></figcaption></figure></div>

約8GB小さいにもかかわらず、Unsloth の GGUF が非 Unsloth 量子化版より優れた性能を示していることがわかります。

ベンチマークと評価の詳細な分析はさらに下にあります。

### 💡 Dynamic v2.0 の新機能は？

* **GGUF + safetensors のレイヤー選択を刷新：** Unsloth Dynamic 2.0 は、レイヤーをより賢く、より広範囲に選択的に量子化するようになりました。特定のレイヤーだけを変更するのではなく、可能な限りすべてのレイヤーの量子化方式を動的に調整し、組み合わせはレイヤーとモデルごとに異なります。
* 現在選択されているものと今後アップロードされるすべての GGUF は、Dynamic 2.0 と新しいキャリブレーションデータセットを使用します。このデータセットには >1.5M 以上の **トークン** （モデルによる）を含み、高品質で手作業で精選・クリーンアップされたデータで構成されています。これにより会話チャット性能が大幅に向上します。
* 以前は、私たちの Dynamic 量子化（DeepSeek-R1 1.58-bit GGUF）は MoE アーキテクチャにのみ有効でした。 <mark style="background-color:green;">**Dynamic 2.0 量子化は、すべてのモデル（MoE と非 MoE の両方）で動作するようになりました**</mark>.
* **モデル別の量子化版：** 各モデルは現在、専用に調整された量子化方式を使用します。たとえば、Gemma 3 で量子化されるレイヤーは Llama 4 のものと大きく異なります。
* 効率を最大化するため、特に Apple Silicon や ARM デバイス向けに、Q4\_NL、Q5.1、Q5.0、Q4.1、Q4.0 形式も追加しています。

正確なベンチマークを確保するため、Llama 4 と Gemma 3 の公式の 5-shot MMLU スコアに合わせた社内評価フレームワークを構築しました。これにより、フル精度と Dynamic v2.0、 **QAT** および標準 **imatrix** GGUF 量子化版を比較できるようになりました。

<div><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-fd0a92a2bea8efa37b71946ea934a22f00589f40%2Fkldivergence%20graph.png?alt=media" alt="" width="563"><figcaption></figcaption></figure> <figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-76662317725a3b76fb1e5e33b586c86e712bee6f%2F5shotmmlu.png?alt=media" alt="" width="563"><figcaption></figcaption></figure></div>

今後アップロードされるすべての GGUF は Unsloth Dynamic 2.0 を使用し、私たちの Dynamic 4-bit safetensor 量子化版も将来的にこの恩恵を受けます。

## 📊 なぜ KLダイバージェンスなのか？

[精度だけでは十分ではない](https://arxiv.org/pdf/2407.09141) は、不要なものを選んでさえレイヤーを剪定すると、"反転" の観点で大きな違いが生じることを示しています。"反転" とは、誤答から正答へ、またはその逆に答えが変わることを指します。この論文では、レイヤーを剪定したり量子化したりしても MMLU が必ずしも下がらないことが示されていますが、それは一部の誤答が "反転" して正答になった可能性があるためです。私たちの目的は元のモデルと一致させることなので、"反転" を測定するのは良い指標です。

<div><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-5a97c101b0df31fb49df20ce4241930897098cf8%2Fimage.png?alt=media" alt=""><figcaption></figcaption></figure> <figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-e4a60354ad8613b6f2361f63fa82c552e00fdda9%2Fimage.png?alt=media" alt=""><figcaption></figcaption></figure></div>

{% hint style="info" %}
**KLダイバージェンス** は **量子化誤差を報告するためのゴールドスタンダードの一つ** であるべきです **困惑度の使用は誤りです** 。出力トークンの値が打ち消し合う可能性があるため、KLD か、以下のようなより難しいベンチマークを使う必要があります [Aider](/docs/jp/ji-chu/dynamic-3.0-ggufs/unsloth-dynamic-ggufs-on-aider-polyglot.md).
{% endhint %}

この論文はまた、KLダイバージェンスが興味深いことに反転と非常に高い相関があることを示しており、そのため私たちの目標は、量子化のディスク容量をできるだけ増やさずに平均 KLダイバージェンスを下げることです。

## ⚖️ キャリブレーションデータセットの過学習

ほとんどのフレームワークは、Wikipedia 記事のテストセットを使って困惑度と KLダイバージェンスを報告します。しかし、Wikipedia 関連でもあるキャリブレーションデータセットを使うと量子化版が過学習し、より低い困惑度スコアを達成することに気づきました。私たちは [Calibration\_v3](https://gist.github.com/bartowski1182/eb213dccb3571f863da82e99418f81e8) そして [Calibration\_v5](https://gist.github.com/tristandruyen/9e207a95c7d75ddf37525d353e00659c/) データセットを、他のデータも含む公平なテストのために使用しています。 <mark style="background-color:red;">**また、指示追従モデルには独自のチャットテンプレートがあり、テキストのみのキャリブレーションデータセットは指示追従モデルには効果的ではありません**</mark> （ベースモデルでは有効です）。実際、ほとんどの imatrix GGUF は通常これらの問題を含んだままキャリブレーションされています。その結果、モデルが実質的にそのドメイン向けに最適化されているため、Wikipedia データも使う KLダイバージェンスのベンチマークで自然とより良い性能を示します。

公平で制御された評価を確実に行うため、KLダイバージェンスのベンチマークでは、チャット性能向けに最適化された自社キャリブレーションデータセットを使用しません。代わりに、同じ標準 Wikipedia データセットを用いてテストを行い、Dynamic 2.0 手法とベースラインの imatrix 手法の性能を直接比較できるようにしました。

## :1234: MMLU 再現への道

* MMLU 5-shot の再現は悪夢のようでした。私たちは <mark style="background-color:red;">**再現できませんでした**</mark> Llama 3.1 (8B) Instruct、Gemma 3 (12B) など多くのモデルの MMLU 結果を <mark style="background-color:yellow;">**微妙な実装上の問題**</mark>のために再現できませんでした。たとえば Llama 3.1 (8B) は約68.2%を取るはずですが、誤った実装では <mark style="background-color:red;">**35% の精度**</mark>

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-cc2b4b2bc512b3c9bc065250930259b9b9a9fce0%2FMMLU%20differences.png?alt=media" alt="" width="375"><figcaption><p>MMLU 実装の問題</p></figcaption></figure>

* Llama 3.1 (8B) Instruct は、素朴な MMLU 実装では 5-shot MMLU 精度が67.8%です。しかし私たちが見つけたのは、Llama **「A」と「\_A」（前にスペースのある A）を異なるトークンIDとしてトークン化する**。スペースありとなしの両方を考慮すると、68.2%になります <mark style="background-color:green;">(+0.4%)</mark>
* 興味深いことに、Llama 3 は Eleuther AI の [LLM Harness](https://github.com/EleutherAI/lm-evaluation-harness/blob/main/lm_eval/tasks/llama3/instruct/mmlu/_continuation_template_yaml) でも <mark style="background-color:purple;">**「The best answer is」**</mark> を質問の前に付けます。これは Llama 3 の元の MMLU ベンチマークに従ったものです。
* 他にも微妙な問題が多くあるため、すべてを制御された環境でベンチマークするために、私たちは [github.com/hendrycks/test](https://github.com/hendrycks/test) を直接調査し、複数モデルで結果を検証し、報告値と比較することで、ゼロから独自の MMLU 実装を設計しました。

## :sparkles: Gemma 3 QAT の再現とベンチマーク

Gemma チームは Gemma 3 の 2つの QAT（量子化対応学習）版をリリースしました：

1. Q4\_0 GGUF - 式 `w = q * block_scale` を用いて、すべてのレイヤーを Q4\_0 に量子化します。各ブロックには32個の重みがあります。 [llama.cpp wiki ](https://github.com/ggml-org/llama.cpp/wiki/Tensor-Encoding-Schemes)を参照してください。
2. int4 版 - おそらく [TorchAO の int4 スタイル](https://github.com/pytorch/ao/blob/main/torchao/quantization/README.md)?

私たちはすべての Q4\_0 GGUF 版をベンチマークし、12B モデルで広範な実験を行いました。 **12B Q4\_0 QAT モデルは67.07%** を達成し、一方フル bfloat16 の 12B 版は 5-shot MMLU で67.15%でした。とても印象的です！ 27B モデルはほぼそこに到達しています！

<table><thead><tr><th>指標</th><th>1B</th><th valign="middle">4B</th><th>12B</th><th>27B</th></tr></thead><tbody><tr><td>MMLU 5-shot</td><td>26.12%</td><td valign="middle">55.13%</td><td><mark style="background-color:blue;"><strong>67.07%（BF16 は67.15%）</strong></mark></td><td><strong>70.64%（BF16 は71.5%）</strong></td></tr><tr><td>ディスク容量</td><td>0.93GB</td><td valign="middle">2.94GB</td><td><strong>7.52GB</strong></td><td>16.05GB</td></tr><tr><td><mark style="background-color:green;"><strong>効率*</strong></mark></td><td>1.20</td><td valign="middle">10.26</td><td><strong>5.59</strong></td><td>2.84</td></tr></tbody></table>

私たちは新しい **効率指標** を設計しました。これは、モデルの有用性を、ディスクサイズと MMLU 5-shot スコアも考慮しながら計算するものです：

$$
\text{Efficiency} = \frac{\text{MMLU 5 shot score} - 25}{\text{Disk Space GB}}
$$

{% hint style="warning" %}
私たちは **から25を引く必要があります** 。MMLU には A、B、C、D の4つの選択肢があるためです。仮に、単にランダムに答えを選ぶだけのモデルを作ったとすると、精度は25%で、ディスク容量は数バイトしかありません。しかし、明らかにこれは有用なモデルではありません。
{% endhint %}

ベースモデルに対する KLダイバージェンスについて、改善点を示す表を以下に示します。注意：KLダイバージェンスは0に近いほど良く、0はフル精度モデルと同一であることを意味します。

| 量子化       | ベースライン KLD | GB    | 新しい KLD  | GB    |
| --------- | ---------- | ----- | -------- | ----- |
| IQ1\_S    | 1.035688   | 5.83  | 0.972932 | 6.06  |
| IQ1\_M    | 0.832252   | 6.33  | 0.800049 | 6.51  |
| IQ2\_XXS  | 0.535764   | 7.16  | 0.521039 | 7.31  |
| IQ2\_M    | 0.26554    | 8.84  | 0.258192 | 8.96  |
| Q2\_K\_XL | 0.229671   | 9.78  | 0.220937 | 9.95  |
| Q3\_K\_XL | 0.087845   | 12.51 | 0.080617 | 12.76 |
| Q4\_K\_XL | 0.024916   | 15.41 | 0.023701 | 15.64 |

ディスク容量の増加率と KLダイバージェンス比の変化をプロットすると、より明確な利点が見えてきます！ 私たちの dynamic 2bit Q2\_K\_XL は KLD をかなり削減します（約7.5%）。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-5b352d0449e723556e6e871396c2ee78ae8ec3dc%2Fchart(2).svg?alt=media" alt=""><figcaption></figcaption></figure>

Gemma 3（27B）の MMLU 結果の要約表です。下をご覧ください。

1. **私たちの dynamic 4bit 版は、QAT 版より2GB小さい一方で、精度が+1%向上しています！**
2. 効率面では、2bit Q2\_K\_XL などが非常に優秀なようです！

| 量子化            | Unsloth   | Unsloth + QAT | ディスクサイズ   | 効率性      |
| -------------- | --------- | ------------- | --------- | -------- |
| IQ1\_M         | 48.10     | 47.23         | 6.51      | 3.42     |
| IQ2\_XXS       | 59.20     | 56.57         | 7.31      | 4.32     |
| IQ2\_M         | 66.47     | 64.47         | 8.96      | 4.40     |
| Q2\_K\_XL      | 68.70     | 67.77         | 9.95      | 4.30     |
| Q3\_K\_XL      | 70.87     | 69.50         | 12.76     | 3.49     |
| **Q4\_K\_XL**  | **71.47** | **71.07**     | **15.64** | **2.94** |
| **Google QAT** |           | **70.64**     | **17.2**  | **2.65** |

<details>

<summary><mark style="color:緑;">こちらをクリック</mark> して、Google の Gemma 3（27B）QAT ベンチマーク全体をご覧ください：</summary>

| モデル            | Unsloth   | Unsloth + QAT | ディスクサイズ   | 効率性      |
| -------------- | --------- | ------------- | --------- | -------- |
| IQ1\_S         | 41.87     | 43.37         | 6.06      | 3.03     |
| IQ1\_M         | 48.10     | 47.23         | 6.51      | 3.42     |
| IQ2\_XXS       | 59.20     | 56.57         | 7.31      | 4.32     |
| IQ2\_M         | 66.47     | 64.47         | 8.96      | 4.40     |
| Q2\_K          | 68.50     | 67.60         | 9.78      | 4.35     |
| Q2\_K\_XL      | 68.70     | 67.77         | 9.95      | 4.30     |
| IQ3\_XXS       | 68.27     | 67.07         | 10.07     | 4.18     |
| Q3\_K\_M       | 70.70     | 69.77         | 12.51     | 3.58     |
| Q3\_K\_XL      | 70.87     | 69.50         | 12.76     | 3.49     |
| Q4\_K\_M       | 71.23     | 71.00         | 15.41     | 2.98     |
| **Q4\_K\_XL**  | **71.47** | **71.07**     | **15.64** | **2.94** |
| Q5\_K\_M       | 71.77     | 71.23         | 17.95     | 2.58     |
| Q6\_K          | 71.87     | 71.60         | 20.64     | 2.26     |
| Q8\_0          | 71.60     | 71.53         | 26.74     | 1.74     |
| **Google QAT** |           | **70.64**     | **17.2**  | **2.65** |

</details>

## :llama: Llama 4 のバグ修正 + 実行

私たちは Llama 4 のいくつかのバグ修正も支援しました：

* Llama 4 Scout は、公式リポジトリで RoPE Scaling の設定を変更しました。この変更を有効にするため、llama.cpp の問題解決を支援しました [この変更はこちら](https://github.com/ggml-org/llama.cpp/pull/12889)

  <figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-7ff8229dfa96425f50c2c87f9ca988ef9cc99eff%2Fimage.png?alt=media" alt=""><figcaption></figcaption></figure>
* Llama 4 の Scout と Maverick の両方における QK Norm の epsilon は設定ファイルから取得する必要があります。つまり 1e-05 を使い、1e-06 ではありません。私たちはこれらの問題解決を支援しました [llama.cpp](https://github.com/ggml-org/llama.cpp/pull/12889) そして [transformers](https://github.com/huggingface/transformers/pull/37418)
* Llama 4 チームと vLLM も、QK Norm が全ヘッドで共有されていた問題を独自に修正しました（そうあるべきではありません） [ここ](https://github.com/vllm-project/vllm/pull/16311)。MMLU Pro は68.58%から71.53%の精度に向上しました。
* [Wolfram Ravenwolf](https://x.com/WolframRvnwlf/status/1909735579564331016) は、llama.cpp 経由の私たちの GGUF が、第三者の推論プロバイダーよりはるかに高い精度を達成することを示しました。これは上で説明した問題の組み合わせ、そしておそらく量子化の問題によるものだったのでしょう。

  <figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-76c49d8c8e3e42f7407f431a2cede369f87878e4%2FGoC79hYXwAAPTMs.jpg?alt=media" alt=""><figcaption></figcaption></figure>

グラフで示したように、私たちの4-bit Dynamic QAT 量子化は、5-shot MMLU でより良い性能を発揮しつつ、サイズも小さくなっています。

### Llama 4 Scout の実行：

たとえば Llama 4 Scout を実行するには、まず llama.cpp をクローンします：

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

次に Scout 用の新しい dynamic v2.0 量子化版をダウンロードします：

```python
# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF",
    local_dir = "unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF",
    allow_patterns = ["*IQ2_XXS*"],
)
```

それでは推論を実行しましょう！

{% code overflow="wrap" %}

```bash
./llama.cpp/llama-cli \
    --model unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF/Llama-4-Scout-17B-16E-Instruct-UD-IQ2_XXS.gguf \
    --threads 32 \
    --ctx-size 16384 \\
    --n-gpu-layers 99 \\
    -ot ".ffn_.*_exps.=CPU" \\
    --seed 3407 \\
    --prio 3 \\
    --temp 0.6 \
    --min-p 0.01 \\
    --top-p 0.9 \
    -no-cnv \\
    --prompt "<|header_start|>user<|header_end|>\n\nFlappy Bird のゲームを作成してください。<|eot|><|header_start|>assistant<|header_end|>\n\n"
```

{% endcode %}

{% hint style="success" %}
Llama 4 の実行について詳しくはこちら： <https://docs.unsloth.ai/basics/tutorial-how-to-run-and-fine-tune-llama-4>
{% endhint %}


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/jp/ji-chu/dynamic-3.0-ggufs.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
