> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/ji-chu/dynamic-3.0-ggufs.md).

# Unsloth Dynamic 3.0 GGUF

**Unsloth Dynamic V3.1** （2026年11月）は、Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、Qwen3.8-Flash-Next向けの最新の量子化アルゴリズムで、 **精度が10～15%向上し、** さらに **トークン使用量を50%削減** できます。同じサイズの他の量子化モデルと比べた場合の結果です。現在、Dynamic量子化のさらなる改良版に取り組んでおり、Qwen4および今後のすべてのモデルに適用する予定です。

Unsloth [Qwen3.8-27B](/docs/jp/moderu/qwen3.8.md) Dynamic V3.1は、量子化モデル全体のパレートフロンティアを押し広げ、従来のUD3量子化モデル、Exllama-3、GSQ-RCOを上回ります。

[Qwen3.8-Flash-Next](/docs/jp/moderu/qwen3.8-next.md) 1ビット量子化モデルは、DeepSWE v1.1で54.0%、Terminal Bench 2.1で68.3%を達成。

[DeepSeek-V4.1-Flash-1017](/docs/jp/moderu/deepseek-v4.1-flash.md) Dynamic V3.1 IQ1\_Sは、DeepSWE v1.1で65.8%、Terminal Bench 2.1で69.5%、Automation Bench v1.0.6で51.5%を達成。

<div><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FRHyZ5X7qYZAdCQsgKT7R%2Ffour(1).png?alt=media&amp;token=3c563d60-5767-437a-a704-98fffecb04f8" alt=""><figcaption><p>Qwen3.8-27Bのベンチマーク</p></figcaption></figure> <figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FXC2NHQCS4KKsMoY4IjpT%2Fimage.png?alt=media&amp;token=67fb9d55-8fbb-4f35-a13f-83465cee8475" alt=""><figcaption><p>DeepSeek-V4.1-Flash-1017のベンチマーク</p></figcaption></figure> <figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FqdXHweLFGzUhUcqj7jZX%2Ffinal%20key%204.png?alt=media&amp;token=8e3249b1-e26c-4a04-82ba-7cfdef952fe6" alt=""><figcaption><p>Qwen3.8-Flash-Nextのベンチマーク</p></figcaption></figure></div>

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FWTSMbLLxexSW1HiwU411%2Fqwen%20speed%20token%20con.png?alt=media&amp;token=fea0700d-24e7-4046-a915-4c087e0230aa" alt=""><figcaption><p>Qwen3.8-Flash-Next GGUFのトークン消費量と速度のベンチマーク</p></figcaption></figure>

### Dynamic v3.0

以下に、以前のDynamic v3.0のリリースノートとベンチマークを掲載します。

今回リリースする [**Qwen3.8-27B**](/docs/jp/moderu/qwen3.8.md) Dynamic v3.0量子化モデルは、 **同じサイズでトップ1精度が10%超向上** し、 **他のすべてのプロバイダー**を上回ります。これは、最初に共有した **早期プレビュー** 版Dynamic v3.0を更新したものです。新しい3.0 GGUFは、次のものを含むほとんどの推論エンジンで動作します。 **llama.cpp** および [**Unsloth Desktop**](/docs/jp/desktop.md).

{% columns %}
{% column width="41.66666666666667%" %}
Dynamic v3.0は、サイズを維持しながらモデルの品質をより多く保ち、 **Divergence-300** @32や **KL Divergence**.

皆さまの多大なご支援にも、心より感謝いたします。わずか5日間で、Unsloth版Qwen3.8のダウンロード数は510万件を超えました！
{% endcolumn %}

{% column width="58.33333333333333%" %}

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fl9piThTmmUsePst5w3F2%2Fimage.png?alt=media&amp;token=821e88e2-ad4e-40bf-adf2-e13837228e82" alt=""><figcaption><p>グラフ、ベンチマーク、分析の詳細は以下をご覧ください。</p></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

新しい手法には、多くの新機能と改良が盛り込まれています。多様なソースから集めた、より高品質なimatrixキャリブレーションデータセットを使用するようになりました。このデータセットは、 **エージェント型コーディング、チャット**、多言語性能向けに改良されています。また、 **レイヤーの選択** も改善し、モデルの品質を可能な限り維持するために、さらに多くの量子化手法を導入しました。

私たちは **imatrixキャリブレーションデータセットで学習していません**。また、 **QAT** や **QAD**も一切使用していません。すべて **学習後量子化**。使用したimatrixファイルは、コミュニティがテスト、評価、利用できるよう公開しています。研究者や開発者の皆さんには、Unslothのquants/imatrixを使ってQwen3.8のバリエーションやファインチューニングモデルを作成することをお勧めします。詳しくは、こちらもご覧ください。 [過学習の分析](#not-overfitting) 。

* また、ディスク容量を約500MB節約するため、 `UD-Q2_K_XL` （8.37GB以下）の小型quantsからMTPモジュールを削除しました。必要であれば、 `Q4_0` のMTP別モジュールを使用できます。
* さらに、より小型のUD-1bit quantsも作成しました。 `UD-IQ1_S` は6.2GB（MTPなし）で、サイズを89%削減しながら、top-1精度を約72%維持しています。
* `UD-Q2_K_XL` はtop-1精度が次点より約8%高く、サイズは9.83GBです。以前は失敗していた、JavaScriptに小さなバグが1つあるものの動作するHTMLプログラムを生成できました。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FHkiEb4BgU9IZ4t0pbMKs%2FUD-Q2_K_XL-Qwen.gif?alt=media&amp;token=6b4cd6d5-0b70-4741-a72e-1f5e1974dbb0" alt="" width="360"><figcaption><p>2ビットQwen3.8-27B GGUFで生成</p></figcaption></figure>

### 🔀 Divergence-300 @32

一般に、Kimi-K3について「Dynamic 1-bitは、 **\~78.9%** のtop-1精度を達成し、 **サイズを62%削減**」のように、top-1精度を報告しています。しかし、top-1は1つの予測に対するargmaxなので、実際の推論性能を測るにはあまり有効ではありません。

Terminal-Bench 2.1、DeepSWE、Harbor、MathArena 2025-26、非ラテン文字／長文プロンプトから、キャリブレーションデータセットに含まれない保留例を300件集めたデータセットを作成しました。BF16とすべてのquantsおよびプロバイダーについて、32トークンのgreedy argmaxデコードを実施しました。過学習の詳細については、 [過学習の分析](#not-overfitting) をご覧ください。

これにより、過学習の有無や、複数トークンにわたる量子化出力の軌跡がBF16の軌跡にどれほど近いかを評価できます。KLD top-1を32トークンに拡張した指標に近いため、top-1精度より優れた指標です。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FySCIjoinQuhNqfGz3C4Q%2Fimage.png?alt=media&amp;token=dcc5a2be-3445-4a67-b1e2-0ca5e89fbcf6" alt=""><figcaption></figcaption></figure>

### :question:1-bitはエージェント用途には使用しないでください

で示すように [#divergence-300-32](#divergence-300-32 "mention")、32トークン予測の精度はUD-Q2\_K\_XLからUD-IQ2\_Sにかけて約25%から8～10%未満へ急落します。この急落により、ツール呼び出しや非思考モードが機能しなくなります。1-bitを使用する場合の問題点と対策は次のとおりです。

1. **過剰なループ**\
   UD-Q2\_K\_XLより小さいquantsを使うと、ループが頻繁に発生します。常に `presence_penalty = 1.5` を設定してください（またはそれ以上）。
2. **空の応答**\
   1-bit quantsでは、少なくとも低い推論レベルでthinkingを必ず有効にしてください。非推論モードでは、モデルが何も出力しなくなることがあります。
3. **エージェント用途とツール呼び出し**\
   ツール呼び出しには使用しないでください。量子化を強く行うと、 **一般知識のみが保持され** 、モデルはツール呼び出しに失敗する、ツールを呼び出し続ける、あるいはまったく呼び出さない状態になります。
4. **一般知識には有効**\
   Top-1の回復率77%は、実際の推論負荷をよりよく示す、8%のDivergence-300 @32の代わりにはなりません。ごく短い一般知識の事実確認には使えますが、UD-Q2\_K\_XLの使用をお勧めします。

### 🔀 KLダイバージェンスのベンチマーク

すべてのプロバイダーについてKLDベンチマークも実施し、Top-1とKLD平均を報告しています。あらゆるサイズ、特に小さい量子化サイズでは、Unsloth UD-3 quantsは同じディスク容量でtop-1精度を最大10%向上させます。

公平に比較できるよう、すべてのプロットではディスク容量の計算時にMTPヘッドをx軸から除外しています。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F4ipZ74oiCRRLbB2FJa4J%2Fimage.png?alt=media&amp;token=09f263b9-4cd9-45dc-bd31-8c7ecff2ca41" alt=""><figcaption></figcaption></figure>

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FA6YPmwKLaJ7IZ4U4bQE3%2Fimage.png?alt=media&amp;token=e003bf7b-5c78-4eb4-bbae-5358410ef3fa" alt=""><figcaption></figcaption></figure>

### :dove:過学習なし

未見のWikitextとCodeで以前のUD-2と比較したところ、KLDは大幅に改善しました。一方、大きいモデルでは改善がそれほど見られなかったため、大きいquantsには引き続き旧UD-2を使用しています。こちらについても実験を重ね、改善する予定です。

キャリブレーションにはまったく異なるデータセットを使用し、データ漏洩を可能な限り排除することで、過学習も抑制しています。これらの未見データセットでKLDをテストしています。また、QAD／QATは行わず、純粋なPTQのみを使用するため、他のQAD／QAT手法と比べて過学習の懸念は小さくなります。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FP6ro1GH2PqtO63Zdvale%2Fimage.png?alt=media&amp;token=109ca035-6fe1-4154-a33e-20d609f2bf57" alt=""><figcaption></figcaption></figure>

同様に、 [#divergence-300-32](#divergence-300-32 "mention") DeepSWE、Terminal Benchなどからの未見プロンプト300件を用いたデータセットであり、過学習を評価する別の指標として機能します。この結果、新しいUD-3手法が過学習しないことが示されています。

***

## Dynamic v2.0（旧版）

今回、 [Unsloth](https://github.com/unslothai/unsloth) Dynamic v2.0量子化を導入します。これは従来のquantsを大幅に改良したものです。この新手法は主要な量子化手法を上回り、次のベンチマークで新たな基準を打ち立てます。 [Aider Polyglot](/docs/jp/ji-chu/dynamic-3.0-ggufs/unsloth-dynamic-ggufs-on-aider-polyglot.md)、5-shot MMLU、KLダイバージェンス。

これにより、次のことが可能になりました。+ ファインチューニング [量子化LLM](/docs/jp/moderu/tutorials.md) で、精度をできる限り維持できます！2.0 GGUFは、llama.cpp、 [Unsloth Studio](/docs/jp/shii/studio.md) などのほとんどの推論エンジンで実行できます。

{% columns %}
{% column %}
**2026年4月20日 更新:** 新しいGGUFベンチマークをご覧ください： [Qwen3.6](/docs/jp/moderu/qwen3.6.md#unsloth-gguf-benchmarks) および [Gemma 4](/docs/jp/moderu/gemma-4.md#unsloth-gguf-benchmarks).

[2026年2月27日 更新:](/docs/jp/moderu/qwen3.5/gguf-benchmarks.md) **Qwen3.5** が公開されました。ツール呼び出し用チャットテンプレートの問題をいくつか修正し、すべてのGGUFについてパープレキシティとKLダイバージェンスをベンチマークしました。 [ベンチマークをご覧ください！](/docs/jp/moderu/qwen3.5/gguf-benchmarks.md)

Unslothを使う **主な利点** は、 [Unslothパッケージ](https://github.com/unslothai/unsloth) と量子化モデルを利用することで、主要モデルのバグ修正に積極的に取り組めることです。以下のチームと直接協力し、 [Qwen3](https://www.reddit.com/r/LocalLLaMA/comments/1kaodxu/qwen3_unsloth_dynamic_ggufs_128k_context_bug_fixes/), [Meta（Llama 4）](https://github.com/ggml-org/llama.cpp/pull/12889), [Mistral（Devstral）](https://app.gitbook.com/o/HpyELzcNe0topgVLGCZY/s/xhOjnexMCB3dmuQFQ2Zq/~/changes/618/basics/tutorials-how-to-fine-tune-and-run-llms/devstral-how-to-run-and-fine-tune), [Google（Gemma 1～3）](https://news.ycombinator.com/item?id=39671146) および [Microsoft（Phi-3/4）](https://simonwillison.net/2025/Jan/11/phi-4-bug-fixes)の精度を高める修正に貢献しています。
{% endcolumn %}

{% column %}

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FtRVN97QDzO0Pq7SscC7x%2Fgemma%20426b%20bench.png?alt=media&amp;token=80b4da76-efe9-4554-8e31-cca6494d456c" alt=""><figcaption><p>Gemma 4 26B A4B ベンチマーク（値が小さいほど良好）</p></figcaption></figure>

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FHq98A18pHA2ePwlInrFG%2Fqwen36_mean_q6k_corrected_arrow_pareto_fixed.png?alt=media&amp;token=a5190c8a-4d04-4d4d-be94-dd15214e6687" alt=""><figcaption><p>Qwen3.6 ベンチマーク（値が小さいほど良好）</p></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

{% hint style="success" %}
Unsloth Dynamic GGUFを [Unsloth Studio](/docs/jp/shii/studio.md) ✨

<img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FsERzR65n4jc1UtuSHozZ%2Fwedefrwfwe.gif?alt=media&amp;token=e303ed9e-0d90-456d-8d57-874a06803903" alt="" data-size="original">
{% endhint %}

{% hint style="success" %}
[2025年9月10日 更新:](/docs/jp/ji-chu/dynamic-3.0-ggufs/unsloth-dynamic-ggufs-on-aider-polyglot.md) より厳しいベンチマークをお求めとのことなので、Aider Polyglotの結果をご紹介します！Dynamic 3-bit DeepSeek V3.1 GGUFは **75.6%**&#x3092;記録し、多くのフル精度SOTA LLMを上回りました。 [詳しくはこちら。](/docs/jp/ji-chu/dynamic-3.0-ggufs/unsloth-dynamic-ggufs-on-aider-polyglot.md)

<img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-a114143bdd47add988182aabf9313ab40be38d7d%2Faider%20thinking.png?alt=media" alt="DeepSeek-V3.2 Thinking Aider Benchmarks" data-size="original"><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-b085c16c7f8351308229f1341846cbf1a2617d0a%2Faider%20non.png?alt=media" alt="Llama 4 5-shot MMLU Benchmarks" data-size="original">
{% endhint %}

Benjamin Marieが実施したLiveCodeBench v6、MMLU Proなどの実運用を想定したベンチマークもご覧いただけます：

<div><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FhfO2gsbz2lWrZXg3ojyE%2FHCGBTzgboAASv_A.png?alt=media&amp;token=7d6334ca-4f3c-4946-aacd-d55527375fce" alt="" width="563"><figcaption></figcaption></figure> <figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Ftbfnqq8ppzwFbeqPhnw0%2FHAfMRrrXQAALkQb.png?alt=media&amp;token=9730d4e1-3d4a-4ae6-92bf-32aa6724ab86" alt="" width="450"><figcaption></figcaption></figure></div>

UnslothのGGUFは、サイズが約8GB小さいにもかかわらず、Unsloth以外の量子化モデルより優れた性能を発揮します。

ベンチマークと評価の詳細な分析は、以下をご覧ください。

### 💡 Dynamic v2.0の新機能

* **GGUFとsafetensors向けにレイヤー選択を刷新:** Unsloth Dynamic 2.0では、レイヤーをより賢く、より広範囲に選択して量子化できるようになりました。一部のレイヤーだけを変更するのではなく、可能なすべてのレイヤーの量子化タイプを動的に調整します。組み合わせはレイヤーやモデルごとに異なります。
* 現在選択されているものと、今後アップロードされるすべてのGGUFには、Dynamic 2.0と新しいキャリブレーション用データセットが使用されます。このデータセットには、1.5Mを超える **トークン** （モデルによって異なります）が含まれ、会話形式のチャット性能を大幅に高めるために、手作業で厳選・クリーニングした高品質なデータで構成されています。
* 従来、Dynamic量子化（DeepSeek-R1 1.58-bit GGUF）が有効なのはMoEアーキテクチャのみでした。 <mark style="background-color:green;">**Dynamic 2.0の量子化は、すべてのモデル（MoEおよび非MoEを含む）で機能するようになりました。**</mark>.
* **モデル固有の量子化:** 各モデルに合わせて、個別に調整した量子化方式を使用するようになりました。たとえば、Gemma 3で量子化されるレイヤーは、Llama 4のものとは大きく異なります。
* 効率を最大化するため、特にApple SiliconやARMデバイス向けに、Q4\_NL、Q5.1、Q5.0、Q4.1、Q4.0形式も追加しました。

正確なベンチマークを実現するため、Llama 4とGemma 3の公式に報告された5-shot MMLUスコアに一致するよう、内部評価フレームワークを構築しました。これにより、フル精度とDynamic v2.0、 **QAT** および標準的な **imatrix** GGUF量子化版を公平に比較できるようになりました。

<div><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-fd0a92a2bea8efa37b71946ea934a22f00589f40%2Fkldivergence%20graph.png?alt=media" alt="" width="563"><figcaption></figcaption></figure> <figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-76662317725a3b76fb1e5e33b586c86e712bee6f%2F5shotmmlu.png?alt=media" alt="" width="563"><figcaption></figcaption></figure></div>

今後アップロードするすべてのGGUFではUnsloth Dynamic 2.0を使用し、Dynamic 4ビットのsafetensors量子化版にも、将来的にこの改善を反映します。

## 📊 なぜKLダイバージェンスなのか？

[精度だけがすべてではない](https://arxiv.org/pdf/2407.09141) では、不要な層を選んで削除した場合でさえ、「反転」の観点で大きな差が生じることが示されています。「反転」とは、回答が誤答から正答へ、またはその逆へ変化することです。この論文では、層の削減や量子化を行ってもMMLUのスコアが低下しないことがある一方で、それは誤答の一部が「反転」して正答になっている可能性があるためだと示しています。私たちの目標は元のモデルに一致させることなので、「反転」を測るのは優れた指標です。

<div><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-5a97c101b0df31fb49df20ce4241930897098cf8%2Fimage.png?alt=media" alt=""><figcaption></figcaption></figure> <figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-e4a60354ad8613b6f2361f63fa82c552e00fdda9%2Fimage.png?alt=media" alt=""><figcaption></figcaption></figure></div>

{% hint style="info" %}
**KLダイバージェンス** は **量子化誤差を報告する際の最も信頼性の高い基準の一つ** であるべきです。これは研究論文「精度だけがすべてではない」で示されています。 **パープレキシティを使うのは不適切です** 出力トークンの値が相殺される可能性があるためです。そのため、KLDや、より難易度の高いベンチマークである [Aider](/docs/jp/ji-chu/dynamic-3.0-ggufs/unsloth-dynamic-ggufs-on-aider-polyglot.md).
{% endhint %}

この論文ではさらに、KLダイバージェンスと「反転」には強い相関があることが興味深い点として示されています。そのため、量子化によるディスク容量の増加をできるだけ抑えつつ、KLダイバージェンスの平均を下げることを目指しています。

## ⚖️ キャリブレーションデータセットへの過学習

ほとんどのフレームワークは、Wikipedia記事のテストセットを使ってパープレキシティとKLダイバージェンスを報告しています。しかし、キャリブレーションデータセットもWikipedia関連のものを使うと、量子化版が過学習し、パープレキシティのスコアが下がることに気づきました。公平なテストを行うため、 [Calibration\_v3](https://gist.github.com/bartowski1182/eb213dccb3571f863da82e99418f81e8) と [Calibration\_v5](https://gist.github.com/tristandruyen/9e207a95c7d75ddf37525d353e00659c/) のデータセットを使用しています。これらには、他のデータに加えて一部のWikiTextデータが含まれています。 <mark style="background-color:red;">**また、指示追従モデルには固有のチャットテンプレートがあり、テキストのみのキャリブレーションデータセットは指示追従モデルには効果的ではありません**</mark> （ベースモデルでは有効です）。実際、ほとんどのimatrix GGUFは通常、こうした問題を抱えた状態でキャリブレーションされています。その結果、モデルが実質的にWikipediaのドメイン向けに最適化されているため、Wikipediaデータを使うKLダイバージェンスのベンチマークでは、自然と高い性能を発揮します。

公平で統制された評価を確実に行うため、KLダイバージェンスのベンチマークでは、チャット性能向けに最適化した独自のキャリブレーションデータセットを使用しませんでした。代わりに、同じ標準的なWikipediaデータセットを用いてテストを実施し、Dynamic 2.0方式の性能をベースラインのimatrix方式と直接比較できるようにしました。

## :1234: MMLU再現への挑戦

* 5-shot MMLUの再現は悪夢のようでした。私たちは <mark style="background-color:red;">**できませんでした**</mark> 微妙な実装上の問題により、Llama 3.1 (8B) InstructやGemma 3 (12B)など、多くのモデルのMMLU結果を再現することが <mark style="background-color:yellow;">**微妙な実装上の問題**</mark>。たとえば、Llama 3.1 (8B)は約68.2%を得るはずですが、実装を誤ると <mark style="background-color:red;">**正解率が35%になることがあります。**</mark>

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-cc2b4b2bc512b3c9bc065250930259b9b9a9fce0%2FMMLU%20differences.png?alt=media" alt="" width="375"><figcaption><p>MMLUの実装上の問題</p></figcaption></figure>

* 単純なMMLU実装では、Llama 3.1 (8B) Instructの5-shot MMLU正解率は67.8%です。しかし、Llamaでは **「A」と「\_A」（前にスペースがあるA）が、異なるトークンIDとしてトークン化される**ことがわかりました。スペースありとスペースなしのトークンを両方考慮すると、68.2%になります。 <mark style="background-color:green;">(+0.4%)</mark>
* 興味深いことに、Eleuther AIの [LLM Harness](https://github.com/EleutherAI/lm-evaluation-harness/blob/main/lm_eval/tasks/llama3/instruct/mmlu/_continuation_template_yaml) も、Llama 3の元のMMLUベンチマークに従って、問題に <mark style="background-color:purple;">**「最良の回答は」**</mark> を追加しています。
* ほかにも微妙な問題が多数あるため、すべてを統制された環境でベンチマークできるよう、 [github.com/hendrycks/test](https://github.com/hendrycks/test) を直接調査して独自のMMLU実装を一から設計し、複数のモデルで結果を検証して、報告済みの数値と比較しました。

## :sparkles: Gemma 3 QATの再現とベンチマーク

Gemmaチームは、Gemma 3のQAT（量子化を考慮した学習）バージョンを2種類公開しました。

1. Q4\_0 GGUF - 次の式により、すべての層をQ4\_0に量子化 `w = q * block_scale` 各ブロックは32個の重みで構成されています。詳しくは [llama.cpp wiki ](https://github.com/ggml-org/llama.cpp/wiki/Tensor-Encoding-Schemes)をご覧ください。
2. int4版 — おそらく [TorchAO int4形式](https://github.com/pytorch/ao/blob/main/torchao/quantization/README.md)?

すべてのQ4\_0 GGUF版をベンチマークし、12Bモデルで広範な実験を行いました。その結果、 **12B Q4\_0 QATモデルは67.07%** を達成し、フル精度のbfloat16 12B版は5ショットMMLUで67.15%を達成しました。これは非常に素晴らしい結果です！27Bモデルも、ほぼ目標に届いています！

<table><thead><tr><th>指標</th><th>1B</th><th valign="middle">4B</th><th>12B</th><th>27B</th></tr></thead><tbody><tr><td>MMLU（5ショット）</td><td>26.12%</td><td valign="middle">55.13%</td><td><mark style="background-color:blue;"><strong>67.07%（BF16では67.15%）</strong></mark></td><td><strong>70.64%（BF16では71.5%）</strong></td></tr><tr><td>ディスク容量</td><td>0.93GB</td><td valign="middle">2.94GB</td><td><strong>7.52GB</strong></td><td>16.05GB</td></tr><tr><td><mark style="background-color:green;"><strong>効率性*</strong></mark></td><td>1.20</td><td valign="middle">10.26</td><td><strong>5.59</strong></td><td>2.84</td></tr></tbody></table>

新しい **効率性指標** を設計しました。この指標では、モデルの有用性を算出するとともに、ディスクサイズとMMLU 5ショットスコアも考慮します。

$$
\text{Efficiency} = \frac{\text{MMLU 5 shot score} - 25}{\text{Disk Space GB}}
$$

{% hint style="warning" %}
MMLUには4つの選択肢（A、B、C、D）があるため、 **25を差し引く** 必要があります。回答を単純にランダムに選ぶモデルを作ると仮定しましょう。正解率は25%で、ディスク容量は数バイトです。しかし、明らかにこれは役に立つモデルではありません。
{% endhint %}

ベースモデルとのKLダイバージェンスについて、改善を示す表を以下に掲載します。KLダイバージェンスは0に近いほど優れています（つまり、0はフル精度モデルと同一であることを意味します）。

| 量子化方式     | ベースラインKLD | GB    | 新しいKLD   | GB    |
| --------- | --------- | ----- | -------- | ----- |
| IQ1\_S    | 1.035688  | 5.83  | 0.972932 | 6.06  |
| IQ1\_M    | 0.832252  | 6.33  | 0.800049 | 6.51  |
| IQ2\_XXS  | 0.535764  | 7.16  | 0.521039 | 7.31  |
| IQ2\_M    | 0.26554   | 8.84  | 0.258192 | 8.96  |
| Q2\_K\_XL | 0.229671  | 9.78  | 0.220937 | 9.95  |
| Q3\_K\_XL | 0.087845  | 12.51 | 0.080617 | 12.76 |
| Q4\_K\_XL | 0.024916  | 15.41 | 0.023701 | 15.64 |

ディスク容量の増加率とKLダイバージェンス比の変化をプロットすると、利点がよりはっきりと分かります！動的2ビットのQ2\_K\_XLでは、KLDがかなり低下します（約7.5%）。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-5b352d0449e723556e6e871396c2ee78ae8ec3dc%2Fchart(2).svg?alt=media" alt=""><figcaption></figcaption></figure>

Gemma 3（27B）のMMLU結果の表（一部抜粋）。以下をご覧ください。

1. **動的4ビット版は、QAT版よりも精度が1%高く、サイズは2GB小さくなっています！**
2. 効率性の面では、2ビットのQ2\_K\_XLなどが非常に優れた結果を示しています！

| 量子化方式          | Unsloth   | Unsloth + QAT | ディスクサイズ   | 効率性      |
| -------------- | --------- | ------------- | --------- | -------- |
| IQ1\_M         | 48.10     | 47.23         | 6.51      | 3.42     |
| IQ2\_XXS       | 59.20     | 56.57         | 7.31      | 4.32     |
| IQ2\_M         | 66.47     | 64.47         | 8.96      | 4.40     |
| Q2\_K\_XL      | 68.70     | 67.77         | 9.95      | 4.30     |
| Q3\_K\_XL      | 70.87     | 69.50         | 12.76     | 3.49     |
| **Q4\_K\_XL**  | **71.47** | **71.07**     | **15.64** | **2.94** |
| **Google QAT** |           | **70.64**     | **17.2**  | **2.65** |

<details>

<summary><mark style="color:緑;">こちらをクリック</mark> Google Gemma 3（27B）QATの全ベンチマーク：</summary>

| モデル            | Unsloth   | Unsloth + QAT | ディスクサイズ   | 効率性      |
| -------------- | --------- | ------------- | --------- | -------- |
| IQ1\_S         | 41.87     | 43.37         | 6.06      | 3.03     |
| IQ1\_M         | 48.10     | 47.23         | 6.51      | 3.42     |
| IQ2\_XXS       | 59.20     | 56.57         | 7.31      | 4.32     |
| IQ2\_M         | 66.47     | 64.47         | 8.96      | 4.40     |
| Q2\_K          | 68.50     | 67.60         | 9.78      | 4.35     |
| Q2\_K\_XL      | 68.70     | 67.77         | 9.95      | 4.30     |
| IQ3\_XXS       | 68.27     | 67.07         | 10.07     | 4.18     |
| Q3\_K\_M       | 70.70     | 69.77         | 12.51     | 3.58     |
| Q3\_K\_XL      | 70.87     | 69.50         | 12.76     | 3.49     |
| Q4\_K\_M       | 71.23     | 71.00         | 15.41     | 2.98     |
| **Q4\_K\_XL**  | **71.47** | **71.07**     | **15.64** | **2.94** |
| Q5\_K\_M       | 71.77     | 71.23         | 17.95     | 2.58     |
| Q6\_K          | 71.87     | 71.60         | 20.64     | 2.26     |
| Q8\_0          | 71.60     | 71.53         | 26.74     | 1.74     |
| **Google QAT** |           | **70.64**     | **17.2**  | **2.65** |

</details>

## :llama: Llama 4のバグ修正と実行

Llama 4のいくつかのバグ修正にも協力しました：

* Llama 4 Scoutでは、公式リポジトリでRoPE Scalingの設定が変更されました。この変更を有効にするため、llama.cppの問題解決に協力しました。 [こちらの変更](https://github.com/ggml-org/llama.cpp/pull/12889)

  <figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-7ff8229dfa96425f50c2c87f9ca988ef9cc99eff%2Fimage.png?alt=media" alt=""><figcaption></figcaption></figure>
* ScoutとMaverickの両方で、Llama 4のQK Normのイプシロン値は設定ファイルの値を使う必要があります。つまり、1e-06ではなく1e-05を使います。この問題の解決には、 [llama.cpp](https://github.com/ggml-org/llama.cpp/pull/12889) と [transformers](https://github.com/huggingface/transformers/pull/37418)
* Llama 4チームとvLLMも、QK Normがすべてのヘッドで共有されていた問題（本来は共有されるべきではありません）をそれぞれ独自に修正しました。 [こちら](https://github.com/vllm-project/vllm/pull/16311)で確認できます。MMLU Proの正解率は68.58%から71.53%に上昇しました。
* [Wolfram Ravenwolf氏は](https://x.com/WolframRvnwlf/status/1909735579564331016) llama.cpp経由の当社のGGUFが、サードパーティの推論プロバイダーよりもはるかに高い正解率を達成することを示しました。これはおそらく、上記の問題に加え、量子化の問題も影響したためです。

  <figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-76c49d8c8e3e42f7407f431a2cede369f87878e4%2FGoC79hYXwAAPTMs.jpg?alt=media" alt=""><figcaption></figcaption></figure>

グラフに示すように、当社の4ビットDynamic QAT量子化は、サイズを小さく抑えながら、5-shot MMLUでより高い性能を発揮します。

### Llama 4 Scoutの実行：

たとえばLlama 4 Scoutを実行するには、まずllama.cppをクローンします：

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

次に、Scout用の新しいDynamic v2.0量子化モデルをダウンロードします：

```python
# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF",
    local_dir = "unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF",
    allow_patterns = ["*IQ2_XXS*"],
)
```

それでは推論を実行してみましょう！

{% code overflow="wrap" %}

```bash
./llama.cpp/llama-cli \
    --model unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF/Llama-4-Scout-17B-16E-Instruct-UD-IQ2_XXS.gguf \
    --threads 32 \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    -ot ".ffn_.*_exps.=CPU" \
    --seed 3407 \
    --prio 3 \
    --temp 0.6 \
    --min-p 0.01 \
    --top-p 0.9 \
    -no-cnv \
    --prompt "<|header_start|>user<|header_end|>\n\nCreate a Flappy Bird game.<|eot|><|header_start|>assistant<|header_end|>\n\n"
```

{% endcode %}

{% hint style="success" %}
Llama 4 の実行方法について詳しくはこちらをご覧ください： <https://docs.unsloth.ai/basics/tutorial-how-to-run-and-fine-tune-llama-4>
{% endhint %}


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/jp/ji-chu/dynamic-3.0-ggufs.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
