Qwen3.5 GGUFベンチマーク
Unsloth Dynamic GGUFの性能と、perplexity、KL divergence、MXFP4の分析をご覧ください。
すべてを更新しました Qwen3.5 Unsloth Dynamic量子化版 SOTAであること ほぼすべてのビットで。合計で150回以上のKLダイバージェンスベンチマークを実施しました 9TBのGGUF。研究成果物をすべてアップロードしました。
また、 ツール呼び出し チャットテンプレートの問題 （どこで使っているか、どこ由来かにかかわらず、すべての量子化アップローダーと種類に影響します）.
99.9% KLダイバージェンスでSOTAを示します のパレートフロンティア上で Unsloth Dynamic Q4_K_XL, IQ3_XXS など：
ImatrixはKLDとPPLの削減に確実に役立ちますが、推論は5〜10%遅くなります。
私たちのGGUFを多くの他の提供元と比較してテストしました
ssm_out（Mamba層）を量子化するのは良い考えではなく、ffn_down_expsも同様です。
MXFP4の廃止 すべてのGGUF量子化から：純粋なMXFP4_MOEを除くQ2_K_XL、Q3_K_XL、Q4_K_XL。
1) 一部のテンソルは量子化に非常に敏感です
9TB以上の研究成果物を、コミュニティがさらに調査できるように私たちの 実験ページ。KLD指標と、私たちがテストした121の設定すべてが含まれています。
各テンソルタイプごとにビット幅を変え、以下に99.9% KLDとの最良・最悪のパレートフロンティア図を生成しました。
量子化に向いている項目では、ffn_up_expsとffn_gate_expsは一般に3bitまで量子化しても問題ありません。ffn_down_expsはやや敏感です。
最悪の項目では、ssm_outはKLDを大幅に増やし、ディスク容量の節約はごくわずかです。たとえば、q2_kのssm_outは著しく悪化します。 attn_*を量子化するのは特に敏感です ハイブリッドアーキテクチャでは、より高い精度のままにしておくのがうまくいきます。
99.9% KLダイバージェンスにおけるテンソルタイプ対ビット数
すべての量子化レベルを99.9% KLDに対してプロットし、KLDが最悪のものから最良のものへ並べています。ffn_*層を下げすぎて量子化するのは良くありません。
ただし、 いくつかのビット幅は良好で、特に3bitです。例えば、ffn_*（down、up、gate）をiq3_xxsあたりにしておくのが、ディスク容量と99.9% KLD変化の点で最良の妥協案のようです。2bitはさらに劣化を招きます。
MXFP4は多くのテンソルでかなり悪いです — attn_gate、attn_q、ssm_beta、ssm_alphaでMXFP4を使うのは良い考えではなく、むしろQ4_Kのほうが良いです。なお、MXFP4は重み1つあたり4.25ビットを使うのに対し、Q4_Kは重み1つあたり4.5ビットを使います。どちらかを選ぶなら、MXFP4よりQ4_Kを使うほうがよいです。
2) Imatrixは非常にうまく機能します
Imatrixは量子化プロセスに正しい重み付けをするのに確実に役立ちます。たとえば、以前は2bitのssm_outが本当にひどかったのですが、imatrixは99.9% KLDを大幅に下げます。
Imatrixは一般に低ビットで役立ち、すべての量子化方式とビット幅で機能します。
I量子化（iq3_xxs、iq2_sなど）は推論を5〜10%遅くします。効率の面では確かに優れていますが、トレードオフがあります。
mxfp4
1978.69
90.67
q4_k
1976.44
90.38
q3_k
1972.61
91.36
q6_k
1964.55
90.50
q2_k
1964.20
90.77
q8_0
1964.17
90.33
q5_k
1947.74
90.72
iq3_xxs
2030.94
85.68
iq2_xxs
1997.64
85.79
iq3_s
1990.12
84.37
iq2_xs
1967.85
85.19
iq2_s
1952.50
85.04
3) パープレキシティとKLDは誤解を招くことがあります
パープレキシティとKLDは、キャリブレーションの影響を強く受けるため、誤解を招くことがあります。ほとんどのGGUFは512コンテキストウィンドウのWiki-testで評価されるため、GGUFのimatrixキャリブレーションセットにWikipedia風の512コンテキストサンプルが含まれていると、結果は大きく変わります（多くのGGUFがそうです）。そのため、私たちのGGUFは、imatrixデータとして代わりに長文コンテキストのチャットやツール呼び出しの例を使っているので、パープレキシティが高く出ることがあります。
Benjaminによる最近のMiniMax‑M2.5分析 パープレキシティとKLDがいかに非常に誤解を招きうるかを示す事例です。Unsloth Dynamic IQ2_XXSは、11GB小さいにもかかわらず、実世界の評価（LiveCodeBench v6、MMLU Pro）ではAesSedaiのIQ3_Sより優れています。にもかかわらず、AesSedaiのパープレキシティとKLDベンチマークは逆の結果を示しています。（PPL: 0.3552 対 0.2441；KLD: 9.0338 対 8.2849 - 低いほど良い）。
この不一致は、パープレキシティやKLDが低いことが必ずしも実世界での性能向上につながらないことを示しています。グラフはまた、UD‑Q4-K‑XLが他のQ4量子化より優れていながら、約8GB小さいことも示しています。とはいえ、パープレキシティやKLDが無意味というわけではなく、おおまかな संकेतを与えてくれます。そのため今後は、コミュニティが何らかの参照を持てるよう、すべての量子化についてパープレキシティとKLDを公開します。
4) 2026年3月5日アップデート - さらなる堅牢性
Qwen3.5のMoE向け量子化手法をさらに強化し、Maximum KLDを直接下げました。通常は99.9%が使われますが、大きな外れ値に対してはMaximum KLDが有用な場合があります。私たちの新しい手法は、3月5日以前の更新と比べて、Maximum KLDを全体的にかなり下げます。
UD-Q2_K_XL
12.0
11.3
8.237
8.155
UD-Q3_K_XL
16.1
15.5
5.505
5.146
UD-Q4_K_XL
19.2
20.7 (+7.8%)
5.894
2.877 (-51%)
UD-Q5_K_XL
23.2
24.6 (+6%)
5.536
3.210 (-42%)
完全ベンチマーク
AesSedai
IQ3_S
12.65
6.9152
1.8669
0.0613
AesSedai
IQ4_XS
16.4
6.6447
0.8067
0.0235
AesSedai
Q4_K_M
20.62
6.5665
0.3171
0.0096
AesSedai
Q5_K_M
24.45
6.5356
0.21
0.0058
Ubergarm
Q4_0
19.79
6.5784
0.4829
0.0142
Unsloth
IQ2_XXS
9.09
7.716
4.2221
0.1846
Unsloth
Q2_K_XL
12.04
7.0438
2.9092
0.097
Unsloth
IQ3_XXS
13.12
6.7829
1.5296
0.0501
Unsloth
IQ3_S
14.13
6.7715
1.4193
0.0457
Unsloth
Q3_K_M
15.54
6.732
0.9726
0.0324
Unsloth
Q3_K_XL
16.06
6.7245
0.9539
0.0308
Unsloth
MXFP4_MOE
18.17
6.6
0.7789
0.0272
Unsloth
Q4_K_M
18.49
6.6053
0.5478
0.0192
Unsloth
Q4_K_L
18.82
6.5905
0.4828
0.015
Unsloth
Q4_K_XL
19.17
6.5918
0.4097
0.0137
Unsloth
Q5_K_XL
23.22
6.5489
0.236
0.0069
Unsloth
Q6_K_S
26.56
6.5456
0.2226
0.0065
Unsloth
Q6_K_XL
28.22
6.5392
0.1437
0.0041
Unsloth
Q8_K_XL
36.04
6.5352
0.1033
0.0026
bartowski
Qwen_IQ2_XXS
8.15
9.3427
6.0607
0.3457
bartowski
Qwen_Q2_K_L
11.98
7.5504
3.8095
0.1559
bartowski
Qwen_IQ3_XXS
12.94
7.0938
2.1563
0.0851
bartowski
Qwen_Q3_K_M
14.95
6.772
1.7779
0.0585
bartowski
Qwen_Q3_K_XL
15.97
6.8245
1.7516
0.0627
bartowski
Qwen_IQ4_XS
17.42
6.6234
0.7265
0.0234
bartowski
Qwen_Q4_K_M
19.77
6.6097
0.5771
0.0182
bartowski
Qwen_Q5_K_M
23.11
6.5828
0.3549
0.0106
noctrex
MXFP4_MOE_BF16
20.55
6.5948
0.7939
0.0248
noctrex
MXFP4_MOE_F16
20.55
6.5937
0.7614
0.0247
最終更新
役に立ちましたか？