> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/moderu/qwen3.8.md).

# Qwen3.8 - ローカルでの実行方法

Qwen3.8 は Qwen の新しいモデルファミリーで、Qwen3.8-**27B**、Qwen3.8-**2.4T-A95B** および Qwen3.8-**Max**。Qwen3.8-27B には **視覚** と推論能力があり、 **256K のコンテキスト** ウィンドウがあり、次の環境でローカル実行できます: **17GB の RAM/VRAM** 構成。Qwen3.8 はエージェント型コーディング、視覚、チャットのタスクに優れており、現在は Unsloth GGUF、NVFP4 および [Unsloth Desktop](#run-qwen3.8-in-unsloth-desktop)。Qwen3.8-2.4T-A95B は 2.4T パラメータ（95B アクティブ）のモデルで、GPT-5.6 Sol に匹敵します。

**8月19日更新:** Qwen3.8-27B の GGUF は現在 [Unsloth Dynamic V3.0](/docs/jp/ji-ben/dynamic-3.0-ggufs.md) を使用し、同じサイズで 10% 高い精度を実現し、他を大きく上回ります。

{% columns %}
{% column %} <a href="/pages/c107b4bfdcfe3f60b5f50e7db1acc53b4a2496d1#run-qwen3.8-guide" class="button primary">Qwen3.8 実行ガイド</a><a href="https://unsloth.ai/download" class="button primary">Unsloth をダウンロード</a>

初日アクセスを提供してくれた Qwen に感謝します。Unsloth の量子化版には以下も含まれます:

* **Developer ロールのサポート** Codex のようなエージェントツール向け
* [MTP 有効](/docs/jp/moderu/mtp.md) 高速推論向け
* **ツール呼び出し:** ネストされたオブジェクトの解析を改善し、ツールの成功率を向上

フル精度の Qwen3.8-2.4T-A95B には 4.9TB のストレージと 1 ビット [Unsloth](https://github.com/unslothai/unsloth) Dynamic GGUF は **397GB（91% 小型化）**、より大きい IQ1\_S では 508GB 必要です。
{% endcolumn %}

{% column %}

<figure><img src="/files/e5ba2ce585f52cf5e078c14d4117a81ac54410de" alt=""><figcaption><p>Unsloth Desktop での Dynamic 4-bit Qwen3.8-27B</p></figcaption></figure>

Unsloth の量子化版:

* [Qwen3.8-**27B**-GGUF](https://huggingface.co/unsloth/Qwen3.8-27B-GGUF)
* [Qwen3.8-27B-**NVFP4**](https://huggingface.co/unsloth/Qwen3.8-27B-NVFP4)
  {% endcolumn %}
  {% endcolumns %}

### :gear: 使用ガイド

#### Qwen3.8-27B の要件:

Qwen3.8-**27B** 4-bit 量子化版は、RTX 5080、4090、または 24GB RAM の Mac のような 16〜19GB VRAM で動作します。\
**表: ハードウェア要件** （単位 = 総メモリ: RAM + VRAM、またはユニファイドメモリ）

<table><thead><tr><th>1-bit</th><th>2-bit</th><th>3-bit</th><th>4-bit</th><th width="128">6-bit</th><th>8-bit</th><th>BF16</th></tr></thead><tbody><tr><td>7〜8 GB</td><td>9〜11 GB</td><td>12〜14 GB</td><td>16〜19 GB</td><td>23〜26 GB</td><td>31 GB</td><td>56 GB</td></tr></tbody></table>

#### Qwen3.8-**2.4T** 要件:

* [Qwen3.8-**2.4T-A95B**-GGUF](https://huggingface.co/unsloth/Qwen3.8-2.4T-A95B-GGUF)

| Dynamic 1-bit XXXS | Dynamic 1-bit Standard | Dynamic 2-bit | Q8\_0  | BF16（ロスレス） |
| ------------------ | ---------------------- | ------------- | ------ | ---------- |
| 397GB              | 508GB                  | 657 GB        | 2.6 TB | 4.9 TB     |

### 推奨設定

#### Qwen3.8-**27B の設定:**

Qwen3.8-27B は **ハイブリッド推論** 思考モードと非思考モードで異なるデフォルト設定を持つモデルです。extra high はデフォルトで有効なので、思考トレースを短くしたい場合は [思考エフォートを調整できます](#thinking--preserve-thinking):

| パラメータ                | 思考モード | Instruct（非思考）モード |
| -------------------- | ----- | ---------------- |
| `temperature`        | 1.0   | 0.7              |
| `top_p`              | 0.95  | 0.80             |
| `top_k`              | 20    | 20               |
| `min_p`              | 0.0   | 0.0              |
| `presence_penalty`   | 0.0   | 1.5              |
| `repetition_penalty` | 1.0   | 1.0              |

* **最大コンテキストウィンドウ:** `262,144` （YaRN により 1M まで拡張可能）
* 思考モード: `temperature=1.0`, `top_p=0.95`, `top_k=20`, `min_p=0.0`, `presence_penalty=0.0`, `repetition_penalty=1.0`
* Instruct（または非思考）モード: `temperature=0.7`, `top_p=0.80`, `top_k=20`, `min_p=0.0`, `presence_penalty=1.5`, `repetition_penalty=1.0`

#### Qwen3.8-**2.4T の設定:**

Qwen3.8-2.4T は **思考専用**、一方で Qwen3.8-Max はハイブリッドです。

| デフォルト                   |
| ----------------------- |
| temperature = 1.0       |
| top\_p = 0.95           |
| top\_k = 20             |
| min\_p = 0.0            |
| presence\_penalty = 0.0 |

* コンテキスト長 = 最大 `1,010,000`
* `temperature=1.0`, `top_p=0.95`, `top_k=20`, `min_p=0.0`, `presence_penalty=0.0`, `repetition_penalty=1.0`

モデルが収まる場合、B200s を使用すると生成速度は約 20 トークン/秒、スループットは 120 トークン/秒超になります。経験則としては、RAM+VRAM ≈ 量子化サイズです。それ以外でも動作はしますが、ディスクへのオフロードのためかなり遅くなります。

### 💡 思考 + 思考の保持

{% columns %}
{% column %}
Qwen3.8 には **思考の保持** があり、前の会話の思考トレースを残します。これは使用トークン数を増やしますが、継続対話で精度が向上する可能性があります。 [Unsloth](#run-qwen3.8-in-unsloth-desktop) Qwen3.8 には 'Think' と Preserved Thinking の切り替えがあります（右参照）:
{% endcolumn %}

{% column %}

<figure><img src="/files/ad8cdb86047d02070b31aefc71308347ed4a938e" alt=""><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

Qwen3.8-27B は `reasoning_effort`をサポートしており、推論の深さを調整し、コストを制御できます。これらの切り替えは Unsloth で自動的に有効になります:

* `xhigh` （デフォルト）: 詳細な分析を要する複雑なタスク向け
* `medium`：精度と速度のバランス
* `low`：速度とコストを最適化する効率的な推論
* none

{% hint style="warning" %}
変更するには[ 思考 / 推論](#how-to-enable-or-disable-reasoning-and-thinking) のエフォートは `unsloth run` または `llama-server`では、次を使用します: `--chat-template-kwargs '{"reasoning_effort":"medium"}'`

Windows **Windows** PowerShell をお使いの場合は: `--chat-template-kwargs "{\"reasoning_effort\":\"medium\"}"`

変更 `medium` してください。
{% endhint %}

## Qwen3.8 実行ガイド

現在、Qwen3.8 は llama.cpp と Unsloth Desktop で実行できます。大規模な Qwen3.8-2.T モデルでは、397GB の `IQ1_XXXS` 量子化（Q1\_0 と命名）を使用し、アクセス性と精度の面で最良の結果を目指します。少なくとも 450GB の RAM が必要です。量子化タイプは自由に変更してください。

* Hugging Face: [Qwen3.8-**GGUF**](https://huggingface.co/unsloth/Qwen3.8-GGUF) • [Qwen3.8-**NVFP4**](https://huggingface.co/unsloth/Qwen3.8-NVFP4)
* ModelScope: [Qwen3.8-**GGUF**](https://www.modelscope.cn/models/unsloth/Qwen3.8-27B-GGUF) • [Qwen3.8-**NVFP4**](https://www.modelscope.cn/models/unsloth/Qwen3.8-27B-NVFP4)
* **2.4T-A95B:** [Qwen3.8-**2.4T-A95B**-GGUF](https://huggingface.co/unsloth/Qwen3.8-2.4T-A95B-GGUF)

<a href="/pages/c107b4bfdcfe3f60b5f50e7db1acc53b4a2496d1#run-qwen3.8-in-unsloth-desktop" class="button primary">Unsloth Desktop で実行</a><a href="/pages/c107b4bfdcfe3f60b5f50e7db1acc53b4a2496d1#run-qwen3.8-in-llama.cpp" class="button secondary">llama.cpp で実行</a><a href="/pages/c107b4bfdcfe3f60b5f50e7db1acc53b4a2496d1#run-qwen3.8-in-llama.cpp" class="button secondary">NVFP4 ガイド</a>

### 🦥 Unsloth Desktop で Qwen3.8 を実行

Qwen3.8 は次で実行できます: [Unsloth Desktop](#run-qwen3.8-in-unsloth-desktop)、ローカル AI 向けのオープンソース UI アプリです。 **Unsloth は自動的に RAM へオフロードし、マルチ GPU 構成を検出します**。Unsloth Desktop を使えば、モデルをローカルで次の環境で実行できます: **macOS、Windows**、Linux、さらに次が可能です:

{% columns %}
{% column %}

* 検索、ダウンロード、 [GGUF の実行](/docs/jp/shii/studio.md#run-models-locally) および safetensors モデル
* [**自己修復** ツール呼び出し](/docs/jp/shii/studio/chat.md#auto-healing-tool-calling) + **ウェブ検索**
* [**コード実行**](/docs/jp/desktop.md#code-execution) (Python、Bash)
* [自動推論](https://unsloth.ai/docs/desktop#feature-deep-dive) パラメータ調整（temp、top-p など）
* MLX と llama.cpp による高速 CPU + GPU 推論
* [LLM を学習](/docs/jp/shii/studio.md#no-code-training) VRAM を 70% 削減しながら 2 倍高速
  {% endcolumn %}

{% column %}

<figure><img src="/files/4d290e6db3084061982a4dfe5ece693546bb048f" alt=""><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

{% stepper %}
{% step %}

#### Unsloth をインストール

始める最も簡単な方法は、次をダウンロードすることです: [Unsloth Desktop アプリ](/docs/jp/desktop.md)。対応環境: [macOS](/docs/jp/meru/install/mac.md), [Windows](/docs/jp/meru/install/windows-installation.md)、および [Linux](/docs/jp/meru/install/linux.md).

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">Unsloth をダウンロード</a>

* <i class="fa-apple">:apple:</i> [macOS 版をダウンロード](https://unsloth.ai/download/mac)
* <i class="fa-windows">:windows:</i> [Windows 版をダウンロード](https://unsloth.ai/download/windows)
* <i class="fa-linux">:linux:</i> [Linux 版をダウンロード](https://unsloth.ai/download/linux)

または、手動でインストールしたい場合は:

macOS、Linux、WSL:

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

Windows PowerShell:

```bash
irm https://unsloth.ai/install.ps1 | iex
```

{% endstep %}

{% step %}

#### Qwen3.8 を検索してダウンロード

次へ [Unsloth Chat](/docs/jp/shii/studio/chat.md) または Model hub に移動し、検索バーで Qwen3.8 を検索して、必要なモデルと量子化版をダウンロードします。

<figure><img src="/files/5096fa241dc23b0c6a34e0174c649d89a4e5b87f" alt="" width="563"><figcaption></figcaption></figure>
{% endstep %}

{% step %}

#### Qwen3.8 を実行

Unsloth を使用すると推論パラメータは自動設定されますが、手動で変更することもできます。コンテキスト長、チャットテンプレート、その他の設定も編集できます。

詳細については、次をご覧ください: [Unsloth 推論ガイド](/docs/jp/shii/studio/chat.md).

たとえば、397GB の Qwen3.8（91% 小型化）を Unsloth Desktop で使うと、思考モードの切り替え、インラインキャンバス、ウェブ検索、コード実行など、さまざまな機能を利用できます。

<figure><img src="/files/b5f7f89e11c0b8aad8b4a8dcf82f7ab4a70960c6" alt="" width="563"><figcaption><p>Unsloth Desktop における Qwen3.8 2.4T の Dynamic 1-bit 397GB（91% 小型化）GGUF</p></figcaption></figure>
{% endstep %}

{% step %}

#### Unsloth API で Qwen3.8 を提供

次を使用できます: `unsloth run` コマンドを使って、次を用いて API 経由で Qwen3.8 を提供します: `llama-server` コンテキストサイズ、GPU レイヤー、スレッディング、サンプリング、ネットワーク、ツール設定を含むランタイムフラグ。詳細は次をご覧ください: [API ドキュメント](/docs/jp/ji-ben/api.md).

{% code overflow="wrap" %}

```bash
unsloth run --model unsloth/qwen3.8-27B-GGUF-GGUF:UD-Q4_K_XL
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 20 \\
    --min-p 0.0 \\
    --chat-template-kwargs '{"reasoning_effort":"medium"}'
```

{% endcode %}
{% endstep %}

{% step %}

#### Unsloth の準備ができました

Unsloth Desktop で Qwen3.8 を使って、他にも次のような多くのことができます:

* **ツールを接続:** [Claude Code](/docs/jp/ji-ben/claude-code.md), [Codex](/docs/jp/ji-ben/codex.md), [ウェブ検索](/docs/jp/shii/studio/chat.md#advanced-web-search), [MCP](/docs/jp/ji-ben/mcp.md) など
* **モデルを学習:** テキスト、拡散モデル、 [埋め込み](/docs/jp/ji-ben/embedding-finetuning.md)などをファインチューニング
* **メディアを生成:** 作成して学習 [画像](/docs/jp/ji-ben/diffusion-image.md)、動画、 [TTS](/docs/jp/ji-ben/text-to-speech-tts-fine-tuning.md) をローカルで

<figure><img src="/files/035929e067f35cbee9022cc5377ec95bec2f57c1" alt=""><figcaption></figcaption></figure>
{% endstep %}
{% endstepper %}

### Qwen3.8-2.4T-A95B の新しい 1-bit データ型

llama.cpp の IQ1\_S（重み当たり 1.5625 ビット）を、コードブックのエントリ数を減らすことで 1.1875 bpw まで拡張しました。これは大規模モデルでうまく機能し、多くの精度も維持できることが分かりました。また、これらの新しいデータ型は、QAT や QAD（量子化対応学習 / 蒸留）を必要としない PTQ（学習後量子化）にも適していることも確認しました。 [Qwen3.8-**2.4T-A95B**-GGUF](https://huggingface.co/unsloth/Qwen3.8-2.4T-A95B-GGUF)

命名上の問題により、TQ2\_0、TQ1\_0、Q1\_0 を使用しました。そうしないと HF リポジトリに表示されません。

<table><thead><tr><th>データ型</th><th width="147.60000610351562">命名</th><th width="114.39996337890625" align="right">BPW</th><th width="106.20001220703125" align="right"># エントリ</th><th width="113.413330078125" align="right">インデックスビット</th><th width="106.4000244140625" align="right">ブロック</th></tr></thead><tbody><tr><td>IQ1_S</td><td>IQ1_S</td><td align="right"><strong>1.5625</strong></td><td align="right">2048</td><td align="right">11</td><td align="right">50 B</td></tr><tr><td>UD-IQ1_XS</td><td>TQ2_0</td><td align="right">1.4375</td><td align="right">1024</td><td align="right">10</td><td align="right">46 B</td></tr><tr><td>UD-IQ1_XXS</td><td>TQ1_0</td><td align="right">1.3125</td><td align="right">512</td><td align="right">9</td><td align="right">42 B</td></tr><tr><td>UD-IQ1_XXXS</td><td>Q1_0</td><td align="right"><strong>1.1875</strong></td><td align="right">256</td><td align="right">8</td><td align="right">38 B</td></tr></tbody></table>

新しいデータ型についてはまだベンチマークを実行中ですが、他の大規模モデルでは **QAT / QAD なしでも良好な結果が得られます**:

| データ型         |     GiB |      PPL |      KLD |  top-p |
| ------------ | ------: | -------: | -------: | -----: |
| IQ1\_S       | 553.204 | 2.578876 | 0.564553 | 78.882 |
| UD-IQ1\_XS   | 513.583 | 2.931261 | 0.690161 | 75.726 |
| UD-IQ1\_XXS  | 473.961 | 3.540383 | 0.876007 | 71.284 |
| UD-IQ1\_XXXS | 434.340 | 4.488796 | 1.109944 | 66.257 |

### :llama: llama.cpp で Qwen3.8 を実行

{% stepper %}
{% step %}
特定の IQ1\_XXXS ブランチを使用する必要があります [こちら](https://github.com/unslothai/llama.cpp/pull/61)。下のビルド手順に従うこともできます。 `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF` に変更してください。GPU がない場合、または CPU 推論のみを使いたい場合はそうしてください。 **Apple Mac / Metal デバイスでは**、 `-DGGML_CUDA=OFF` を設定し、その後は通常どおり続行します。Metal サポートはデフォルトで有効です。

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone --branch iq1-narrow https://github.com/unslothai/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

{% endstep %}

{% step %}
標準の `IQ1_S` やその他の量子化版を実行したいだけなら、通常どおり llama.cpp をコンパイルします:

{% code overflow="wrap" %}

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

{% endcode %}
{% endstep %}

{% step %}
モデルをダウンロードします（次をインストールした後 `pip install huggingface_hub`）。次を選択できます `Q1_0` 用に `IQ1_XXXS` または次のような他の量子化版: `Q8_0` 。ダウンロードが止まる場合は、こちらを参照: [Hugging Face Hub、XETデバッグ](/docs/jp/ji-ben/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md)

**Qwen3.8-27B:**

```bash
pip install -U "huggingface_hub[cli]"
hf download unsloth/Qwen3.8-27B-GGUF \\
    --local-dir unsloth/Qwen3.8-27B-GGUF \\
    --include "*UD-Q4_K_XL*" # 3-bit には "*UD-Q3_K_XL*" を使用
```

**Qwen3.8-2.4T:**

```bash
pip install -U "huggingface_hub[cli]"
hf download unsloth/Qwen3.8-2.4T-A95B-GGUF \\
    --local-dir unsloth/Qwen3.8-2.4T-A95B-GGUF \\
    --include "*Q1_0*" # 2-bit には "*IQ2_XXS*" を使用
```

{% endstep %}

{% step %}
llama-cli でモデルを実行するには、以下のコードスニペットに従ってください:\
忘れずに [設定を変更](#recommended-settings) してください。用途に応じて。

**Qwen3.8-27B:**

{% code overflow="wrap" %}

```bash
./llama.cpp/llama-cli \\
    --model unsloth/Qwen3.8-27B-GGUF/Qwen3.8-27B-UD-Q4_K_XL.gguf \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 20 \\
    --min-p 0.0
```

{% endcode %}

**Qwen3.8-2.4T:**

{% code overflow="wrap" %}

```bash
./llama.cpp/llama-cli \\
    --model unsloth/Qwen3.8-2.4T-A95B-GGUF/UD-Q1_0/Qwen3.8-2.4T-A95B-UD-Q1_0-00001-of-00010.gguf \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 20 \\
    --min-p 0.0
```

{% endcode %}
{% endstep %}

{% step %}
一般的な UD-IQ1\_S を実行するには、次のようにします:

**Qwen3.8-2.4T:**

{% code overflow="wrap" %}

```bash
pip install -U "huggingface_hub[cli]"
hf download unsloth/Qwen3.8-2.4T-A95B-GGUF \\
    --local-dir unsloth/Qwen3.8-2.4T-A95B-GGFF \\
    --include "*IQ1_S*" # 2-bit には "*IQ2_XXS*" を使用
```

{% endcode %}
{% endstep %}

{% step %}
次に実行します:

{% code overflow="wrap" %}

```bash
./llama.cpp/llama-cli \\
    --model unsloth/Qwen3.8-2.4T-A95B-GGUF/UD-IQ1_S/Qwen3.8-2.4T-A95B-UD-IQ1_S-00001-of-00012.gguf \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 20 \\
    --min-p 0.0
```

{% endcode %}
{% endstep %}
{% endstepper %}

### ⚡️NVFP4

Qwen3.6 と同様に、新しい [dynamic NVFP4 Qwen3.8](/docs/jp/ji-ben/nvfp4.md)-27B 量子化版もリリースします。これらは **約1.5倍高速** BF16チェックポイントより、さらに **より高い性能** かつ同等のファイルサイズです。Qwen3.8-27B NVFP4を実行 **1.5倍高速** の上で **24GB VRAM上で。** また、追加しました **FP8 KVキャッシュのキャリブレーション** により、コンテキスト長を2倍に延長！ NVFP4には、RTX 50X、DGX Spark（参照 [#dgx-spark-with-nvfp4-quants](#dgx-spark-with-nvfp4-quants "mention")）、B200、B300 GPUが必要です。古いGPUでは、当社のGGUFがうまく動作します！ NVFP4量子化モデルは [vLLM](#vllm) 今のところのみ（SGLangはサポートされていません）。

* [Qwen3.8-27B-**NVFP4**](https://huggingface.co/unsloth/Qwen3.8-27B-NVFP4) 量子化

<table><thead><tr><th width="90" align="right">バッチ</th><th width="114.5999755859375" align="right">BF16総トークン/秒</th><th width="122.60003662109375" align="right">NVFP4総トークン/秒</th><th width="122" align="right">高速化</th><th width="137.4000244140625" align="right">BF16ユーザーあたり</th><th align="right">NVFP4ユーザーあたり</th></tr></thead><tbody><tr><td align="right">1</td><td align="right">89.8</td><td align="right"><strong>133.7</strong></td><td align="right">1.49倍</td><td align="right">89.8</td><td align="right"><strong>133.7</strong></td></tr><tr><td align="right">8</td><td align="right">649.4</td><td align="right"><strong>938.8</strong></td><td align="right">1.45倍</td><td align="right">81.2</td><td align="right"><strong>117.3</strong></td></tr><tr><td align="right">32</td><td align="right">1983.0</td><td align="right"><strong>2787.0</strong></td><td align="right">1.41倍</td><td align="right">62.0</td><td align="right"><strong>87.1</strong></td></tr><tr><td align="right">64</td><td align="right">3048.5</td><td align="right"><strong>4407.2</strong></td><td align="right">1.45倍</td><td align="right">47.6</td><td align="right"><strong>68.9</strong></td></tr></tbody></table>

以下に、Qwen3.6について実施した以前のベンチマークも示します。16bit活性化を使用する他のNVFP4実装と、当社のNVFP4活性化を比較しています：

<figure><img src="/files/1e9f182217e232a6973dc71d63984eda9e0961ad" alt="" width="563"><figcaption></figcaption></figure>

すべてのベンチマークは1x B200、同時実行128で行っています。同時実行数を増やすと、35Bを17,561トークン/秒まで向上できます。&#x20;

精度ベンチマークでは、Code、Chat、その他多くの分野にわたってKLDとTop-1%一致率を実行しました。NVFP4はBF16に対して、一貫して92%〜97%の精度回復を示します

| コーパス                     |         KLD平均 | top-1一致率 |
| ------------------------ | ------------: | -------: |
| 中国語                      |       0.01628 |   93.55% |
| コード                      |       0.02600 |   96.68% |
| 参照生成                     |       0.03993 |   94.46% |
| チャット                     |       0.05818 |   92.15% |
| 日本語 / 韓国語 / ロシア語 / スペイン語 | 0.0124-0.0155 |   94-95% |

精度ベンチマークとして、Qwen 3.6についてFP8、BF16、NVIDIAのNVFP4、当社のNVFP4でMMLU-Pro、AIME 2025、GPQAを実施しました。より高速な量子化モデルでも、すべてで同様の結果を示しています：

<figure><img src="/files/b19c4e11d384d29146fddfe25b759e18a4ba80c3" alt=""><figcaption></figcaption></figure>

詳細については、以下をお読みください [Dynamic NVFP4量子化ブログ](/docs/jp/ji-ben/nvfp4.md).

NVFP4量子化モデルを実行するには、Qwen3.8-27Bを以下で実行するコマンドを参照してください [vLLM](/docs/jp/ji-ben/inference-and-deployment/vllm-guide.md) または [SGLang](/docs/jp/ji-ben/inference-and-deployment/sglang-guide.md):

#### **vLLM:**

別のvenvにvLLMをインストールするには：

{% code overflow="wrap" expandable="true" %}

```bash
uv venv unsloth-nvfp4-env --python 3.13
source unsloth-nvfp4-env/bin/activate
uv pip install "vllm>=0.25.0" "flashinfer-python>=0.6.13" "nvidia-cutlass-dsl>=4.5.2" \
    --torch-backend=auto
```

{% endcode %}

次に、27B版を提供するには：

```shell
vllm serve unsloth/Qwen3.8-27B-NVFP4
```

MTP / speculative decoding（デコードは速くなりますが、スループットはやや低下）を有効にするには、次を使用します：

```bash
vllm serve unsloth/Qwen3.8-27B-NVFP4
    --speculative-config '{"method": "mtp", "num_speculative_tokens": 2}'
```

Torchcodecの問題が発生した場合は、以下を実行してからvllmを再起動してください。

{% code overflow="wrap" expandable="true" %}

```bash
sudo apt-get update
sudo apt-get install -y ffmpeg
```

{% endcode %}

#### **SGLang:**

**lm\_headをFP8に量子化しているため、SGLangはまだサポートされていません。**

vLLMには `CompressedTensorsW8A8Fp8` これをサポートするカーネルがありますが、SGLangはFP8のlm\_headを読み込めません。

### :exploding\_head:量子化分析

NVFP4量子化モデルはBF16より1.5倍高速で、top-1%精度を92〜97%維持します。

私たちは [Dynamic 3.0 GGUFs](/docs/jp/ji-ben/dynamic-3.0-ggufs.md) Qwen3.8-27Bを大幅に改善するために使いました！

Qwen3.8-27BのUD-3で示したTop-1%精度プロット：

<figure><img src="/files/be4c019dba38c56b77c795792303250c8a379a4d" alt=""><figcaption></figcaption></figure>

そしてQwen3.8の平均KLD：

<figure><img src="/files/885ef5e0e1a5fe7f3d12598ad15791637f86cd64" alt=""><figcaption></figcaption></figure>

### 📊 ベンチマーク

#### Qwen3.8-**27B**

表ベンチマークはさらに下をご覧ください：

<div><figure><img src="/files/9ba73d6f6c4b9f093242834b586d489018c08c03" alt=""><figcaption></figcaption></figure> <figure><img src="/files/4d74774b37d804fc80197ccdfabab818f4808f24" alt=""><figcaption></figcaption></figure></div>

#### テキスト性能

| ベンチマーク                                           | Qwen3.8-27B                | Qwen3.6-27B        | Qwen3.7-Plus       | Muse Glimmer-30B | Opus4.6 Max |
| ------------------------------------------------ | -------------------------- | ------------------ | ------------------ | ---------------- | ----------- |
| **コーディング**                                       |                            |                    |                    |                  |             |
| エージェント型ターミナルコーディング Terminal Bench 2.1 (Terminus) | 73.0                       | 63.4               | 64.0               | 51.7             | **78.2**    |
| エージェント型コーディング SWE-bench Pro                      | **61.7**                   | 53.5               | 57.6               | 51.2             | 53.4        |
| リポジトリレベルのコード生成 NL2Repo-Bench                     | 42.3                       | 36.2               | 41.1               | --               | **47.6**    |
| エージェント型コーディング DeepSWE 1.1                        | **42.2**                   | 13.3               | 14.2               | --               | --          |
| ソフトウェア工学 QwenSWEBench                            | **79.0**                   | 49.3               | 59.2               | --               | 63.8        |
| **エージェント**                                       |                            |                    |                    |                  |             |
| 長期的なオフィス作業 CoWorkBench                           | **70.7**                   | 61.0               | 65.1               | --               | 68.2        |
| 専門職タスク JobBench                                  | **33.4**                   | 21.8               | 27.6               | --               | --          |
| 最先端エージェントタスク Agents' Last Exam                   | Pass\@1**20.4**スコア**42.9** | Pass\@110.6スコア27.3 | Pass\@113.2スコア33.6 | --               | --          |
| 一般                                               |                            |                    |                    |                  |             |
| 指示追従 IFBench                                     | **79.5**                   | 69.1               | 79.1               | 77.0             | 62.5        |
| 科学的推論 GPQA Diamond                               | 89.2                       | 87.8               | 90.3               | 83.5             | **91.3**    |
| 学際的推論 HLE                                        | 30.8                       | 24.0               | 34.7               | 22.0             | **40.0**    |
| 競技コーディング LiveCodeBench v6                        | **90.3**                   | 83.9               | 89.6               | --               | 88.8        |

#### Qwen3.8-**2.4T-A95B**

<figure><img src="/files/1272c0cd2c9669619efead3a786f2b697dbd210a" alt=""><figcaption></figcaption></figure>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://unsloth.ai/docs/jp/moderu/qwen3.8.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
