> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/moderu/qwen3.8-next.md).

# Qwen3.8-Flash-Next: ローカルでの実行方法

Qwen3.8-Flash-Nextをローカルで実行するためのガイドです。

Qwen3.8-Flash-Nextは、新しいオープンウェイトの **125Bパラメータの** QwenのMoEマルチモーダルモデルです。新しいQwen4アーキテクチャ上に構築されており、262Kのコンテキストウィンドウと高度な推論をサポートします。 [Qwen3.8](/docs/jp/moderu/qwen3.8.md)-Flash-NextはClaude-4.6-Opus（Max）を上回り、 **75GBのRAM**/共有メモリでGPU VRAMなしで動作できます。モデルを実行するには、次のものをご利用ください。 [GGUF](https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF) をllama.cpp経由で、または [Unsloth Desktop](/docs/jp/desktop.md)を使用してください。初日アクセスを提供してくれたQwenに感謝します。

{% columns %}
{% column %}
**1-bitは75GB** で、Ngram / PLEには4-bitを使用します。これは **79%小さく** 、BF16（355GB）よりも小さく、 **トップ1%精度80%**.

<a href="/pages/a747d6233aecf72068d740d9effe821812e647b3#run-qwen3.8-flash-next-in-unsloth" class="button primary">Qwen3.8-Flashを実行</a><a href="https://unsloth.ai/download" class="button secondary">Unslothをダウンロード</a>

{% hint style="success" %}
[**MTP**](#mtp-guide) が登場！Qwen3.8-Flashを [Unsloth Desktop](#run-qwen3.8-flash-next-in-unsloth)!
{% endhint %}
{% endcolumn %}

{% column %}

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F1YneA51oWzaIiwep9H5I%2F1000024423.gif?alt=media&amp;token=40a169cc-12f1-403a-898c-b310f81ff52a" alt=""><figcaption><p>4-bitのQwen3.8-FlashがUnslothで実行中</p></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

### :gear: 使用ガイド

Qwen3.8-Flash-Nextを **Qwen3.8-Flash-Next** をCPU上のシステムRAMで動かしても、VRAMを持つGPU上で動かしても、差は比較的小さい場合があります。独自のアーキテクチャにより、RAMまたは共有メモリを使った推論が可能で、他のモデルより一般的なGPU VRAMに近い性能を実現できます。そのため、Mac、NVIDIA DGX Sparkシステム、その他大容量メモリを持つデバイスに特に適しています。

少なくとも **75GBのRAMまたは共有メモリ** が必要です。最小の1-bit量子化版が通常より大きいのは、新しいNgram層、またはルックアップテーブルのような各層埋め込みがあるためです。ただし、これは量子化がそれほど強くないことも意味し、より強く量子化されたモデルよりも元の精度をより多く保持できます。PLE / Ngram層をSSDにオフロードし、mmapを使うことで、CPUおよびGPU VRAMの使用量をさらに減らすこともできます。

#### Qwen3.8-Flash-Nextの要件:

最小の量子化版は75GB RAMで動作するため、96GB RAM/共有メモリ搭載デバイスが最適です。\
**表: ハードウェア要件** （単位 = 合計メモリ: RAM + VRAM、または共有メモリ）

<table><thead><tr><th>1-bit</th><th>2-bit</th><th>3-bit</th><th>4-bit</th><th width="128">5-bit</th><th>8-bit</th><th>BF16</th></tr></thead><tbody><tr><td>75 GB</td><td>79 GB</td><td>90 GB</td><td>96-114 GB</td><td>163 GB</td><td>200 GB</td><td>355 GB</td></tr></tbody></table>

{% hint style="info" %}
もし [MTP](/docs/jp/moderu/mtp.md) を使ってより高速な推論をしたいなら、1〜2GBの追加の空き容量を確保してください。
{% endhint %}

### 推奨設定

Qwen3.8-Flash-Nextは **ハイブリッド思考** モデルで、思考モードと非思考モードで既定設定が異なります。Extra highは既定で有効なので、より短い思考トレースが必要な場合は、 [思考の強さを調整](#thinking--preserve-thinking):

| パラメータ                | 思考モード | Instruct（非思考）モード |
| -------------------- | ----- | ---------------- |
| `temperature`        | 1.0   | 0.7              |
| `top_p`              | 0.95  | 0.80             |
| `top_k`              | 20    | 20               |
| `min_p`              | 0.0   | 0.0              |
| `presence_penalty`   | 0.0   | 1.5              |
| `repetition_penalty` | 1.0   | 1.0              |

* コンテキスト長 = 最大 `262,144`
* 思考モード: `temperature=1.0`, `top_p=0.95`, `top_k=20`, `min_p=0.0`, `presence_penalty=0.0`, `repetition_penalty=1.0`
* Instruct（または非思考）モード: `temperature=0.7`, `top_p=0.80`, `top_k=20`, `min_p=0.0`, `presence_penalty=1.5`, `repetition_penalty=1.0`

### 💡 思考 + 思考の保持

{% columns %}
{% column %}
Qwen3.8-Flash-Nextには **思考の保持** があり、前回の会話の思考トレースを残します。これにより使用トークン数は増えますが、会話の継続時に精度が向上する可能性があります。 [Unsloth](#run-qwen3.8-in-unsloth-desktop) にはQwen3.8向けの「Think」と思考保持の切り替えがあります（右を参照）:
{% endcolumn %}

{% column %}

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FLdgmjRrb5qhpbY9PwYe8%2FScreenshot%202026-08-14%20at%2011.26.15%E2%80%AFAM.png?alt=media&amp;token=6333f5ca-196d-46ae-9efd-2e522014e6db" alt=""><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

Qwen3.8-Flash-Nextには `reasoning_effort`のサポートがあり、推論の深さを調整しコストを制御できます。これらの切り替えはUnslothで自動的に有効になります:

* `xhigh` （既定）: 徹底した分析を要する複雑なタスク向け
* `medium`: 精度と速度のバランス
* `low`: 速度とコストを最適化する効率的な推論
* none

{% hint style="warning" %}
変更するには[ 思考 / 推論](#how-to-enable-or-disable-reasoning-and-thinking) の強さを `unsloth run` または `llama-server`で、次を使用します: `--chat-template-kwargs '{"reasoning_effort":"medium"}'`

Windows **の場合は** PowerShellで次を使用します: `--chat-template-kwargs "{\"reasoning_effort\":\"medium\"}"`

を `medium` 希望の推論レベルに変更してください。
{% endhint %}

### 量子化分析

Qwen3.8-Flashの量子化版に対してKLDを実行し、ディスク使用量を79%削減しながらトップ1%精度を80%回復できることを示しました。新しいアーキテクチャはPLE / Ngramを使用しており、これらはランダムアクセスパターンを持つため、それほど強く量子化されていません（最小4-bit）。これらを強く量子化するとモデルが損なわれるためです。

<div><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FPemX6jyt4OWohwHfcjqo%2Fqwen38_flash_unsloth_top1_accuracy_new_data.png?alt=media&amp;token=3fd7713b-e9d9-43d4-bbca-96d56df43a80" alt=""><figcaption></figcaption></figure> <figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F8bGa4A4jbGsn0qrNY6Gc%2Fqwen38_flash_unsloth_kld_new_data.png?alt=media&amp;token=45ac0e9a-c9b3-4530-90f6-ed8a2328ef08" alt=""><figcaption></figcaption></figure></div>

| quant        | GB    | トップ1 % | 平均KLD    | 99.9% KLD |
| ------------ | ----- | ------ | -------- | --------- |
| UD-IQ1\_S    | 72.5  | 77.325 | 0.396070 | 7.2126    |
| UD-IQ1\_M    | 74.5  | 79.691 | 0.314739 | 6.1965    |
| UD-Q2\_K\_XL | 78.9  | 82.715 | 0.224607 | 4.9121    |
| UD-IQ3\_XXS  | 82.0  | 85.414 | 0.165120 | 4.0375    |
| UD-Q3\_K\_XL | 90.0  | 88.315 | 0.106504 | 3.0538    |
| UD-IQ4\_XS   | 93.7  | 89.554 | 0.083630 | 2.3677    |
| UD-Q4\_K\_XL | 111.3 | 92.255 | 0.046893 | 1.5468    |
| UD-Q5\_K\_XL | 158.3 | 93.680 | 0.030415 | 1.0036    |
| UD-Q6\_K\_XL | 169.2 | 94.089 | 0.027091 | 0.8416    |
| Q8\_0        | 188.2 | 94.122 | 0.026574 | 0.8118    |

## Qwen3.8-Flash-Next実行ガイド

これでQwen3.8-Flash-NextをUnsloth Desktopとllama.cppで実行できるようになりました。量子化タイプは自由に変更できます。

* Hugging Face: [Qwen3.8-Flash-Next-**GGUF**](https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF)
* ModelScope: [Qwen3.8-Flash-Next-GGUF](https://www.modelscope.cn/models/unsloth/Qwen3.8-Flash-Next-GGUF)

<a href="/pages/c107b4bfdcfe3f60b5f50e7db1acc53b4a2496d1#run-qwen3.8-in-unsloth-desktop" class="button primary">Unsloth Desktopで実行</a><a href="/pages/c107b4bfdcfe3f60b5f50e7db1acc53b4a2496d1#run-qwen3.8-in-llama.cpp" class="button secondary">llama.cppで実行</a><a href="/docs/jp/moderu/qwen3.8-next.md#mtp-guide" class="button primary">MTPガイド</a>

{% hint style="success" %}
Qwen3.8-Flash-Nextが、ローカルで実行可能になりました [Unsloth Desktop](#run-qwen3.8-flash-next-in-unsloth)!
{% endhint %}

### 🦥 UnslothでQwen3.8-Flash-Nextを実行

Qwen3.8-Flash-Nextは現在 [Unsloth Desktop](#run-qwen3.8-in-unsloth-desktop)、ローカルAI向けのオープンソースUIアプリです。 **Unslothは自動的にRAMへオフロードし、マルチGPU構成を検出します**。Unsloth Desktopを使えば、次の環境でモデルをローカル実行できます **MacOS、Windows**、Linuxと:

{% columns %}
{% column %}

* 検索、ダウンロード、 [GGUFの実行](/docs/jp/xin-zhe/studio.md#run-models-locally)、MLXおよびsafetensorモデル
* [**自己修復** ツール呼び出し](/docs/jp/xin-zhe/studio/chat.md#auto-healing-tool-calling) + **ウェブ検索**
* [**コード実行**](/docs/jp/desktop.md#code-execution) （Python、Bash）
* [自動推論](https://unsloth.ai/docs/desktop#feature-deep-dive) パラメータ調整（temp、top-pなど）
* MLXとllama.cppによる高速なCPU + GPU推論
* [LLMを学習](/docs/jp/xin-zhe/studio.md#no-code-training) VRAMを70%削減して2倍高速
  {% endcolumn %}

{% column %}

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F6IXaXdTVyvbrnjehlxys%2Fkimik3.gif?alt=media&amp;token=31e1213b-d7da-46e9-bc7f-3a8c402513fc" alt=""><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

{% stepper %}
{% step %}

#### Unslothをインストール

始める最も簡単な方法は、 [Unsloth Desktopアプリ](/docs/jp/desktop.md)をダウンロードすることです。対応環境: [macOS](/docs/jp/meru/install/mac.md), [の場合は](/docs/jp/meru/install/windows-installation.md)、および [Linux](/docs/jp/meru/install/linux.md).

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">Unslothをダウンロード</a>

* <i class="fa-apple">:apple:</i> [macOS用をダウンロード](https://unsloth.ai/download/mac)
* <i class="fa-windows">:windows:</i> [Windows用をダウンロード](https://unsloth.ai/download/windows)
* <i class="fa-linux">:linux:</i> [Linux用をダウンロード](https://unsloth.ai/download/linux)

または、手動でインストールしたい場合は:

MacOS、Linux、WSL:

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

Windows PowerShell:

```bash
irm https://unsloth.ai/install.ps1 | iex
```

{% endstep %}

{% step %}

#### Qwen3.8-Flash-Nextを検索してダウンロード

次へ移動 [Unsloth Chat](/docs/jp/xin-zhe/studio/chat.md) またはModel hubに行き、検索バーでQwen3.8-Flashを検索して、希望するモデルと量子化版をダウンロードします。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FiEMEgtWrGc0DMZ4FLRez%2FScreenshot%202026-08-27%20at%204.21.05%E2%80%AFAM.png?alt=media&amp;token=94ad9ccf-f882-48b0-8aaa-83e90bfc2630" alt=""><figcaption></figcaption></figure>
{% endstep %}

{% step %}

#### Qwen3.8-Flash-Nextを実行

MTPは自動的に有効になりますが、無効化できます。Unslothを使う場合、推論パラメータは自動設定されるはずですが、手動で変更することもできます。コンテキスト長、チャットテンプレート、その他の設定も編集できます。

詳細は、次のガイドをご覧ください。 [Unsloth推論ガイド](/docs/jp/xin-zhe/studio/chat.md).

たとえば、397GBのQwen3.8（91%小型化）をUnsloth Desktopで使うと、思考モードの切り替え、インラインキャンバス、ウェブ検索、コード実行などを有効にできます。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F1YneA51oWzaIiwep9H5I%2F1000024423.gif?alt=media&amp;token=40a169cc-12f1-403a-898c-b310f81ff52a" alt=""><figcaption></figcaption></figure>
{% endstep %}

{% step %}

#### Unsloth APIでQwen3.8-Flash-Nextを提供

次のものを使えます: `unsloth run` コマンドを使って、 `llama-server` コンテキストサイズ、GPUレイヤー、スレッド、サンプリング、ネットワーク、ツール設定などのランタイムフラグでQwen3.8をAPI経由で提供できます。詳細は [APIドキュメント](/docs/jp/ji-ben/api.md) または [unsloth start](/docs/jp/lian-xie/unsloth-start.md).

{% code overflow="wrap" %}

```bash
unsloth run --model unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL
```

{% endcode %}
{% endstep %}

{% step %}

#### Unslothの準備ができました

Unsloth Desktopを通じてQwen3.8-Flash-Nextで、ほかにもさまざまなことができます。たとえば:

* **ツールを接続:** [Claude Code](/docs/jp/ji-ben/claude-code.md), [Codex](/docs/jp/ji-ben/codex.md), [ウェブ検索](/docs/jp/xin-zhe/studio/chat.md#advanced-web-search), [MCP](/docs/jp/ji-ben/mcp.md) など
* **モデルを学習:** テキスト、拡散、 [埋め込みをファインチューニング](/docs/jp/ji-ben/embedding-finetuning.md)、その他
* **メディアを生成:** 作成して学習 [画像](/docs/jp/ji-ben/diffusion-image.md)、動画、 [TTS](/docs/jp/ji-ben/text-to-speech-tts-fine-tuning.md) をローカルで

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FRnU2breyPzalRzIHyq8U%2FScreenshot%202026-08-28%20at%2012.12.20%E2%80%AFAM.png?alt=media&amp;token=da925810-e1d3-4c06-bf27-7caad15a2330" alt=""><figcaption></figcaption></figure>
{% endstep %}
{% endstepper %}

### :llama: llama.cppでQwen3.8-Flash-Nextを実行

{% stepper %}
{% step %}
llama.cppの最新バージョンをインストールしてください。以下のビルド手順に従うこともできます。GPUがない場合、またはCPU推論だけにしたい場合は、 `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF` に変更してください。 **Apple Mac / Metalデバイスの場合**、次を設定し `-DGGML_CUDA=OFF` そのまま通常どおり続けてください - Metalサポートはデフォルトで有効です。

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

{% endstep %}

{% step %}
モデルを実行するには、次のようにします:

{% code overflow="wrap" %}

```bash
pip install -U "huggingface_hub[cli]"
hf download unsloth/Qwen3.8-Flash-Next-GGUF \
    --local-dir unsloth/Qwen3.8-Flash-Next-GGUF \
    --include "*UD-Q4_K_XL*" # 2-bitには"*IQ2_XXS*"を使用
```

{% endcode %}
{% endstep %}

{% step %}
次に実行します:

{% code overflow="wrap" %}

```bash
./llama.cpp/llama-cli \
    --model unsloth/Qwen3.8-Flash-Next-GGUF/UD-IQ1_S/Qwen3.8-Flash-Next-UD-Q4_K_XL-00001-of-00004.gguf \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.0
```

{% endcode %}
{% endstep %}
{% endstepper %}

### MTPガイド

Qwen3.8-Flashは **1.7倍高速な推論で** 、 [MTP](/docs/jp/moderu/mtp.md) （Multi-Token Prediction）を使っても精度低下なしで実行できます！MTPにより、Qwen3.8-Flashは **170 tokens/s** を1基のRTX 6000 PRO GPUで達成でき、100トークンのベースラインと比べて高速です。MTPは、1ステップごとに1トークンを生成する代わりに、モデルが先の複数トークンを一度に予測できるようにすることで推論を高速化し、特にGPUで効果的です。

Qwen3.8-FlashをMTPで実行するには、MTPは既定で有効です [Unsloth Desktop](#run-qwen3.8-flash-next-in-unsloth) 、または独自のllama.cpp PRを使用できます。

<div><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F39BmPdGOL8IlwrdQFsGh%2Fqwen38_flash_next_unsloth_ggufs_mtp_speedup_no_mtp.png?alt=media&amp;token=77c52179-821a-406b-a5ab-fd027ebe8d30" alt=""><figcaption></figcaption></figure> <figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FF9IF8IWG2DAgfLBXzhyz%2Fqwen38_flash_next_unsloth_ggufs_mtp_decode_tokens_per_s.png?alt=media&amp;token=def0f8fb-5268-4e33-9e85-0a1fed4a1156" alt=""><figcaption></figcaption></figure></div>

古いMacのようにメモリ帯域幅が低いデバイスでは、得られる効果は小さくなります。共有MTPモジュールも作成しました（embed\_tokensを除外し、メインモデルと共有）ので、ディスク容量、RAM、VRAMの使用量を約1〜2GB節約できます。

| MTPタイプ   | 通常のMTP  | 共有MTP   | 節約量     |
| -------- | ------- | ------- | ------- |
| BF16     | 7.77 GB | 5.23 GB | 2.54 GB |
| Q8\_0    | 4.14 GB | 2.79 GB | 1.35 GB |
| Q4\_K\_M | 2.79 GB | 1.91 GB | 880 MB  |

3-bitのMTP量子化版は91GB RAMで動作するため、96GB RAM/共有メモリ搭載デバイスが最適です。\
**表: MTPハードウェア要件** （単位 = 合計メモリ: RAM + VRAM、または共有メモリ）

<table><thead><tr><th>1-bit</th><th>2-bit</th><th>3-bit</th><th>4-bit</th><th width="128">5-bit</th><th>8-bit</th><th>BF16</th></tr></thead><tbody><tr><td>76 GB</td><td>80 GB</td><td>91 GB</td><td>97-115 GB</td><td>164 GB</td><td>200 GB</td><td>355 GB</td></tr></tbody></table>

#### MTP Qwen3.8-Flashを実行

Qwen3.8-FlashをMTP付きで実行するには、必要なのは [**Unsloth Desktopをインストールすること**](#run-qwen3.8-flash-next-in-unsloth) 、またはUnslothの最新版に更新してからモデルを再ダウンロードするか、MTPファイルをダウンロードすることだけです。llama.cppの手順は下を参照してください。

{% columns %}
{% column %}
Unsloth Desktopは次で動作します [macOS](/docs/jp/meru/install/mac.md), [の場合は](/docs/jp/meru/install/windows-installation.md)、および [Linux](/docs/jp/meru/install/linux.md).

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">Unslothをダウンロード</a>

* <i class="fa-apple">:apple:</i> [macOS用をダウンロード](https://unsloth.ai/download/mac)
* <i class="fa-windows">:windows:</i> [Windows用をダウンロード](https://unsloth.ai/download/windows)
* <i class="fa-linux">:linux:</i> [Linux用をダウンロード](https://unsloth.ai/download/linux)

Unsloth Desktopでは、draftトークン数の変更やMTPのカスタマイズもできます。右サイドバーの詳細設定を使い、「詳細設定」を有効にすると、MTP / Ngramのspeculative decoding、draftトークン数などを選択できます:
{% endcolumn %}

{% column %}

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FqKy281quNOdn5toIr5am%2Fimage.png?alt=media&amp;token=bf0f6f00-1192-4494-977c-1bf4fa346fa0" alt="" width="305"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

#### MTP Llama.cppガイド

{% code overflow="wrap" %}

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone --branch qwen4exp/mtp https://github.com/danielhanchen/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

{% endcode %}

次に共有MTPモジュールをダウンロードします:

{% code overflow="wrap" %}

```bash
pip install -U "huggingface_hub[cli]"
hf download unsloth/Qwen3.8-Flash-Next-GGUF \
    --local-dir unsloth/Qwen3.8-Flash-Next-GGUF \
    --include "*mtp-Qwen3.8-Flash-Next-shared-Q8_0.gguf*"
```

{% endcode %}

そしてそれをllama-serverで使うには:

{% code overflow="wrap" %}

```bash
llama.cpp/llama-server \
    -hf unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL \
    -md unsloth/Qwen3.8-Flash-Next-GGUF/MTP/mtp-Qwen3.8-Flash-Next-shared-Q8_0.gguf \
    --spec-type draft-mtp --spec-draft-n-max 5
```

{% endcode %}

### 📊 ベンチマーク

GGUF量子化ベンチマークについては、上記の [量子化分析](#quantization-analysis) または [Dynamic V3.0記事をご覧ください。](/docs/jp/ji-ben/dynamic-3.0-ggufs.md).

<div><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FJFGDUmmWUvJMD0eCUbiE%2Fqwennextbe.jpg?alt=media&amp;token=0be96d30-9f51-41f3-8e3a-3366a4fdfb93" alt=""><figcaption></figcaption></figure> <figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FpQBzoQNziZtrFDHCyN3t%2Fbench2max.jpg?alt=media&amp;token=3d6adbe3-6c8b-4cb4-937f-f434ebd7f106" alt=""><figcaption></figcaption></figure></div>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://unsloth.ai/docs/jp/moderu/qwen3.8-next.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.