> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/moderu/qwen3.8-next.md).

# Qwen3.8-Flash-Next: ローカルでの実行方法

Qwen3.8-Flash-Next は、新しいオープンウェイトの **125B パラメータ** Qwen の MoE マルチモーダルモデルです。新しい Qwen4 アーキテクチャ上に構築され、262K のコンテキストウィンドウと高度な推論をサポートします。このモデルは Claude-4.6-Opus (Max) を上回り、以下の機器でローカル実行できます **75GB RAM**／統合メモリで、GPU VRAM は不要です。モデルを実行するには、弊社の [GGUF](https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF) を、弊社の特定の [llama.cpp PR](https://github.com/ggml-org/llama.cpp/pull/27742) と一緒に [Unsloth Desktop](/docs/jp/desktop.md) でも使用してください。day zero アクセスを提供してくださった Qwen に感謝します。

**1-bit は 75GB** で、Ngram / PLE に 4-bit を使用します。これは **79% 小さく** 、BF16 (355GB) よりも小さく、 **80% の top-1% 精度**.

<a href="/pages/a747d6233aecf72068d740d9effe821812e647b3#run-qwen3.8-flash-next-in-unsloth" class="button primary">Qwen3.8-Flash-Next 実行ガイド</a><a href="https://unsloth.ai/download" class="button secondary">Unsloth をダウンロード</a>

{% hint style="success" %}
Qwen3.8-Flash-Next がローカルで実行可能になりました！ さらに多くの量子化が近日公開...
{% endhint %}

### :gear: 使用ガイド

あなたが **Qwen3.8-Flash-Next** をシステム RAM 搭載の CPU で実行する場合でも、VRAM 搭載の GPU で実行する場合でも、差は比較的小さいかもしれません。その独自のアーキテクチャにより、RAM または統合メモリを使った推論が可能で、多くの他モデルより GPU VRAM に近い性能を実現できます。そのため、特に Mac、NVIDIA DGX Spark システム、その他大容量メモリを備えたデバイスに適しています。

少なくとも **75 GB の RAM または統合メモリ** が必要です。最小の 1-bit 量子化版は、新しい Ngram 層や各層埋め込み（ルックアップテーブルのようなもの）のため、通常より大きくなっています。ただし、これは量子化があまり強くないことも意味し、より強く量子化されたモデルよりも元の精度を多く保持できます。PLE / Ngram 層を SSD にオフロードし、mmap を使うことで、CPU と GPU VRAM の使用量をさらに減らすこともできます。

#### Qwen3.8-Flash-Next の要件:

最小の量子化版は 75GB RAM で動作するため、96GB RAM/統合メモリのデバイスが最適です。\
**表: ハードウェア要件** （単位 = 合計メモリ: RAM + VRAM、または統合メモリ）

<table><thead><tr><th>1-bit</th><th>2-bit</th><th>3-bit</th><th>4-bit</th><th width="128">5-bit</th><th>8-bit</th><th>BF16</th></tr></thead><tbody><tr><td>75 GB</td><td>79 GB</td><td>90 GB</td><td>112 GB</td><td>200 GB</td><td>270 GB</td><td>355 GB</td></tr></tbody></table>

### 推奨設定

Qwen3.8-Flash-Next は **ハイブリッド思考** モデルで、思考モードと非思考モードでデフォルト設定が異なります。Extra high がデフォルトで有効になっているため、より短い思考トレースを望む場合は、 [思考の労力を調整](#thinking--preserve-thinking):

| パラメータ                | 思考モード | Instruct（非思考）モード |
| -------------------- | ----- | ---------------- |
| `temperature`        | 1.0   | 0.7              |
| `top_p`              | 0.95  | 0.80             |
| `top_k`              | 20    | 20               |
| `min_p`              | 0.0   | 0.0              |
| `presence_penalty`   | 0.0   | 1.5              |
| `repetition_penalty` | 1.0   | 1.0              |

* コンテキスト長 = 最大 `262,144`
* 思考モード: `temperature=1.0`, `top_p=0.95`, `top_k=20`, `min_p=0.0`, `presence_penalty=0.0`, `repetition_penalty=1.0`
* Instruct（または非思考）モード: `temperature=0.7`, `top_p=0.80`, `top_k=20`, `min_p=0.0`, `presence_penalty=1.5`, `repetition_penalty=1.0`

### 💡 思考 + 思考保持

{% columns %}
{% column %}
Qwen3.8-Flash-Next には **思考保持** があり、前回の会話の思考トレースを残します。これにより使用トークン数は増えますが、継続会話での精度向上が期待できます。 [Unsloth](#run-qwen3.8-in-unsloth-desktop) には Qwen3.8 用の「Think」と思考保持の切り替えがあります（右を参照）:
{% endcolumn %}

{% column %}

<figure><img src="/files/ad8cdb86047d02070b31aefc71308347ed4a938e" alt=""><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

Qwen3.8-Flash-Next には `reasoning_effort`のサポートがあり、推論の深さを調整しコストを制御できます。これらの切り替えは Unsloth で自動的に有効になります:

* `xhigh` （デフォルト）: 十分な分析を要する複雑なタスク向け
* `medium`: 精度と速度のバランス
* `low`: 速度とコストを最適化する効率的な推論
* none

{% hint style="warning" %}
を変更するには[ 思考 / 推論](#how-to-enable-or-disable-reasoning-and-thinking) の労力を `unsloth run` または `llama-server`で、 `--chat-template-kwargs '{"reasoning_effort":"medium"}'`

もし **Windows** の PowerShell を使っているなら、次を使用してください: `--chat-template-kwargs "{\"reasoning_effort\":\"medium\"}"`

変更し `medium` て、希望する推論レベルにしてください。
{% endhint %}

### 量子化分析

Qwen3.8-Flash の量子化版に対して KLD を実行し、ディスク使用量を 79% 削減しつつ 80% の top-1% 精度回復が可能であることを示しました。新しいアーキテクチャは PLE / Ngram を使用しており、これらはランダムアクセスパターンのためあまり強く量子化されていません（最低 4-bit）。強く量子化するとモデルに悪影響を与えるためです。

<div><figure><img src="/files/e1959f05d633baeeb872c0f25db8b94faa798eb9" alt=""><figcaption></figcaption></figure> <figure><img src="/files/fd59c8bd4edfddece3489941dece6b2f09b37c04" alt=""><figcaption></figcaption></figure></div>

| quant        | size\_gb | mean\_kld | same\_top\_pct |
| ------------ | -------- | --------- | -------------- |
| UD-Q4\_K\_XL | 111.3    | 0.044715  | 93.481         |
| UD-IQ4\_XS   | 93.7     | 0.079162  | 91.089         |
| UD-Q3\_K\_XL | 90       | 0.099694  | 90.387         |
| UD-IQ3\_XXS  | 82       | 0.156505  | 87.57          |
| UD-Q2\_K\_XL | 78.9     | 0.213343  | 85.163         |
| UD-IQ1\_M    | 74.5     | 0.302159  | 82.396         |
| UD-IQ1\_S    | 72.5     | 0.37514   | 80.239         |

## Qwen3.8-Flash-Next 実行ガイド

まもなく、弊社の特定の PR を使って Unsloth Desktop と llama.cpp で Qwen3.8-Flash-Next を実行できるようになります。量子化タイプは自由に変更できます。

* Hugging Face: [Qwen3.8-Flash-Next-**GGUF**](https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF)
* ModelScope: [Qwen3.8-Flash-Next-GGUF](https://www.modelscope.cn/models/unsloth/Qwen3.8-Flash-Next-GGUF)

<a href="/pages/c107b4bfdcfe3f60b5f50e7db1acc53b4a2496d1#run-qwen3.8-in-unsloth-desktop" class="button primary">Unsloth Desktop で実行</a><a href="/pages/c107b4bfdcfe3f60b5f50e7db1acc53b4a2496d1#run-qwen3.8-in-llama.cpp" class="button secondary">llama.cpp で実行</a>

### 🦥 Unsloth で Qwen3.8-Flash-Next を実行

Qwen3.8-Flash-Next はまもなく [Unsloth Desktop](#run-qwen3.8-in-unsloth-desktop)、ローカル AI 向けのオープンソース UI アプリで実行できるようになります。 **Unsloth は自動的に RAM にオフロードし、マルチ GPU 構成を検出します**。Unsloth Desktop を使えば、以下の環境でモデルをローカル実行できます **MacOS、Windows**、Linux および:

{% columns %}
{% column %}

* 検索、ダウンロード、 [GGUF を実行](/docs/jp/xin-zhe/studio.md#run-models-locally) および safetensor モデル
* [**自己修復** ツール呼び出し](/docs/jp/xin-zhe/studio/chat.md#auto-healing-tool-calling) + **ウェブ検索**
* [**コード実行**](/docs/jp/desktop.md#code-execution) （Python、Bash）
* [自動推論](https://unsloth.ai/docs/desktop#feature-deep-dive) パラメータ調整（temp、top-p など）
* MLX と llama.cpp による高速な CPU + GPU 推論
* [LLM を学習](/docs/jp/xin-zhe/studio.md#no-code-training) VRAM 70% 削減で 2 倍高速
  {% endcolumn %}

{% column %}

<figure><img src="/files/4d290e6db3084061982a4dfe5ece693546bb048f" alt=""><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

{% stepper %}
{% step %}

#### Unsloth をインストール

始める最も簡単な方法は、 [Unsloth Desktop アプリ](/docs/jp/desktop.md)をダウンロードすることです。 [macOS](/docs/jp/meru/install/mac.md), [Windows](/docs/jp/meru/install/windows-installation.md)、および [Linux](/docs/jp/meru/install/linux.md).

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">Unsloth をダウンロード</a>

* <i class="fa-apple">:apple:</i> [macOS 用をダウンロード](https://unsloth.ai/download/mac)
* <i class="fa-windows">:windows:</i> [Windows 用をダウンロード](https://unsloth.ai/download/windows)
* <i class="fa-linux">:linux:</i> [Linux 用をダウンロード](https://unsloth.ai/download/linux)

または、手動でインストールしたい場合:

MacOS、Linux、WSL:

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

Windows PowerShell:

```bash
irm https://unsloth.ai/install.ps1 | iex
```

{% endstep %}

{% step %}

#### Qwen3.8-Flash-Next を検索してダウンロード

へ移動 [Unsloth Chat](/docs/jp/xin-zhe/studio/chat.md) または Model hub に移動し、検索バーで Qwen3.8-Flash を検索して、希望するモデルと量子化版をダウンロードしてください。
{% endstep %}

{% step %}

#### Qwen3.8-Flash-Next を実行

Unsloth を使用すると推論パラメータは自動設定されるはずですが、手動で変更することもできます。コンテキスト長、チャットテンプレート、その他の設定も編集できます。

詳細については、弊社の [Unsloth 推論ガイド](/docs/jp/xin-zhe/studio/chat.md).

たとえば、397GB の Qwen3.8（91% 小型化）を Unsloth Desktop で使うと、思考モードの切り替え、インラインキャンバス、ウェブ検索、コード実行などを有効にできます。

<figure><img src="/files/b5f7f89e11c0b8aad8b4a8dcf82f7ab4a70960c6" alt="" width="563"><figcaption><p>Qwen3.8 2.4T の動的 1-bit 397GB 91% 小型化 GGUF を Unsloth Desktop で使用</p></figcaption></figure>
{% endstep %}

{% step %}

#### Unsloth API で Qwen3.8-Flash-Next を提供

あなたは `unsloth run` コマンドを使って、 `llama-server` ランタイムフラグを用い、コンテキストサイズ、GPU 層、スレッド、サンプリング、ネットワーク、ツール設定を含めて API 経由で Qwen3.8 を提供できます。詳細は弊社の [API ドキュメント](/docs/jp/ji-ben/api.md) または [unsloth start](/docs/jp/tong-he/unsloth-start.md).

{% code overflow="wrap" %}

```bash
unsloth run --model unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL
```

{% endcode %}
{% endstep %}

{% step %}

#### Unsloth の準備ができました

Unsloth Desktop を通じて Qwen3.8-Flash-Next で、次のようなさまざまなこともできます:

* **ツール接続:** [Claude Code](/docs/jp/ji-ben/claude-code.md), [Codex](/docs/jp/ji-ben/codex.md), [ウェブ検索](/docs/jp/xin-zhe/studio/chat.md#advanced-web-search), [MCP](/docs/jp/ji-ben/mcp.md) など
* **モデルを学習:** テキスト、拡散、 [埋め込み](/docs/jp/ji-ben/embedding-finetuning.md)などをファインチューニング
* **メディア生成:** 作成して学習 [画像](/docs/jp/ji-ben/diffusion-image.md)、動画、 [TTS](/docs/jp/ji-ben/text-to-speech-tts-fine-tuning.md) をローカルで

<figure><img src="/files/035929e067f35cbee9022cc5377ec95bec2f57c1" alt=""><figcaption></figcaption></figure>
{% endstep %}
{% endstepper %}

### :llama: llama.cpp で Qwen3.8-Flash-Next を実行

{% stepper %}
{% step %}
ここでは弊社の特定の llama.cpp PR を使う必要があります [こちら](https://github.com/ggml-org/llama.cpp/pull/27742)。下のビルド手順にも従えます。変更してください `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF` に、GPU がない場合や CPU 推論だけを使いたい場合。 **Apple Mac / Metal デバイスの場合**、 `-DGGML_CUDA=OFF` を設定し、その後は通常どおり続けてください。Metal サポートはデフォルトで有効です。

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp/ && git -C llama.cpp fetch origin pull/27742/head:pr-27742 && git -C llama.cpp checkout pr-27742
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

{% endstep %}

{% step %}
モデルを実行するには、次のようにします:

{% code overflow="wrap" %}

```bash
pip install -U "huggingface_hub[cli]"
hf download unsloth/Qwen3.8-Flash-Next-GGUF \
    --local-dir unsloth/Qwen3.8-Flash-Next-GGFF \
    --include "*IQ1_S*" # 2-bit の場合は "*IQ2_XXS*" を使用
```

{% endcode %}
{% endstep %}

{% step %}
続いて、これを実行します:

{% code overflow="wrap" %}

```bash
./llama.cpp/llama-cli \
    --model unsloth/Qwen3.8-Flash-Next-GGUF/UD-IQ1_S/Qwen3.8-Flash-Next-UD-IQ1_S-00001-of-00003.gguf \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.0
```

{% endcode %}
{% endstep %}
{% endstepper %}

### 📊 ベンチマーク

GGUF の量子化ベンチマークについては、上記の [量子化分析](#quantization-analysis) または [Dynamic V3.0 記事をご覧ください](/docs/jp/ji-ben/dynamic-3.0-ggufs.md).

<div><figure><img src="/files/f5d186794e6bc834f3f505c7fea1e634f8a9c0c0" alt=""><figcaption></figcaption></figure> <figure><img src="/files/c34aac03ee5209884651c33220abaeb0ed2abf59" alt=""><figcaption></figcaption></figure></div>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://unsloth.ai/docs/jp/moderu/qwen3.8-next.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.