> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/zh/mo-xing/qwen3.8-next.md). # Qwen3.8-Flash-Next：如何本地运行 Qwen3.8 本地运行指南。 Qwen3.8-Flash-Next 是一款新的开放权重、 **125B 参数** 来自 Qwen 的 MoE 多模态模型。基于新的 Qwen4 架构，支持 262K 上下文窗口和高级推理。 [Qwen3.8](/docs/zh/mo-xing/qwen3.8.md)-Flash-Next 的表现优于 Claude-4.6-Opus（Max），并且可以在以下设备上本地运行： **75GB RAM**/统一内存，无需 GPU VRAM。要运行该模型，请使用我们的 [GGUF 文件](https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF) 通过 llama.cpp 或 [Unsloth Desktop](/docs/zh/desktop.md)。感谢 Qwen 提供首发访问权限。 {% columns %} {% column %} **1 位是 75GB** 并对 Ngram / PLE 使用 4 位。这是 **小 79%** 比 BF16（355GB）更小，并且保留了 **80% 的 top-1% 准确率**. 运行 Qwen3.8-Flash下载 Unsloth {% hint style="success" %} [**MTP**](#mtp-guide) 已上线！在以下环境中运行 Qwen3.8-Flash，可快 1.3-1.7 倍： [Unsloth Desktop](#run-qwen3.8-flash-next-in-unsloth)! {% endhint %} {% endcolumn %} {% column %}

在 Unsloth 中运行的 4 位 Qwen3.8-Flash

{% endcolumn %} {% endcolumns %} ### :gear: 使用指南 无论你运行 **Qwen3.8-Flash-Next** 在 CPU + 系统内存上或 GPU + VRAM 上运行，差异可能相对很小。其独特架构允许使用 RAM 或统一内存进行推理，性能更接近 GPU VRAM，这与其他模型通常不同。因此它尤其适合 Mac、NVIDIA DGX Spark 系统以及其他大内存容量设备。 你至少需要 **75 GB 的 RAM 或统一内存** 来运行该模型。其最小的 1 位量化版本比通常更大，这是因为新增了 Ngram 层或每层嵌入，它们类似查找表。不过这也意味着量化没有那么激进，使模型比更高强度量化的模型保留了更多原始准确率。你还可以将 PLE / Ngram 层卸载到 SSD 并使用 mmap，从而减少 CPU 和 GPU VRAM 的占用。 #### Qwen3.8-Flash-Next 要求： 最小的量化版本可在 75GB RAM 上运行，因此最好使用 96GB RAM/统一内存设备。\ **表：硬件要求** （单位 = 总内存：RAM + VRAM，或统一内存）
1 位2 位3 位4 位5 位8 位BF16
75 GB79 GB90 GB96-114 GB163 GB200 GB355 GB
{% hint style="info" %} 如果你想使用 [MTP](/docs/zh/mo-xing/mtp.md) 以获得更快推理，请准备额外 1-2GB 的余量。 {% endhint %} ### 推荐设置 Qwen3.8-Flash-Next 是一个 **混合思考** 模型，在思考模式和非思考模式下有不同的默认设置。默认启用 extra high，因此如果你想要更短的思考轨迹，可以 [调整思考力度](#thinking--preserve-thinking): | 参数 | 思考模式 | 指令（非思考）模式 | | -------------------- | ---- | --------- | | `temperature` | 1.0 | 0.7 | | `top_p` | 0.95 | 0.80 | | `top_k` | 20 | 20 | | `min_p` | 0.0 | 0.0 | | `presence_penalty` | 0.0 | 1.5 | | `repetition_penalty` | 1.0 | 1.0 | * 上下文长度 = 最多 `262,144` * 思考模式： `temperature=1.0`, `top_p=0.95`, `top_k=20`, `min_p=0.0`, `presence_penalty=0.0`, `repetition_penalty=1.0` * 指令（或非思考）模式： `temperature=0.7`, `top_p=0.80`, `top_k=20`, `min_p=0.0`, `presence_penalty=1.5`, `repetition_penalty=1.0` ### 💡 思考 + 保留思考 {% columns %} {% column %} Qwen3.8-Flash-Next 具有 **保留思考** 它会保留上一轮对话中的思考轨迹。这会增加你使用的 token 数量，但可能提高连续对话中的准确性。 [Unsloth](#run-qwen3.8-in-unsloth-desktop) 为 Qwen3.8 提供“Think”和“保留思考”切换开关（见右侧）： {% endcolumn %} {% column %}
{% endcolumn %} {% endcolumns %} Qwen3.8-Flash-Next 支持 `reasoning_effort`，可用于调整推理深度并控制成本。这些切换在 Unsloth 中会自动启用： * `xhigh` （默认）：适用于需要深入分析的复杂任务 * `medium`：在准确性和速度之间取得平衡 * `low`：高效推理，优化速度和成本 * 无 {% hint style="warning" %} 要更改[ 思考 / 推理](#how-to-enable-or-disable-reasoning-and-thinking) 力度，请在 `unsloth run` 或 `llama-server`，请使用 `--chat-template-kwargs '{"reasoning_effort":"medium"}'` 如果你使用的是 **Windows** Powershell，请使用： `--chat-template-kwargs "{\"reasoning_effort\":\"medium\"}"` 将 `medium` 更改为你所需的推理级别。 {% endhint %} ### 量化分析 我们对 Qwen3.8-Flash 的量化版本进行了 KLD 测试，并表明在磁盘空间使用减少 79% 的情况下，能够恢复 80% 的 top-1% 准确率。新架构使用 PLE / Ngram，而这些部分不会被量化得那么厉害（最低 4 位），因为它们具有随机访问模式，过度量化会损害模型。
| 量化版本 | GB | top-1% | 平均 KLD | 99.9% KLD | | ------------ | ----- | ------ | -------- | --------- | | UD-IQ1\_S | 72.5 | 77.325 | 0.396070 | 7.2126 | | UD-IQ1\_M | 74.5 | 79.691 | 0.314739 | 6.1965 | | UD-Q2\_K\_XL | 78.9 | 82.715 | 0.224607 | 4.9121 | | UD-IQ3\_XXS | 82.0 | 85.414 | 0.165120 | 4.0375 | | UD-Q3\_K\_XL | 90.0 | 88.315 | 0.106504 | 3.0538 | | UD-IQ4\_XS | 93.7 | 89.554 | 0.083630 | 2.3677 | | UD-Q4\_K\_XL | 111.3 | 92.255 | 0.046893 | 1.5468 | | UD-Q5\_K\_XL | 158.3 | 93.680 | 0.030415 | 1.0036 | | UD-Q6\_K\_XL | 169.2 | 94.089 | 0.027091 | 0.8416 | | Q8\_0 | 188.2 | 94.122 | 0.026574 | 0.8118 | ## 运行 Qwen3.8-Flash-Next 指南 你现在可以在 Unsloth Desktop 和 llama.cpp 中运行 Qwen3.8-Flash-Next。可随意更改量化类型。 * Hugging Face： [Qwen3.8-Flash-Next-**GGUF**](https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF) * ModelScope： [Qwen3.8-Flash-Next-GGUF](https://www.modelscope.cn/models/unsloth/Qwen3.8-Flash-Next-GGUF) 在 Unsloth Desktop 中运行在 llama.cpp 中运行MTP 指南 {% hint style="success" %} Qwen3.8-Flash-Next 现在可在以下环境中本地运行： [Unsloth Desktop](#run-qwen3.8-flash-next-in-unsloth)! {% endhint %} ### 🦥 在 Unsloth 中运行 Qwen3.8-Flash-Next Qwen3.8-Flash-Next 现在可以在以下环境中运行： [Unsloth Desktop](#run-qwen3.8-in-unsloth-desktop)，这是一个用于本地 AI 的开源 UI 应用。 **Unsloth 会自动卸载到 RAM 并检测多 GPU 配置**。使用 Unsloth Desktop，你可以在以下平台上本地运行模型： **MacOS、Windows**、Linux，以及： {% columns %} {% column %} * 搜索、下载、 [运行 GGUF 文件](/docs/zh/xin/studio.md#run-models-locally)、MLX 和 safetensor 模型 * [**自我修复** 工具调用](/docs/zh/xin/studio/chat.md#auto-healing-tool-calling) + **网页搜索** * [**代码执行**](/docs/zh/desktop.md#code-execution) （Python、Bash） * [自动推理](https://unsloth.ai/docs/desktop#feature-deep-dive) 参数调优（temp、top-p 等） * 通过 MLX 和 llama.cpp 实现快速 CPU + GPU 推理 * [训练 LLM](/docs/zh/xin/studio.md#no-code-training) 速度快 2 倍，VRAM 占用减少 70% {% endcolumn %} {% column %}
{% endcolumn %} {% endcolumns %} {% stepper %} {% step %} #### 安装 Unsloth 最简单的开始方式是下载 [Unsloth Desktop 应用](/docs/zh/desktop.md)。支持 [macOS](/docs/zh/kai-shi-shi-yong/install/mac.md), [Windows](/docs/zh/kai-shi-shi-yong/install/windows-installation.md)，以及 [Linux](/docs/zh/kai-shi-shi-yong/install/linux.md). 下载 Unsloth * :apple: [下载 macOS 版本](https://unsloth.ai/download/mac) * :windows: [下载 Windows 版本](https://unsloth.ai/download/windows) * :linux: [下载 Linux 版本](https://unsloth.ai/download/linux) 或者，如果你更喜欢手动安装： MacOS、Linux、WSL： ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` Windows PowerShell： ```bash irm https://unsloth.ai/install.ps1 | iex ``` {% endstep %} {% step %} #### 搜索并下载 Qwen3.8-Flash-Next 前往 [Unsloth Chat](/docs/zh/xin/studio/chat.md) 或前往 Model hub，在搜索栏中搜索 Qwen3.8-Flash，并下载你想要的模型和量化版本。
{% endstep %} {% step %} #### 运行 Qwen3.8-Flash-Next MTP 会自动启用，但你可以将其关闭。使用 Unsloth 时，推理参数应会自动设置，不过你仍然可以手动更改。你还可以编辑上下文长度、聊天模板和其他设置。 更多信息请查看我们的 [Unsloth 推理指南](/docs/zh/xin/studio/chat.md). 例如，使用 Unsloth Desktop 搭配 397GB 的 Qwen3.8（体积缩小 91%）可以切换思考模式，支持内联画布、网页搜索、代码执行等更多功能。
{% endstep %} {% step %} #### 通过 Unsloth API 部署 Qwen3.8-Flash-Next 你可以使用 `unsloth run` 命令，并使用以下方式通过 API 部署 Qwen3.8： `llama-server` 运行时标志，包括上下文大小、GPU 层、线程、采样、网络和工具配置。更多信息请参阅我们的 [API 文档](/docs/zh/ji-chu/api.md) 或 [unsloth start](/docs/zh/ji-cheng/unsloth-start.md). {% code overflow="wrap" %} ```bash unsloth run --model unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL ``` {% endcode %} {% endstep %} {% step %} #### Unsloth 现在已就绪 你还可以通过 Unsloth Desktop 使用 Qwen3.8-Flash-Next 做许多其他事情，例如： * **连接工具：** [Claude Code](/docs/zh/ji-chu/claude-code.md), [Codex](/docs/zh/ji-chu/codex.md), [网页搜索](/docs/zh/xin/studio/chat.md#advanced-web-search), [MCP](/docs/zh/ji-chu/mcp.md) 等等 * **训练模型：** 微调文本、扩散模型、 [嵌入](/docs/zh/ji-chu/embedding-finetuning.md)等更多内容 * **生成媒体：** 创建并训练 [图像](/docs/zh/ji-chu/diffusion-image.md)、视频、 [TTS](/docs/zh/ji-chu/text-to-speech-tts-fine-tuning.md) 本地
{% endstep %} {% endstepper %} ### :llama: 在 llama.cpp 中运行 Qwen3.8-Flash-Next {% stepper %} {% step %} 安装最新版本的 llama.cpp。你也可以按照下面的构建说明进行操作。将 `-DGGML_CUDA=ON` 改为 `-DGGML_CUDA=OFF` 如果你没有 GPU，或者只想进行 CPU 推理。 **对于 Apple Mac / Metal 设备**，设置 `-DGGML_CUDA=OFF` 然后照常继续——Metal 支持默认已开启。 ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` {% endstep %} {% step %} 要运行该模型，你可以这样做： {% code overflow="wrap" %} ```bash pip install -U "huggingface_hub[cli]" hf download unsloth/Qwen3.8-Flash-Next-GGUF \\ --local-dir unsloth/Qwen3.8-Flash-Next-GGUF \\ --include "*UD-Q4_K_XL*" # 2 位请使用 "*IQ2_XXS*" ``` {% endcode %} {% endstep %} {% step %} 然后运行： {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \\ --model unsloth/Qwen3.8-Flash-Next-GGUF/UD-IQ1_S/Qwen3.8-Flash-Next-UD-Q4_K_XL-00001-of-00004.gguf \\ --temp 1.0 \\ --top-p 0.95 \\ --top-k 20 \\ --min-p 0.0 ``` {% endcode %} {% endstep %} {% endstepper %} ### MTP 指南 Qwen3.8-Flash 可实现 1.3 到 **1.7 倍更快的推理** 通过 [MTP](/docs/zh/mo-xing/mtp.md) （多 token 预测），且不会降低准确率！MTP 使 Qwen3.8-Flash 能达到 **170 tokens/s** 在 1 张 RTX 6000 PRO GPU 上，相比 100 token 基线。MTP 通过让模型一次预测多个后续 token，而不是每步生成一个 token，从而加速推理，并且在 GPU 上尤其有效。 要使用 MTP 运行 Qwen3.8-Flash，MTP 默认已在以下环境中启用： [Unsloth Desktop](#run-qwen3.8-flash-next-in-unsloth) 或者你也可以使用我们定制的 llama.cpp PR。
在内存带宽较低的设备上，例如较老的 Mac，收益会更小。我们创建了共享 MTP 模块（不包含 embed\_tokens，并与主模型共享），可将磁盘空间、RAM 和 VRAM 的占用节省约 1 到 2GB。 | MTP 类型 | 通用 MTP | 共享 MTP | 节省 | | -------- | ------- | ------- | ------- | | BF16 | 7.77 GB | 5.23 GB | 2.54 GB | | Q8\_0 | 4.14 GB | 2.79 GB | 1.35 GB | | Q4\_K\_M | 2.79 GB | 1.91 GB | 880 MB | 3 位 MTP 量化可在 91GB RAM 上运行，因此最好使用 96GB RAM/统一内存设备。\ **表：MTP 硬件要求** （单位 = 总内存：RAM + VRAM，或统一内存）
1 位2 位3 位4 位5 位8 位BF16
76 GB80 GB91 GB97-115 GB164 GB200 GB355 GB
#### 运行 MTP Qwen3.8-Flash 要使用 MTP 运行 Qwen3.8-Flash，你只需要 [**安装 Unsloth Desktop**](#run-qwen3.8-flash-next-in-unsloth) 或者更新到最新版本的 Unsloth，然后重新下载模型或下载 MTP 文件。有关 llama.cpp 的说明请见下文。 {% columns %} {% column %} Unsloth Desktop 支持 [macOS](/docs/zh/kai-shi-shi-yong/install/mac.md), [Windows](/docs/zh/kai-shi-shi-yong/install/windows-installation.md)，以及 [Linux](/docs/zh/kai-shi-shi-yong/install/linux.md). 下载 Unsloth * :apple: [下载 macOS 版本](https://unsloth.ai/download/mac) * :windows: [下载 Windows 版本](https://unsloth.ai/download/windows) * :linux: [下载 Linux 版本](https://unsloth.ai/download/linux) 在 Unsloth Desktop 中，你还可以更改 draft token 数量或自定义 MTP。使用右侧边栏中的高级设置，并启用“高级设置”，即可选择 MTP / Ngram 推测解码、draft token 数量等： {% endcolumn %} {% column %}
{% endcolumn %} {% endcolumns %} #### MTP Llama.cpp 指南 {% code overflow="wrap" %} ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone --branch qwen4exp/mtp https://github.com/danielhanchen/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` {% endcode %} 然后下载共享 MTP 模块： {% code overflow="wrap" %} ```bash pip install -U "huggingface_hub[cli]" hf download unsloth/Qwen3.8-Flash-Next-GGUF \\ --local-dir unsloth/Qwen3.8-Flash-Next-GGUF \\ --include "*mtp-Qwen3.8-Flash-Next-shared-Q8_0.gguf*" ``` {% endcode %} 然后使用 llama-server： {% code overflow="wrap" %} ```bash llama.cpp/llama-server \\ -hf unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL \\ -md unsloth/Qwen3.8-Flash-Next-GGUF/MTP/mtp-Qwen3.8-Flash-Next-shared-Q8_0.gguf \\ --spec-type draft-mtp --spec-draft-n-max 5 ``` {% endcode %} ### 📊 基准测试 关于 GGUF 量化基准测试，请查看上面的 [量化分析](#quantization-analysis) 或 [Dynamic V3.0 文章](/docs/zh/ji-chu/dynamic-3.0-ggufs.md).
--- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://unsloth.ai/docs/zh/mo-xing/qwen3.8-next.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.