> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/zh/mo-xing/glm-5.3-flash.md).

# GLM-5.3-Flash：如何本地运行

运行 Z.ai 新的 GLM-5.3-Flash，也就是 ox-alpha 模型。

GLM-5.3-Flash，也称为 **`ox-alpha`**，是 Z.ai 推出的新 320B 参数（18B 激活）多模态开源模型， **性能优于** [GLM-5.2](/docs/zh/mo-xing/glm-5.2.md)。GLM-5.3-Flash 是 [GLM-5.3](/docs/zh/mo-xing/glm-5.3.md) 的较小版本，并可在编码和 agentic 基准上与 **Claude Opus 4.8** 相媲美。现在你可以通过 llama.cpp 或 [Unsloth](https://github.com/unslothai/unsloth)，在本地于 102GB RAM/VRAM 上运行 1-bit 模型，或在 128GB 配置上运行 3-bit 模型。感谢 Z.ai 在首日提供访问权限。

Unsloth 动态 **1-bit** （93GB）GGUF 保留了 **71% 的 top-1 准确率** 同时 **体积小 85%** ，相较于 BF16（642GB）。动态 3-bit 体积小 76%，并保留 87% 的准确率。

​​<a href="/pages/3a5c1c6250cf1929017fb9f1311b3c838f9ef057#run-glm-5.3-flash-ox-alpha-locally" class="button primary">运行 GLM-5.3-Flash 指南</a><a href="https://unsloth.ai/download" class="button secondary">下载 Unsloth</a>

{% hint style="success" %}
**9 月 4 日：** GLM-5.3-Flash 现在可在 [**3.3 倍更快的推理**](#faster-inference-and-mtp-support)**!**
{% endhint %}

{% columns %}
{% column width="50%" %}
GLM-5.3-Flash 使用 30T tokens 训练，并基于一个新训练的基础模型构建。其混合稀疏与线性注意力架构在不牺牲准确率的情况下，降低了长上下文服务成本。

你现在可以直接在 [Unsloth Desktop](#run-glm-5.3-flash-in-unsloth).
{% endcolumn %}

{% column width="50%" %}

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FqPVJA6BHcCJIkQQrDvpD%2FScreenshot%202026-08-27%20at%207.38.11%E2%80%AFAM.png?alt=media&amp;token=576a6810-3f32-4e4c-a0d8-8a84cb733a52" alt=""><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

### :gear: 使用指南

#### GLM-5.3-Flash 要求：

最小的 1-bit 量化版本可在 100GB RAM 上运行，而 3-bit 版本可在 128GB 设备上运行，例如 Mac 或 NVIDIA DGX Spark。\
**表：硬件要求** （单位 = 总内存：RAM + VRAM，或统一内存）

| 1-bit  | 2-bit  | 3-bit      | 4-bit      | 8-bit  | BF16   |
| ------ | ------ | ---------- | ---------- | ------ | ------ |
| 100 GB | 115 GB | 128-150 GB | 162-210 GB | 350 GB | 650 GB |

### 推荐设置

GLM-5.3-Flash 有 **3 种思考模式**：低、高和最大。复杂任务请使用最大思考。在 [Unsloth](#run-glm-5.2-in-unsloth-studio)中，你可以在聊天区域使用切换开关轻松选择低、高或最大思考。

大多数用例请使用这些设置：

| 默认设置（大多数任务）         | DeepSWE              |
| ------------------- | -------------------- |
| `temperature` = 1.0 | `temperature` = 0.95 |
| `top_p` = 0.95      | `top_p` = 1.0        |

* **最大上下文窗口：** `1,048,576`.

#### 更改推理力度

GLM-5.3-Flash 默认使用最大推理。它还支持推理力度，其中 `reasoning_effort` 可以是“low”、“high”或“max”。

### 更快的推理与 MTP 支持

截至 9 月 4 日，我们为首日 [llama.cpp PR](https://github.com/ggml-org/llama.cpp/pull/27754)增加了多项改进和优化。我们实现了更快的解码路径以及额外的 MTP 支持，使得在 **推理速度最高快 3.3 倍** 在长上下文长度下！

一切都可在 [Unsloth Desktop](#run-glm-5.3-flash-in-unsloth)中开箱即用，只需在需要时更新到最新版本即可。无需额外模块或 MTP 文件。或者，你也可以按照我们的 [llama.cpp](#run-glm-5.3-flash-in-llama.cpp) 指南。

<div><figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FRKSzhmcluWnoNwUxFS40%2Fimage.png?alt=media&amp;token=872cd9b0-e968-4a0d-977c-5315d0ca3e49" alt=""><figcaption></figcaption></figure> <figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F2tUYioUQhnyCv1pJTfld%2Fimage.png?alt=media&amp;token=b8bfd0de-22c8-4f30-8bfd-36656ae3c16e" alt=""><figcaption></figcaption></figure></div>

在 1xB200 上使用 GLM-5.3-Flash UD-IQ1\_S，并先忽略 MTP，我们得到：

| 测试           | 基线 tok/s | 优化后 tok/s |
| ------------ | -------: | --------: |
| pp512        |  1121.80 |    1122.0 |
| tg32         |    62.79 |     63.10 |
| tg32 @ 4096  |    53.52 |     59.50 |
| tg32 @ 16384 |    41.02 |     57.99 |
| tg32 @ 65536 |    20.66 |     48.99 |

然后一旦加入 MTP，我们看到收益更大，尤其是在更长的上下文中。不过我们应将 n 控制在 2 左右，因为更多的草稿 token 会使推理变慢。

| 提示词  | 关闭 MTP |  n=2 |  n=3 |  n=5 |
| ---- | -----: | ---: | ---: | ---: |
| 4096 |   58.6 | 86.5 | 80.2 | 63.7 |
| 16K  |   55.0 |      | 77.2 |      |

对于更短的上下文长度，我们仍能看到加速，不过最高仅快 1.6 倍。

<div><figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FmX36IJYj83OgfeQbCjh5%2Fimage.png?alt=media&amp;token=56e0ea43-df0b-47c4-8551-849921ef3913" alt=""><figcaption></figcaption></figure> <figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FCebn6JiIDQpQMSOz8nIX%2Fimage.png?alt=media&amp;token=1f76ea17-4970-45ae-b92e-3abce29628d7" alt=""><figcaption></figcaption></figure></div>

### 📈 量化分析

我们将 GLM-5.3-Flash 量化到 UD-IQ1\_S 1bit（93.09GB），与 BF16（641.64GB）相比体积小 85%，同时保留 71% 的 top-1% 准确率

动态 2-bit UD-Q2\_K\_XL 为 109GB，体积小 83%，并保留 78% 的准确率。\
动态 3-bit UD-IQ3\_XXS 为 120GB，体积小 81%，并保留 82% 的准确率。\
动态 4-bit UD-Q4\_K\_XL 为 200GB，体积小 69%，并保留 93% 的准确率。

<div><figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FHB3bFxI8Cm3IOw3CRzvR%2Fglm53_flash_dynamic_ggufs_top1_accuracy_new_data.png?alt=media&amp;token=49882cca-1643-4e81-ad64-9d53c75ab93a" alt=""><figcaption></figcaption></figure> <figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FthGU2pMvyHLSsnOal90W%2Fglm53_flash_dynamic_ggufs_kld_benchmarks_new_data.png?alt=media&amp;token=204f70ee-cae2-4a63-b958-d4ec515f4ce3" alt=""><figcaption></figcaption></figure></div>

| 量化           | 大小     | top-1 准确率 | 平均 KLD   | KLD 99.9% |
| ------------ | ------ | --------- | -------- | --------- |
| UD-IQ1\_S    | 93.09  | 70.89%    | 0.669714 | 9.1658    |
| UD-IQ1\_M    | 97.58  | 73.06%    | 0.572413 | 8.5069    |
| UD-IQ2\_XXS  | 101.84 | 76.30%    | 0.450148 | 7.5764    |
| UD-Q2\_K\_XL | 108.72 | 78.34%    | 0.380134 | 6.8412    |
| UD-IQ3\_XXS  | 120.37 | 81.63%    | 0.283772 | 5.9611    |
| UD-Q3\_K\_XL | 147.54 | 86.25%    | 0.159697 | 4.0281    |
| UD-IQ4\_XS   | 156.82 | 88.18%    | 0.116652 | 3.1014    |
| UD-Q4\_K\_XL | 199.71 | 92.22%    | 0.049294 | 1.4894    |
| UD-Q5\_K\_XL | 240.31 | 94.35%    | 0.027052 | 0.8696    |
| UD-Q6\_K\_XL | 291.83 | 95.23%    | 0.019007 | 0.6267    |

## 在本地运行 GLM-5.3-Flash（Ox-Alpha）

你现在可以在 Unsloth Desktop 和 llama.cpp 中运行 GLM-5.3-Flash（Ox-Alpha），使用我们的 [特定 PR](https://github.com/ggml-org/llama.cpp/pull/27754)。我们在演示中使用 3-bit `UD-IQ3_XXS` ，因为它适用于 128GB 设备。欢迎随意更改量化类型。

* Hugging Face： [GLM-5.3-Flash-GGUF](https://huggingface.co/unsloth/GLM-5.3-Flash-GGUF)

<a href="/pages/3a5c1c6250cf1929017fb9f1311b3c838f9ef057#run-glm-5.3-flash-in-unsloth" class="button primary">在 Unsloth Desktop 中运行</a><a href="/pages/3a5c1c6250cf1929017fb9f1311b3c838f9ef057#run-glm-5.3-flash-in-llama.cpp" class="button secondary">在 llama.cpp 中运行</a>

### 🦥 在 Unsloth 中运行 GLM-5.3-Flash

GLM-5.3-Flash 现在可以在 [Unsloth Desktop](#run-qwen3.8-in-unsloth-desktop)，这是一个用于本地 AI 的开源 UI 应用。 **Unsloth 会自动卸载到 RAM 并检测多 GPU 设置**。借助 Unsloth Desktop，你可以在本地运行模型于 **MacOS、Windows**、Linux，以及：

{% columns %}
{% column %}

* 搜索、下载、 [运行 GGUF](/docs/zh/xin/studio.md#run-models-locally)、MLX 和 safetensor 模型
* [**自我修复** 工具调用](/docs/zh/xin/studio/chat.md#auto-healing-tool-calling) + **网页搜索**
* [**代码执行**](/docs/zh/desktop.md#code-execution) （Python、Bash）
* [自动推理](https://unsloth.ai/docs/desktop#feature-deep-dive) 参数调优（temp、top-p 等）
* 通过 MLX 和 llama.cpp 实现快速 CPU + GPU 推理
* [训练 LLM](/docs/zh/xin/studio.md#no-code-training) 速度快 2 倍，VRAM 占用减少 70%
  {% endcolumn %}

{% column %}

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F6IXaXdTVyvbrnjehlxys%2Fkimik3.gif?alt=media&amp;token=31e1213b-d7da-46e9-bc7f-3a8c402513fc" alt=""><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

{% stepper %}
{% step %}

#### 安装 Unsloth

最简单的上手方式是下载 [Unsloth Desktop 应用](/docs/zh/desktop.md)。支持 [macOS](/docs/zh/kuai-su-kai-shi/install/mac.md), [Windows](/docs/zh/kuai-su-kai-shi/install/windows-installation.md)和 [Linux](/docs/zh/kuai-su-kai-shi/install/linux.md).

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">下载 Unsloth</a>

* <i class="fa-apple">:apple:</i> [下载 macOS 版](https://unsloth.ai/download/mac)
* <i class="fa-windows">:windows:</i> [下载 Windows 版](https://unsloth.ai/download/windows)
* <i class="fa-linux">:linux:</i> [下载 Linux 版](https://unsloth.ai/download/linux)

或者，如果你更喜欢手动安装：

MacOS、Linux、WSL：

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

Windows PowerShell：

```bash
irm https://unsloth.ai/install.ps1 | iex
```

{% endstep %}

{% step %}

#### 搜索并下载 GLM-5.3-Flash

前往 [Unsloth Chat](/docs/zh/xin/studio/chat.md) 或 Model hub，在搜索栏中搜索 GLM-5.3-Flash，然后下载你想要的模型和量化版本。

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FvOQkVli16S26FygKi2gw%2FScreenshot%202026-08-27%20at%204.18.11%E2%80%AFAM.png?alt=media&amp;token=df7914de-597e-43b9-8147-d568ccca0a51" alt=""><figcaption></figcaption></figure>
{% endstep %}

{% step %}

#### 运行 GLM-5.3-Flash

使用 Unsloth 时，推理参数应会自动设置，不过你仍然可以手动更改。你也可以编辑上下文长度、聊天模板和其他设置。

更多信息请查看我们的 [Unsloth 推理指南](/docs/zh/xin/studio/chat.md)。以下为 1-bit 运行：

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FwmOvZRaD61XCmMDBlHOD%2FScreenshot%202026-08-27%20at%207.08.52%E2%80%AFAM.png?alt=media&amp;token=4980f172-4323-43a0-9338-fe0e2ca749b6" alt=""><figcaption></figcaption></figure>
{% endstep %}

{% step %}

#### 通过 Unsloth API 提供 GLM-5.3-Flash 服务

你可以使用 `unsloth run` 命令，并通过以下方式使用 API 提供 GLM-5.3-Flash 服务： `llama-server` 运行时标志，包括上下文大小、GPU 层数、线程、采样、网络和工具配置。更多信息请参见我们的 [API 文档](/docs/zh/ji-chu-zhi-shi/api.md) 或 [unsloth start](/docs/zh/ji-cheng/unsloth-start.md).

{% code overflow="wrap" %}

```bash
unsloth run --model unsloth/GLM-5.3-Flash-GGUF:UD-IQ3_XXS
```

{% endcode %}
{% endstep %}

{% step %}

#### Unsloth 现已就绪

你还可以通过 Unsloth Desktop 用 GLM-5.3-Flash 做许多其他事情，例如：

* **连接工具：** [Claude Code](/docs/zh/ji-chu-zhi-shi/claude-code.md), [Codex](/docs/zh/ji-chu-zhi-shi/codex.md), [网页搜索](/docs/zh/xin/studio/chat.md#advanced-web-search), [MCP](/docs/zh/ji-chu-zhi-shi/mcp.md) 等等
* **训练模型：** 微调文本、扩散、 [嵌入](/docs/zh/ji-chu-zhi-shi/embedding-finetuning.md)等等
* **生成媒体：** 创建并训练 [图像](/docs/zh/ji-chu-zhi-shi/diffusion-image.md)、视频、 [TTS](/docs/zh/ji-chu-zhi-shi/text-to-speech-tts-fine-tuning.md) ，全部本地完成

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FNYiWxq5OX7NdPoqxp2Hu%2FScreenshot%202026-08-27%20at%2011.59.01%E2%80%AFPM.png?alt=media&amp;token=d9311caa-6935-47b3-a767-5c48e92b7c25" alt=""><figcaption></figcaption></figure>
{% endstep %}
{% endstepper %}

### :llama: 在 llama.cpp 中运行 GLM-5.3-Flash

{% stepper %}
{% step %}
我们需要使用我们的特定 llama.cpp PR [这里](https://github.com/unslothai/llama.cpp/pull/61)。你也可以按照下面的构建说明进行操作。将 `-DGGML_CUDA=ON` 改为 `-DGGML_CUDA=OFF` ，如果你没有 GPU，或者只想进行 CPU 推理。 **对于 Apple Mac / Metal 设备**，设置 `-DGGML_CUDA=OFF` 然后照常继续——Metal 支持默认开启。

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone --branch glm5next/upstream https://github.com/unslothai/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

{% endstep %}

{% step %}
要运行模型，你可以这样做：

{% code overflow="wrap" %}

```bash
pip install -U "huggingface_hub[cli]"
hf download unsloth/GLM-5.3-Flash-GGUF \
    --local-dir unsloth/GLM-5.3-Flash-GGUF \
    --include "*UD-IQ3_XXS*" # 2-bit 请使用 "*IQ2_XXS*"
```

{% endcode %}
{% endstep %}

{% step %}
然后运行它：

{% code overflow="wrap" %}

```bash
./llama.cpp/llama-cli \
    --model unsloth/GLM-5.3-Flash-GGUF/UD-IQ3_XXS/GLM-5.3-Flash-UD-IQ3_XXS-00001-of-00004.gguf \
    --temp 1.0 \
    --top-p 0.95 \
    --chat-template-kwargs '{"reasoning_effort":"max"}'
```

{% endcode %}

将 `UD-IQ3_XXS` 替换为你偏好的量化版本，例如 `IQ2_XXS` ，用于上传后的 2-bit。
{% endstep %}
{% endstepper %}

## 📊 基准测试

<div><figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FfxF1H1wdQe3vKBepuhdA%2Fimage.png?alt=media&amp;token=b6e590cc-fafb-43b3-8e8b-0b318200cbcb" alt=""><figcaption></figcaption></figure> <figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FUy73TYPneV9NarmiUgJZ%2Fimage.png?alt=media&amp;token=8b344785-cb9b-4c61-bf55-4fdc77be1d0a" alt=""><figcaption></figcaption></figure></div>

| 基准                                  | GLM-5.3-Flash | GLM-5.2 | DeepSeek-V4-Vision-Exp | Opus 4.8 | GPT-5.6 Terra | Gemini 3.7 Flash |
| ----------------------------------- | ------------- | ------- | ---------------------- | -------- | ------------- | ---------------- |
| 编码                                  |               |         |                        |          |               |                  |
| Terminal Bench 2.1                  | 84.3          | 81.0    | 83.9                   | 85.0     | 87.4          | 85.8             |
| <p>DeepSWE</p><p>v1.1</p>           | 63.4          | 46.2    | 59.3                   | 58.0     | 69.6          | 65.3             |
| NL2Repo                             | 56.3          | 48.9    | 57.7                   | 69.7     | -             | -                |
| Agentic                             |               |         |                        |          |               |                  |
| Toolathlon Verified                 | 78.4          | 59.9    | 75.9                   | 76.2     | 74.9          | -                |
| <p>AutomationBench</p><p>v1.0.6</p> | 48.8          | 26.2    | 38.8                   | 41.0     | 37.2          | 52.3             |
| Agents' Last Exam                   | 26.3          | 20.4    | 27.3                   | 27.0     | 28.0          | -                |
| 带工具的 HLE                            | 55.3          | 54.7    | 55.1                   | 57.9     | -             | -                |
| GDPval-AA v2                        | 1773          | 1504    | 1675                   | 1582     | 1571          | 1527             |
| 视觉                                  |               |         |                        |          |               |                  |
| OfficeQA Pro                        | 62.4          | -       | 57.9                   | 48.9     | -             | -                |
| <p>CharXiv 推理</p><p>带工具</p>         | 89.4          | -       | 80.4                   | 89.9     | 88.0          | 88.7             |
| <p>Chartography</p><p>带工具</p>       | 78.0          | -       | 64.3                   | 75.0     | 68.0          | 65.0             |
| BabyVision                          | 53.4          | -       | 35.1                   | 46.8     | 61.6          | 70.9             |
| MVbench                             | 77.8          | -       | 69.4                   | 67.1     | 75.0          | 82.2             |
| MMVU                                | 80.5          | -       | 72.7                   | 67.4     | 75.8          | 82.3             |


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/zh/mo-xing/glm-5.3-flash.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.