zGLM-4.7-Flash:如何本地运行

在您的设备上本地运行并微调 GLM-4.7-Flash!

GLM-4.7-Flash 是 Z.ai 新发布的本地部署用 30B MoE 推理模型,提供在编码、代理式工作流和聊天方面的业内领先性能。它使用约 36 亿参数,支持 20 万上下文,并在 SWE-Bench、GPQA 以及推理/聊天基准上领先。

GLM-4.7-Flash 可在 24GB 内存/显存/统一内存(全精度为 32GB),现在您也可以使用 Unsloth 进行微调。要在 vLLM 上运行 GLM 4.7 Flash,请参见 GLM-4.7-Flash

circle-check

运行教程微调

用于运行的 GLM-4.7-Flash GGUF: unsloth/GLM-4.7-Flash-GGUFarrow-up-right

⚙️ 使用指南

与 Z.ai 团队沟通后,他们建议使用他们的 GLM-4.7 采样参数:

默认设置(大多数任务)
终端基准、SWE 基准 已验证

temperature = 1.0

temperature = 0.7

top_p = 0.95

top_p = 1.0

repeat penalty = 禁用或 1.0

repeat penalty = 禁用或 1.0

  • 一般使用场景: --temp 1.0 --top-p 0.95

  • 用于工具调用: --temp 0.7 --top-p 1.0

  • 如果使用 llama.cpp,请设置 --min-p 0.01 因为 llama.cpp 的默认值是 0.05

  • 有时您需要试验哪些数值最适合您的使用场景。

circle-exclamation
  • 最大上下文窗口: 202,752

  • 使用 --jinja 用于 llama.cpp 变体

🖥️ 运行 GLM-4.7-Flash

根据您的使用场景,您需要使用不同的设置。一些 GGUF 最终大小相似,因为模型架构(例如 gpt-oss)具有不可被 128 整除的维度,因此部分不能量化到更低位数。

由于本指南使用 4 位,您将需要大约 18GB 内存/统一内存。我们建议至少使用 4 位精度以获得最佳性能。

circle-exclamation

Llama.cpp 教程(GGUF):

在 llama.cpp 中运行的说明(注意我们将使用 4 位以适配大多数设备):

1

获取最新的 llama.cppGitHub 这里arrow-up-right。您也可以按照下面的构建说明。将 -DGGML_CUDA=ON 改为 -DGGML_CUDA=OFF 如果您没有 GPU 或者只想进行 CPU 推理。

2

您可以直接从 Hugging Face 拉取。您可以根据内存/显存将上下文增加到 200K。

您也可以尝试 Z.ai 推荐的 GLM-4.7 采样参数:

  • 一般使用场景: --temp 1.0 --top-p 0.95

  • 用于工具调用: --temp 0.7 --top-p 1.0

  • 记得禁用重复惩罚!

按此操作可用于 通用指令 使用场景:

按此操作可用于 工具调用 使用场景:

3

通过以下方式下载模型(在安装 pip install huggingface_hub之后)。您可以选择 UD-Q4_K_XL 或其他量化版本。

4

然后以对话模式运行模型:

另外,根据需要调整 上下文窗口 ,最高可达 202752

减少重复和循环

circle-check

这意味着您现在可以使用 Z.ai 推荐的参数并获得出色的结果:

  • 一般使用场景: --temp 1.0 --top-p 0.95

  • 用于工具调用: --temp 0.7 --top-p 1.0

  • 如果使用 llama.cpp,请设置 --min-p 0.01 因为 llama.cpp 的默认值是 0.05

  • 记得禁用重复惩罚!或者设置为 --repeat-penalty 1.0

我们添加了 "scoring_func": "sigmoid" 改为 config.json 用于主模型 - arrow-up-right.

circle-exclamation

🐦使用 UD-Q4_K_XL 的 Flappy Bird 示例

作为示例,我们通过使用 UD-Q4_K_XL 进行了以下的长对话,命令为 ./llama.cpp/llama-cli --model unsloth/GLM-4.7-Flash-GGUF/GLM-4.7-Flash-UD-Q4_K_XL.gguf --fit on --temp 1.0 --top-p 0.95 --min-p 0.01 --jinja :

该模型以 HTML 形式呈现了以下 Flappy Bird 游戏:

chevron-rightHTML 中的 Flappy Bird 游戏(可扩展)hashtag

我们还截取了一些屏幕截图(4bit 可用):

🦥 对 GLM-4.7-Flash 进行微调

Unsloth 现在支持对 GLM-4.7-Flash 的微调,但你需要使用 transformers v5。30B 模型无法在免费 Colab GPU 上运行;不过,你可以使用我们的笔记本。GLM-4.7-Flash 的 16 位 LoRA 微调大约会使用 60GB 显存:

circle-exclamation

在对 MoE 进行微调时,不建议微调路由器层,因此我们默认禁用了它。如果你希望保留其推理能力(可选),可以在训练数据中混合直接答案和链式思维示例。至少使用 75% 推理25% 非推理 在你的数据集中,使模型保留其推理能力。

🦙 Llama-server 服务与部署

要将 GLM-4.7-Flash 部署到生产环境,我们使用 llama-server 在新终端(例如通过 tmux)中,通过以下命令部署模型:

然后在新终端中,执行以下操作之前先运行 pip install openai,然后执行:

这将打印

💻 在 vLLM 中使用 GLM-4.7-Flash

你现在可以使用我们的新 FP8 动态量化arrow-up-right 以获得高性能且快速的推理。首先从 nightly 安装 vLLM:

然后启动服务 Unsloth 的动态 FP8 版本arrow-up-right 的模型。我们启用了 FP8 来将 KV 缓存内存使用量减少约 50%,并在 4 张 GPU 上运行。如果你只有 1 张 GPU,请使用 CUDA_VISIBLE_DEVICES='0' 并设置 --tensor-parallel-size 1 或移除此参数。要禁用 FP8,移除 --quantization fp8 --kv-cache-dtype fp8

然后你可以通过 OpenAI API 调用已服务的模型:

vLLM GLM-4.7-Flash 猜测性解码

我们发现使用来自 GLM 4.7 Flash 的 MTP(多标记预测)模块会使生成吞吐量从 1x B200 上的 13,000 令牌降到 1,300 令牌!(慢 10 倍)在 Hopper 上应该没问题,希望如此。

在 1xB200 上仅有 1,300 令牌/秒 的吞吐量(每个用户解码约 130 令牌/秒)

并且在 1xB200 上为 13,000 令牌/秒 的吞吐量(每个用户仍为约 130 令牌/秒 解码)

🔨使用 GLM-4.7-Flash 的工具调用

参见 Tool Calling Guide 以获取有关如何进行工具调用的更多详细信息。在新终端中(如果使用 tmux,按下 CTRL+B+D),我们创建了一些工具,例如相加两个数字、执行 Python 代码、执行 Linux 操作等等:

然后我们使用下面的函数(复制粘贴并执行),它们会自动解析函数调用并为任何模型调用 OpenAI 端点:

在通过 启动 GLM-4.7-Flash 之后 llama-server 就像在 GLM-4.7-Flash 或参见 Tool Calling Guide 以获取更多细节,我们随后可以进行一些工具调用:

用于 GLM 4.7 的数学运算工具调用

用于为 GLM-4.7-Flash 执行生成的 Python 代码的工具调用

基准测试

GLM-4.7-Flash 是在所有基准测试中表现最好的 30B 模型,除了 AIME 25。

最后更新于

这有帮助吗?