GLM-4.7-Flash:如何本地运行
在您的设备上本地运行并微调 GLM-4.7-Flash!
GLM-4.7-Flash 是 Z.ai 新发布的本地部署用 30B MoE 推理模型,提供在编码、代理式工作流和聊天方面的业内领先性能。它使用约 36 亿参数,支持 20 万上下文,并在 SWE-Bench、GPQA 以及推理/聊天基准上领先。
GLM-4.7-Flash 可在 24GB 内存/显存/统一内存(全精度为 32GB),现在您也可以使用 Unsloth 进行微调。要在 vLLM 上运行 GLM 4.7 Flash,请参见 GLM-4.7-Flash
1 月 21 日 更新: llama.cpp 修复了一个错误,该错误指定了错误的 scoring_func: "softmax" (应该是 "sigmoid")。这导致了循环和较差的输出。我们已更新 GGUF —— 请重新下载模型以获得更好的输出。
您现在可以使用 Z.ai 推荐的参数并获得出色的结果:
一般使用场景:
--temp 1.0 --top-p 0.95用于工具调用:
--temp 0.7 --top-p 1.0重复惩罚: 禁用它,或设置为
--repeat-penalty 1.0
1 月 22 日:更快的推理已到来,CUDA 的 FA 修复现在已合并。
用于运行的 GLM-4.7-Flash GGUF: unsloth/GLM-4.7-Flash-GGUF
⚙️ 使用指南
与 Z.ai 团队沟通后,他们建议使用他们的 GLM-4.7 采样参数:
temperature = 1.0
temperature = 0.7
top_p = 0.95
top_p = 1.0
repeat penalty = 禁用或 1.0
repeat penalty = 禁用或 1.0
一般使用场景:
--temp 1.0 --top-p 0.95用于工具调用:
--temp 0.7 --top-p 1.0如果使用 llama.cpp,请设置
--min-p 0.01因为 llama.cpp 的默认值是 0.05有时您需要试验哪些数值最适合您的使用场景。
目前,我们 不建议 使用该 GGUF 在 Ollama 上运行 因为可能存在聊天模板兼容性问题。该 GGUF 在 llama.cpp(或后端例如 LM Studio、Jan)上运行良好。
记得禁用重复惩罚!或者设置为 --repeat-penalty 1.0
最大上下文窗口:
202,752使用
--jinja用于 llama.cpp 变体
🖥️ 运行 GLM-4.7-Flash
根据您的使用场景,您需要使用不同的设置。一些 GGUF 最终大小相似,因为模型架构(例如 gpt-oss)具有不可被 128 整除的维度,因此部分不能量化到更低位数。
由于本指南使用 4 位,您将需要大约 18GB 内存/统一内存。我们建议至少使用 4 位精度以获得最佳性能。
目前,我们 不建议 使用该 GGUF 在 Ollama 上运行 因为可能存在聊天模板兼容性问题。该 GGUF 在 llama.cpp(或后端例如 LM Studio、Jan)上运行良好。
记得禁用重复惩罚!或者设置为 --repeat-penalty 1.0
Llama.cpp 教程(GGUF):
在 llama.cpp 中运行的说明(注意我们将使用 4 位以适配大多数设备):
获取最新的 llama.cpp 在 GitHub 这里。您也可以按照下面的构建说明。将 -DGGML_CUDA=ON 改为 -DGGML_CUDA=OFF 如果您没有 GPU 或者只想进行 CPU 推理。
您可以直接从 Hugging Face 拉取。您可以根据内存/显存将上下文增加到 200K。
您也可以尝试 Z.ai 推荐的 GLM-4.7 采样参数:
一般使用场景:
--temp 1.0 --top-p 0.95用于工具调用:
--temp 0.7 --top-p 1.0记得禁用重复惩罚!
按此操作可用于 通用指令 使用场景:
按此操作可用于 工具调用 使用场景:
通过以下方式下载模型(在安装 pip install huggingface_hub之后)。您可以选择 UD-Q4_K_XL 或其他量化版本。
然后以对话模式运行模型:
另外,根据需要调整 上下文窗口 ,最高可达 202752
➿减少重复和循环
1 月 21 日 更新:llama.cpp 修复了一个错误,该错误指定了错误的 "scoring_func": "softmax" ,导致循环和较差的输出(应为 sigmoid)。我们已更新 GGUF。请重新下载模型以获得更好的输出。
这意味着您现在可以使用 Z.ai 推荐的参数并获得出色的结果:
一般使用场景:
--temp 1.0 --top-p 0.95用于工具调用:
--temp 0.7 --top-p 1.0如果使用 llama.cpp,请设置
--min-p 0.01因为 llama.cpp 的默认值是 0.05记得禁用重复惩罚!或者设置为
--repeat-penalty 1.0
我们添加了 "scoring_func": "sigmoid" 改为 config.json 用于主模型 - 见.
目前,我们 不建议 使用该 GGUF 在 Ollama 上运行 因为可能存在聊天模板兼容性问题。该 GGUF 在 llama.cpp(或后端例如 LM Studio、Jan)上运行良好。
🐦使用 UD-Q4_K_XL 的 Flappy Bird 示例
作为示例,我们通过使用 UD-Q4_K_XL 进行了以下的长对话,命令为 ./llama.cpp/llama-cli --model unsloth/GLM-4.7-Flash-GGUF/GLM-4.7-Flash-UD-Q4_K_XL.gguf --fit on --temp 1.0 --top-p 0.95 --min-p 0.01 --jinja :
该模型以 HTML 形式呈现了以下 Flappy Bird 游戏:
我们还截取了一些屏幕截图(4bit 可用):


🦥 对 GLM-4.7-Flash 进行微调
Unsloth 现在支持对 GLM-4.7-Flash 的微调,但你需要使用 transformers v5。30B 模型无法在免费 Colab GPU 上运行;不过,你可以使用我们的笔记本。GLM-4.7-Flash 的 16 位 LoRA 微调大约会使用 60GB 显存:
在使用 A100 40GB 显存时有时会遇到内存不足。要获得更顺畅的运行,需要使用 H100 / A100 80GB 显存。
在对 MoE 进行微调时,不建议微调路由器层,因此我们默认禁用了它。如果你希望保留其推理能力(可选),可以在训练数据中混合直接答案和链式思维示例。至少使用 75% 推理 和 25% 非推理 在你的数据集中,使模型保留其推理能力。
🦙 Llama-server 服务与部署
要将 GLM-4.7-Flash 部署到生产环境,我们使用 llama-server 在新终端(例如通过 tmux)中,通过以下命令部署模型:
然后在新终端中,执行以下操作之前先运行 pip install openai,然后执行:
这将打印
💻 在 vLLM 中使用 GLM-4.7-Flash
你现在可以使用我们的新 FP8 动态量化 以获得高性能且快速的推理。首先从 nightly 安装 vLLM:
然后启动服务 Unsloth 的动态 FP8 版本 的模型。我们启用了 FP8 来将 KV 缓存内存使用量减少约 50%,并在 4 张 GPU 上运行。如果你只有 1 张 GPU,请使用 CUDA_VISIBLE_DEVICES='0' 并设置 --tensor-parallel-size 1 或移除此参数。要禁用 FP8,移除 --quantization fp8 --kv-cache-dtype fp8
然后你可以通过 OpenAI API 调用已服务的模型:
⭐ vLLM GLM-4.7-Flash 猜测性解码
我们发现使用来自 GLM 4.7 Flash 的 MTP(多标记预测)模块会使生成吞吐量从 1x B200 上的 13,000 令牌降到 1,300 令牌!(慢 10 倍)在 Hopper 上应该没问题,希望如此。
在 1xB200 上仅有 1,300 令牌/秒 的吞吐量(每个用户解码约 130 令牌/秒)

并且在 1xB200 上为 13,000 令牌/秒 的吞吐量(每个用户仍为约 130 令牌/秒 解码)

🔨使用 GLM-4.7-Flash 的工具调用
参见 Tool Calling Guide 以获取有关如何进行工具调用的更多详细信息。在新终端中(如果使用 tmux,按下 CTRL+B+D),我们创建了一些工具,例如相加两个数字、执行 Python 代码、执行 Linux 操作等等:
然后我们使用下面的函数(复制粘贴并执行),它们会自动解析函数调用并为任何模型调用 OpenAI 端点:
在通过 启动 GLM-4.7-Flash 之后 llama-server 就像在 GLM-4.7-Flash 或参见 Tool Calling Guide 以获取更多细节,我们随后可以进行一些工具调用:
用于 GLM 4.7 的数学运算工具调用

用于为 GLM-4.7-Flash 执行生成的 Python 代码的工具调用

基准测试
GLM-4.7-Flash 是在所有基准测试中表现最好的 30B 模型,除了 AIME 25。

最后更新于
这有帮助吗?

