🌘Kimi K2.7 Code - 如何在本地运行
在你自己的本地设备上运行 Kimi K2.7 Code 的分步指南。
Kimi K2.7 Code 是 Moonshot AI 的代理式编码模型,建立在 K2.6 之上,以在使用约 30% 更少的思考 token 的同时提升任务完成率。该 1T 参数(32B 激活)的 MoE 模型仅支持思考、视觉和 256K 上下文。它在视觉、编码、代理式、长上下文和聊天任务上提供 SOTA 开源性能。完整精度需要 605GB 磁盘空间;Unsloth Dynamic 2-bit 需要 325GB(-48%)。运行 Kimi-K2.7-Code-GGUF 可通过 Unsloth Studio 或 llama.cpp 运行。
Unsloth Dynamic 量化版本 会将重要层提升到 8-bit,而 1-bit 需要 310GB+ VRAM/RAM 配置. 对于 无损 Kimi K2.7,请使用 Q8(UD-Q8_K_XL),它仅比 大 10GB 比 Q4(UD-Q4_K_XL)。你可以通过 Mac Studio 或 DGX Station.
表:硬件要求 (单位 = 总内存:RAM + VRAM,或统一内存)
310 GB
325-350GB
385-470 GB
605 GB
📊 量化分析
类似 Kimi-K2.6, UD-Q8_K_XL 是无损的,因为 Kimi 对 MoE 权重使用 int4,并对其余所有内容使用 BF16,而 Q8_K_XL 遵循这一点。因此,我们对 Kimi-K2.6 转换使用相同的动态方法。 UD-Q4_K_XL 与其类似,只不过其余张量是 Q8_0,因此它接近完整精度,并需要 600GB RAM/VRAM。 UD-Q8_K_XL 是“真正无损”的。
磁盘空间
339 GB
584 GB
595 GB
困惑度
~2.4131
~1.8420
~1.8419
我们遵循了 jukofyork的发现,即 const float d = max / -7; 而不是默认的 const float d = max / -8; 在量化过程中仅应用于 MoE 层。这个针对 INT4 原生 MoE 的双射补丁使 Q4_0 量化类型能将绝对误差从 1.8% 降至接近 0%(机器 epsilon)。例如下面是 Kimi-K2.7-Code 的直方图,你可以看到 -8 完全未被使用:

注意我们还必须将其他层保持为 BF16,而不是聪明地使用“Q4_0”。下面我们展示两者相对于 BF16 基线的误差图。 UD-Q8-K_XL 与在将 Q4_0 转换为 BF16 时相差一个机器 epsilon,确实是“无损”的。因此,Q4_K_XL 确实由于使用了 Q8_0 而存在一些量化误差,而 Q8_K_XL 除了 BF16 舍入外几乎无损。

对于 Q4_K_XL,我们也绘制了 Q8_0 相对于 BF16 的逐张量误差。一般来说,Q8_K_XL(接近无损)与 Q4_K_XL 之间存在一些误差,但不多。

⚙️ 使用指南
Kimi K2.7 Code 是 仅思考,并且 preserve_thinking 始终启用。不支持即时模式。
temperature = 1.0
top_p = 0.95
建议上下文长度 =
98,304(最多262,144)
如果模型能装下,在使用 B200 时你会获得 >100 tokens/s。我们建议 UD-Q2_K_XL (345GB)作为大小/质量的良好平衡。最佳经验法则:RAM+VRAM ≈ 量化大小;否则仍然可以运行,只是由于卸载会更慢。
Kimi K2.7-Code 的聊天模板
运行 tokenizer.apply_chat_template([{"role": "user", "content": "1+1 等于多少?"},]) 得到:
如果我们还输入了在中引用的工具 Tool Calling Guide,那么我们会看到如下内容:
运行 Kimi K2.7 Code 指南
🦥 在 Unsloth Studio 中运行 Kimi-K2.7-Code
Kimi K2.7 Code 可以运行在 Unsloth Studio,这是一个用于本地 AI 的开源 Web UI。 Unsloth Studio 会自动卸载到 RAM,并检测多 GPU 配置。使用 Unsloth Studio,你可以在本地运行模型 MacOS、Windows、Linux 以及:

安装并启动 Unsloth
要安装,请在终端中运行:
MacOS、Linux、WSL:
Windows PowerShell:
启动 Unsloth
MacOS、Linux、WSL 和 Windows:
然后打开 http://127.0.0.1:8888 (或你的特定 URL)在浏览器中打开。
搜索并下载 Kimi K2.7-Code
Unsloth Studio 会自动卸载到 RAM,并检测多 GPU 配置。首次启动时,你需要创建一个密码来保护你的账户,并在之后重新登录。
然后前往 Unsloth Chat 标签页并搜索 Kimi-K2.7 Code ,然后在搜索栏中下载你想要的模型和量化版本。请确保你有足够的算力来运行该模型。

运行 Kimi-K2.7-Code
在使用 Unsloth Studio 时,推理参数应自动设置,不过你仍然可以手动更改。你也可以编辑上下文长度、聊天模板和其他设置。
更多信息请查看我们的 Unsloth Studio 推理指南.

🦙 在 llama.cpp 中运行 Kimi K2.7 Code
对于本指南,我们将运行 UD-Q2_K_XL 该量化版本,这至少需要 345GB RAM。你也可以随意更改量化类型。GGUF: Kimi-K2.7-Code-GGUF
对于这些教程,我们将使用 llama.cpp 以进行快速本地推理,尤其是在你有 CPU 的情况下。
获取最新的 llama.cpp 在 GitHub 上获取。你也可以按照下面的构建说明进行操作。将 -DGGML_CUDA=ON 改为 -DGGML_CUDA=OFF 如果你没有 GPU,或者只想使用 CPU 推理。 对于 Apple Mac / Metal 设备,设置 -DGGML_CUDA=OFF 然后按常规继续——Metal 支持默认开启。
先来获取一张图片! 你也可以上传图片。我们将使用 https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/images/unsloth%20made%20with%20love.png,这只是我们的迷你标志,展示微调是如何借助 Unsloth 制作的:


你现在可以使用 llama.cpp 直接加载和下载模型,就像 ollama run。首先,选择你想要的量化类型,例如 Q2_K_XL。同时使用 export LLAMA_CACHE="folder" 来强制 llama.cpp 保存到指定位置。注意,此下载过程可能非常慢,因此最好使用下一节中的手动下载方式。
如果你想手动下载模型,我们可以通过下面的代码下载模型(在安装 pip install huggingface_hub)。如果下载卡住,请参见: Hugging Face Hub、XET 调试
然后在对话模式下运行模型:
然后你会看到如下内容:

然后使用 /image 将两张图片都加载进来,并询问“这是什么图片”:

然后你会得到类似下面的结果:

在树懒的第二张图片上:

你将得到:

📊 基准测试
你可以在下方以表格形式查看更多基准测试:

编码
Kimi Code Bench v2
62.0
50.9
69.0
67.4
程序基准
53.6
48.3
69.1
63.8
MLS Bench Lite
35.1
26.7
35.5
42.8
Agentic
Kimi Claw 24/7 基准
46.9
42.9
52.8
50.4
MCP Atlas
76.0
69.4
79.4
81.3
MCP Mark Verified
81.1
72.8
92.9
76.4
最后更新于
这有帮助吗?

