🥝Kimi K2.6 - 如何在本地运行
在你自己的本地设备上运行 Kimi-K2.6 的分步指南。
Kimi K2.6 是 Moonshot 发布的开源模型,在视觉、编码、Agent、长上下文和聊天任务上都能提供 SOTA 性能。这个 1T 参数的混合思考模型拥有 256K 上下文长度,完整精度需要 610GB 磁盘空间,动态 2-bit 需要 350GB(-43% 大小)。通过 Unsloth Dynamic 运行 Kimi K2.6 Kimi-K2.6-GGUFs 在 Unsloth Studio 或 llama.cpp 上。
动态 2-bit 将重要层上转换为 8-bit,并需要 350GB+ 显存/内存 配置. 对于 无损 Kimi K2.6,使用 Q8(UD-Q8_K_XL),它仅比 大 10GB 比 Q4(UD-Q4_K_XL)。所有上传都使用 Dynamic 2.0 用于实现 SOTA 量化性能。Kimi-K2.6 GGUF 也 支持视觉。
表:硬件要求 (单位 = 总内存:RAM + VRAM,或统一内存)
磁盘空间
340 GB
584 GB
595 GB
困惑度
2.4131
1.8420
1.8419
📊 量化分析
UD-Q8_K_XL 是无损的,因为 Kimi 对 MoE 权重使用 int4,并对其余所有内容使用 BF16,而 Q8_K_XL 遵循该方式。 UD-Q4_K_XL 与其类似,只不过其余张量是 Q8_0,因此它几乎是全精度,并需要 600GB RAM/VRAM。来自其他提供商的其他非 Unsloth GGUF 可能遵循 UD-Q4_K_XL 这种方法,而不是“真正无损”的 UD-Q8_K_XL.
我们遵循了 jukofyork的发现,即 const float d = max / -7; 而不是默认的 const float d = max / -8; 在量化过程中仅应用于 MoE 层。这个针对 INT4 原生 MoE 的双射补丁使 Q4_0 量化类型,以将绝对误差从 1.8% 降至接近 0%(机器 epsilon)。
不过我们必须将其他层保留为 BF16,下面展示了相对于 BF16 基线的两者误差图。 UD-Q8-K_XL 在将 Q4_0 转换为 BF16 时,确实是“无损”的,只存在一些机器 epsilon 差异。 UD-Q8_K_XL 的困惑度为 1.8419 ± 0.00721,而 UD-Q4_K_XL 为 1.8420 ± 0.00720。注意下面的误差图是 RMSE 除以 bfloat16 epsilon,因此误差尺度很小。

Q4_K_XL (蓝色)与 Q8_K_XL (橙色)之间的差异,它是无损的,并且大 10GB。⚙️ 使用指南
思考模式和非思考模式需要不同设置:
temperature = 1.0
temperature = 0.6
top_p = 0.95
top_p = 0.95
建议上下文长度 =
98,304(最多262,144)
如果模型能装下,使用 B200 时你将获得 >40 token/s。我们推荐 UD-Q2_K_XL (350GB)作为大小/质量的良好平衡。最佳经验法则:RAM+VRAM ≈ 量化大小;否则仍然可以工作,只是由于卸载会更慢。
Kimi K2.6 的聊天模板
运行 tokenizer.apply_chat_template([{"role": "user", "content": "1+1 等于多少?"},]) 得到:
运行 Kimi K2.6 指南
🦥 在 Unsloth Studio 中运行 Kimi-K2.6
Kimi K2.6 可以运行在 Unsloth Studio,这是一个用于本地 AI 的开源 Web UI。 Unsloth Studio 会自动卸载到 RAM,并检测多 GPU 配置。使用 Unsloth Studio,你可以在本地运行模型 MacOS、Windows、Linux 以及:

安装并启动 Unsloth
要安装,请在终端中运行:
MacOS、Linux、WSL:
Windows PowerShell:
启动 Unsloth
MacOS、Linux、WSL 和 Windows:
然后打开 http://localhost:8888 在你的浏览器中。
搜索并下载 Kimi-K2.6
Unsloth Studio 会自动卸载到 RAM,并检测多 GPU 配置。首次启动时,你需要创建一个密码来保护你的账户,并在之后重新登录。
然后前往 Unsloth Chat 标签页并搜索 Kimi-K2.6 ,然后在搜索栏中下载你想要的模型和量化版本。请确保你有足够的算力来运行该模型。

运行 Kimi-K2.6
在使用 Unsloth Studio 时,推理参数应自动设置,不过你仍然可以手动更改。你也可以编辑上下文长度、聊天模板和其他设置。
更多信息请查看我们的 Unsloth Studio 推理指南.

🦙 在 llama.cpp 中运行 Kimi K2.6
对于本指南,我们将运行 UD-Q2_K_XL 量化,它至少需要 350GB RAM。你可以随意更改量化类型。GGUF: Kimi-K2.6-GGUF
对于这些教程,我们将使用 llama.cpp 以进行快速本地推理,尤其是在你有 CPU 的情况下。
获取最新的 llama.cpp 在 GitHub 上获取。你也可以按照下面的构建说明进行操作。将 -DGGML_CUDA=ON 改为 -DGGML_CUDA=OFF 如果你没有 GPU,或者只想使用 CPU 推理。 对于 Apple Mac / Metal 设备,设置 -DGGML_CUDA=OFF 然后按常规继续——Metal 支持默认开启。
你现在可以使用 llama.cpp 直接加载和下载模型,就像 ollama run。首先,选择你想要的量化类型,例如 Q2_K_XL。同时使用 export LLAMA_CACHE="folder" 来强制 llama.cpp 保存到指定位置。注意,此下载过程可能非常慢,因此最好使用下一节中的手动下载方式。
根据你的使用场景,使用下面其中一个特定命令:
思考模式:
非思考模式(即时):
如果你想手动下载模型,我们可以通过下面的代码下载模型(在安装 pip install huggingface_hub)。如果下载卡住,请参见: Hugging Face Hub、XET 调试
然后在对话模式下运行模型:
📊 基准测试
你可以在下方以表格形式查看更多基准测试:

最后更新于
这有帮助吗?

