我们还上传了 [BF16 格式](https://huggingface.co/unsloth/Kimi-K2-Instruct-BF16).
### ✨ 在 llama.cpp 中运行 Instruct
1. 获取最新的 `llama.cpp` 在 [GitHub 上获取](https://github.com/ggml-org/llama.cpp)。你也可以按照下面的构建说明进行操作。将 `-DGGML_CUDA=ON` 改为 `-DGGML_CUDA=OFF` 如果你没有 GPU，或者只想使用 CPU 推理。
```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
-DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split llama-mtmd-cli
cp llama.cpp/build/bin/llama-* llama.cpp
```
2. 如果你想使用 `llama.cpp` 直接加载模型，你可以这样做：（:UD-IQ1\_S）是量化类型。你也可以通过 Hugging Face（第 3 点）下载。这与以下方式类似： `ollama run` 。使用 `export LLAMA_CACHE="folder"` 来强制 `llama.cpp` 保存到特定位置。\ **要运行该模型 2025 年 9 月新版更新，请将模型名称从 'Kimi-K2-Instruct' 更改为 'Kimi-K2-Instruct-0905'。**
{% hint style="info" %}
请试试 `-ot ".ffn_.*_exps.=CPU"` 将所有 MoE 层卸载到 CPU！这实际上让你可以把所有非 MoE 层放到 1 张 GPU 上，从而提升生成速度。如果你有更多 GPU 容量，还可以自定义正则表达式以容纳更多层。
如果你有更多一点 GPU 内存，可以尝试 `-ot ".ffn_(up|down)_exps.=CPU"` 这会卸载上投影和下投影 MoE 层。
尝试 `-ot ".ffn_(up)_exps.=CPU"` 如果你有更多 GPU 内存。这只会卸载上投影 MoE 层。
最后通过以下方式卸载所有层： `-ot ".ffn_.*_exps.=CPU"` 这会使用最少的 VRAM。
你也可以自定义正则表达式，例如 `-ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU"` 表示从第 6 层开始，只卸载 gate、up 和 down MoE 层。
{% endhint %}
```bash
export LLAMA_CACHE="unsloth/Kimi-K2-Instruct-GGUF"
./llama.cpp/llama-cli \\
-hf unsloth/Kimi-K2-Instruct-GGUF:TQ1_0 \
--n-gpu-layers 99 \
--temp 0.6 \\
--min-p 0.01 \
--ctx-size 16384 \
--seed 3407 \
-ot ".ffn_.*_exps.=CPU"
```
3. 通过以下方式下载模型（在安装 `pip install huggingface_hub hf_transfer` 之后）。你可以选择 `UD-TQ1_0`（动态 1.8bit 量化）或其他量化版本，例如 `Q2_K_XL` . 我们 **推荐使用我们的 2bit 动态量化**** ****`UD-Q2_K_XL`**** ****以平衡体积和准确率**。更多版本见： [huggingface.co/unsloth/Kimi-K2-Instruct-GGUF](https://huggingface.co/unsloth/Kimi-K2-Instruct-GGUF)
{% code overflow="wrap" %}
```python
# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0" # 有时可能会触发速率限制，因此将其设为 0 以禁用
from huggingface_hub import snapshot_download
snapshot_download(
repo_id = "unsloth/Kimi-K2-Instruct-GGUF",
local_dir = "unsloth/Kimi-K2-Instruct-GGUF",
allow_patterns = ["*UD-TQ1_0*"], # 动态 1bit（281GB）使用 "*UD-Q2_K_XL*" 表示动态 2bit（381GB）
)
```
{% endcode %}
{% hint style="info" %}
如果你发现下载卡在 90% 到 95% 左右，请查看
{% endhint %}
4. 运行任意提示词。
5. 编辑 `--threads -1` 用于指定 CPU 线程数（默认设置为 CPU 最大线程数）， `--ctx-size 16384` 用于上下文长度， `--n-gpu-layers 99` 用于 GPU 卸载的层数。将其设置为 99，并结合 MoE CPU 卸载以获得最佳性能。如果你的 GPU 显存不足，可尝试调整它。如果你只做 CPU 推理，也请移除它。
{% code overflow="wrap" %}
```bash
./llama.cpp/llama-cli \\
--model unsloth/Kimi-K2-Instruct-GGUF/UD-TQ1_0/Kimi-K2-Instruct-UD-TQ1_0-00001-of-00005.gguf \
--n-gpu-layers 99 \
--temp 0.6 \\
--min-p 0.01 \
--ctx-size 16384 \
--seed 3407 \
-ot ".ffn_.*_exps.=CPU"
```
{% endcode %}
### :bird: Flappy Bird + 其他测试
当我们提供 DeepSeek R1 的 1.58bit 量化版本时，我们引入了 Flappy Bird 测试。我们发现 Kimi K2 是少数能够一次性完成所有任务（包括这个）的模型之一， [Heptagon ](/docs/zh/mo-xing/tutorials/deepseek-r1-0528-how-to-run-locally.md#heptagon-test)以及其他测试，即使在 2-bit 下也是如此。目标是让 LLM 创建一个 Flappy Bird 游戏，但要遵循一些特定说明：
{% code overflow="wrap" %}
```
用 Python 创建一个 Flappy Bird 游戏。你必须包含以下内容：
1. 你必须使用 pygame。
2. 背景颜色应随机选择，并且是浅色。开始时使用浅蓝色。
3. 多次按下 SPACE 键会让小鸟加速。
4. 小鸟的形状应随机选择为正方形、圆形或三角形。颜色应随机选择为深色。
5. 在底部放置一些随机选择为深棕色或黄色的土地。
6. 在右上角显示分数。成功穿过管道且没有撞上时分数增加。
7. 随机间距生成足够空隙的管道。颜色随机为深绿色、浅棕色或深灰色。
8. 失败时，显示最高分。文本要放在屏幕内。按 q 或 Esc 退出游戏。重新开始按 SPACE 键。
最终游戏应位于 Python 的 markdown 区块中。在最终 markdown 区块之前，请检查你的代码是否有错误并修复它们。
```
{% endcode %}
你也可以按照 [r/Localllama](https://www.reddit.com/r/LocalLLaMA/comments/1j7r47l/i_just_made_an_animation_of_a_ball_bouncing/) 来测试动态量化，该测试会考察模型创建一个基本物理引擎，以模拟球体在一个移动的封闭七边形形状中旋转。
目标是让七边形旋转，并且其中的球应该移动。提示如下：
{% code overflow="wrap" %}
```
编写一个 Python 程序，在旋转的七边形中展示 20 个弹跳的球：\n- 所有球的半径相同。\n- 所有球上都有 1 到 20 的编号。\n- 所有球在开始时从七边形中心下落。\n- 颜色为：#f8b862, #f6ad49, #f39800, #f08300, #ec6d51, #ee7948, #ed6d3d, #ec6800, #ec6800, #ee7800, #eb6238, #ea5506, #ea5506, #eb6101, #e49e61, #e45e32, #e17b34, #dd7a56, #db8449, #d66a35\n- 球应受重力和摩擦力影响，并且必须与旋转的墙壁真实碰撞反弹。球与球之间也应发生碰撞。\n- 所有球的材质决定它们受冲击后的弹跳高度不会超过七边形的半径，但要高于球半径。\n- 所有球的旋转都带有摩擦，球上的数字可以用来表示球的自旋。\n- 七边形围绕其中心旋转，旋转速度为每 5 秒 360 度。\n- 七边形大小应足够容纳所有球。\n- 不要使用 pygame 库；请自行实现碰撞检测算法和碰撞响应等。允许使用以下 Python 库：tkinter、math、numpy、dataclasses、typing、sys。\n- 所有代码应放在单个 Python 文件中。
```
{% endcode %}
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.
Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:
```
GET https://unsloth.ai/docs/zh/mo-xing/tutorials/kimi-k2-thinking-how-to-run-locally.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
