🐋DeepSeek-R1:如何本地运行
关于如何使用 llama.cpp 运行我们的 DeepSeek-R1 1.58-bit 动态量化版本的指南。
使用 llama.cpp(推荐)
别忘了
<|User|>和<|Assistant|>tokens!- 或者使用聊天模板格式化器获取最新的
llama.cpp在: github.com/ggml-org/llama.cpp。你也可以按照下面的构建说明进行操作。 对于 Apple Mac / Metal 设备,设置-DGGML_CUDA=OFF然后按常规继续——Metal 支持默认开启。
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
-DBUILD_SHARED_LIBS=ON -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp最好使用
--min-p 0.05来抑制极罕见的 token 预测——我发现这特别适用于 1.58bit 模型,效果很好。通过以下方式下载模型:
# pip install huggingface_hub hf_transfer
# import os # 可选,用于更快下载
# os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
repo_id = "unsloth/DeepSeek-R1-GGUF",
local_dir = "DeepSeek-R1-GGUF",
allow_patterns = ["*UD-IQ1_S*"], # 选择 1.58bit 的量化类型 UD-IQ1_S
)Q4_0 K 量化缓存示例 注意 -no-cnv 会禁用自动对话模式
示例输出:
如果你有一块 GPU(例如 RTX 4090)并且有 24GB 显存,你可以把多层卸载到 GPU 上以获得更快的处理速度。如果你有多块 GPU,可能就能卸载更多层。
要测试我们在博客文章中提到的 Flappy Bird 示例,请看这里: https://unsloth.ai/blog/deepseekr1-dynamic,我们可以使用我们的 1.58bit 动态量化生成如下第二个示例:

原始 DeepSeek R1

1.58bit 动态量化
使用的提示如下:
要使用这个示例调用 llama.cpp,我们这样做:
另外,如果你想将权重合并后用于例如 Ollama,请使用这个脚本:
DeepSeek R1 有 61 层。例如,在 24GB GPU 或 80GB GPU 上,你可以在向下取整后预期卸载以下层数(如果超出显存则减 1):
1.58bit
131GB
7
33
全部 61 层
1.73bit
158GB
5
26
57
2.22bit
183GB
4
22
49
2.51bit
212GB
2
19
32
在 Mac / Apple 设备上运行
对于 Apple Metal 设备,要注意 --n-gpu-layers。如果发现机器内存不足,请降低它。在一台 128GB 统一内存的机器上,你应该可以卸载大约 59 层。
在 Ollama/Open WebUI 中运行
Open WebUI 在这里制作了一个关于如何运行 R1 的逐步教程: https://docs.openwebui.com/tutorials/integrations/llm-providers/deepseekr1-dynamic
如果你想使用 Ollama 对 GGUF 进行推理,你需要先把这 3 个 GGUF 分割文件合并成 1 个,如下方代码所示。然后你就需要在本地运行该模型。
DeepSeek 聊天模板
所有蒸馏版本和主 671B R1 模型都使用相同的聊天模板:
<|begin▁of▁sentence|><|User|>1+1 等于多少?<|Assistant|>是 2。<|end▁of▁sentence|><|User|>再解释一下!<|Assistant|>
会强制添加一个 BOS,并且 EOS 会分隔每次交互。为了在推理时抵消双 BOS token,你应该只调用 tokenizer.encode(..., add_special_tokens = False) 因为聊天模板也会自动添加一个 BOS token。 对于 llama.cpp / GGUF 推理,你应该跳过 BOS,因为它会自动添加。
<|User|>1+1 等于多少?<|Assistant|>
<think> 和 </think> token 有它们各自专门的 token。对于 Qwen 和 Llama 的蒸馏版本,一些 token 被重新映射;而 Qwen 例如没有 BOS token,所以不得不使用 <|object_ref_start|> 来替代。 分词器 ID 映射:
<think>
128798
151648
128013
</think>
128799
151649
128014
<|begin_of_sentence|>
0
151646
128000
<|end_of_sentence|>
1
151643
128001
<|User|>
128803
151644
128011
<|Assistant|>
128804
151645
128012
填充 token
2
151654
128004
模型中的原始 token:
<think>
<|box_start|>
<|reserved_special_token_5|>
</think>
<|box_end|>
<|reserved_special_token_6|>
<|begin▁of▁sentence|>
<|object_ref_start|>
<|begin_of_text|>
<|end▁of▁sentence|>
<|endoftext|>
<|end_of_text|>
<|User|>
<|im_start|>
<|reserved_special_token_3|>
<|Assistant|>
<|im_end|>
<|reserved_special_token_4|>
填充 token
<|vision_pad|>
<|finetune_right_pad_id|>
所有蒸馏版和原始 R1 版本似乎都不小心把填充 token 分配给了 <|end▁of▁sentence|>,这大多不是个好主意,尤其是如果你想在这些推理模型之上继续微调的话。这会导致无穷无尽的生成,因为大多数框架会把 EOS token 掩码成 -100。 我们已经用正确的填充 token 修复了所有蒸馏版和原始 R1 版本(Qwen 使用 <|vision_pad|>,Llama 使用 <|finetune_right_pad_id|>,而 R1 使用 <|▁pad▁|> 或我们自己添加的 <|PAD▁TOKEN|>。
GGUF R1 表
最后更新于
这有帮助吗?

