🐋DeepSeek-R1：ローカルでの実行方法

llama.cpp を使って DeepSeek-R1 の 1.58 ビット動的量子化を実行する方法のガイド。

ご参照ください https://docs.unsloth.ai/basics/deepseek-r1-0528-how-to-run-locally 更新された DeepSeek R1-0528（2025年5月28日版）については

llama.cpp を使用する（推奨）

1. 忘れないでください <｜User｜> および <｜Assistant｜> トークン！ - またはチャットテンプレートフォーマッターを使用してください

2. 最新の llama.cpp で： github.com/ggerganov/llama.cpp. 以下のビルド手順にも従うことができます：

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggerganov/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=ON -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

1. 次の使用をおすすめします --min-p 0.05 非常に稀なトークン予測に対抗するためです - 特に1.58ビットモデルではこれがうまく機能することがわかりました。

2. モデルは次の方法でダウンロードしてください：

# pip install huggingface_hub hf_transfer
# import os # 高速ダウンロードのためのオプション
# os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"

from huggingface_hub import snapshot_download
snapshot_download(
  repo_id = "unsloth/DeepSeek-R1-GGUF",
  local_dir = "DeepSeek-R1-GGUF",
  allow_patterns = ["*UD-IQ1_S*"], # 1.58bit のために UD-IQ1_S を選択
)

1. Q4_0 K 量子化キャッシュの例 注意 -no-cnv は自動会話モードを無効にします

./llama.cpp/llama-cli \
    --model DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf \
    --cache-type-k q4_0 \
    -no-cnv --prio 2 \
    --temp 0.6 \
    --ctx-size 8192 \
    --seed 3407 \
    --prompt "<｜User｜>What is 1+1?<｜Assistant｜>"

出力の例：

 <think>
 わかりました、つまり1足す1が何かを考える必要があります。うーん、どこから始めればいいかな？ 学校で数を足すのは基本的だと習ったことを覚えていますが、ちゃんと理解しているか確認したいです。
 考えてみると、1足す1。つまり、ひとつの物があってもうひとつを足す。例えばリンゴ1個にもう1個足すと、今は2個のリンゴになります。だから1足す1は2のはずです。納得できます。
 でも、数学は時々厄介になることがあります。他の結果になる可能性はあるかな？ 例えば別の数体系だとか？ でもこの質問は通常の数での単純な問いだと思います。二進法や十六進法のようなものではないはずです。
 また、算術では加算は量を結合することだと記憶しています。だから1の量が2つあれば、それらを合わせると合計は2になります。うん、それで正しいようです。
 1足す1が2でないシナリオはあるかな？ 思いつきません…

1. もしGPU（例えばRTX 4090）に24GBがあれば、処理を高速化するために複数のレイヤーをGPUにオフロードできます。複数GPUがあれば、さらに多くのレイヤーをオフロードできる可能性があります。

./llama.cpp/llama-cli \
    --model DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf \
    --cache-type-k q4_0 \
    -no-cnv --prio 2 \
    --n-gpu-layers 7 \
    --temp 0.6 \
    --ctx-size 8192 \
    --seed 3407 \
    --prompt "<｜User｜>Create a Flappy Bird game in Python.<｜Assistant｜>"

1. ブログ記事で述べた Flappy Bird の例をテストするには： https://unsloth.ai/blog/deepseekr1-dynamic, 1.58bit の動的量子化を使用して以下のように第2の例を生成できます：

オリジナル DeepSeek R1

1.58ビット 動的量子化

使用したプロンプトは以下です：

<｜User｜>PythonでFlappy Birdのゲームを作成してください。以下を必ず含めてください：
1. pygame を使用すること。
2. 背景色はランダムに選ばれ、明るい色合いにすること。最初は淡い青を使用すること。
3. SPACEキーを複数回押すと鳥が加速すること。
4. 鳥の形状は正方形、円、三角形のいずれかをランダムに選ぶこと。色は暗めの色をランダムに選ぶこと。
5. 画面下部に濃い茶色または黄色のどちらかをランダムに選んだ土地を配置すること。
6. 右上にスコアを表示すること。パイプを通過してぶつからなければスコアを増やすこと。
7. パイプはランダムな間隔で配置し、十分な隙間を確保すること。色は濃い緑か薄い茶色か濃い灰色のいずれかをランダムにすること。
8. ゲームオーバー時にベストスコアを表示すること。テキストは画面内に表示すること。q または Esc を押すとゲームを終了すること。再開は SPACE を再度押すこと。
最終的なゲームは Python のマークダウンセクション内に入れてください。最終マークダウンセクションの前にコードのエラーを確認して修正してください。<｜Assistant｜>

この例を使って llama.cpp を呼び出すには、次のようにします：

./llama.cpp/llama-cli \
    --model DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf \
    --cache-type-k q4_0 \
    -no-cnv --prio 2 \
    --n-gpu-layers 7 \
    --temp 0.6 \
    --ctx-size 8192 \
    --seed 3407 \
    --prompt "<｜User｜>Create a Flappy Bird game in Python. You must include these things:\n1. You must use pygame.\n2. The background color should be randomly chosen and is a light shade. Start with a light blue color.\n3. Pressing SPACE multiple times will accelerate the bird.\n4. The bird's shape should be randomly chosen as a square, circle or triangle. The color should be randomly chosen as a dark color.\n5. Place on the bottom some land colored as dark brown or yellow chosen randomly.\n6. Make a score shown on the top right side. Increment if you pass pipes and don't hit them.\n7. Make randomly spaced pipes with enough space. Color them randomly as dark green or light brown or a dark gray shade.\n8. When you lose, show the best score. Make the text inside the screen. Pressing q or Esc will quit the game. Restarting is pressing SPACE again.\nThe final game should be inside a markdown section in Python. Check your code for errors and fix them before the final markdown section.<｜Assistant｜>"

1. また、たとえば Ollama で使用するために重みを結合したい場合は、次のスクリプトを使用してください：

./llama.cpp/llama-gguf-split --merge \
    DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf \
    merged_file.gguf

1. DeepSeek R1 は61レイヤーあります。例えば24GB GPUや80GB GPUでは、切り捨て後（メモリ切れなら1つ減らす）に以下のようにオフロードできると予想されます：

量子化	ファイルサイズ	24GB GPU	80GB GPU	2x80GB GPU
1.58bit	131GB	7	33	全レイヤー 61
1.73bit	158GB	5	26	57
2.22bit	183GB	4	22	49
2.51bit	212GB	2	19	32

Mac / Apple デバイスでの実行

Apple Metal デバイスでは --n-gpu-layers に注意してください。マシンがメモリ不足になる場合は減らしてください。128GB ユニファイドメモリのマシンなら約59レイヤーをオフロードできるはずです。

./llama.cpp/llama-cli \
    --model DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf \
    --cache-type-k q4_0 \
    --prio 2 \
    --temp 0.6 \
    --ctx-size 8192 \
    --seed 3407 \
    --n-gpu-layers 59 \
    -no-cnv \
    --prompt "<｜User｜>Create a Flappy Bird game in Python.<｜Assistant｜>"

Ollama / Open WebUI で実行する

Open WebUI は R1 の実行方法をステップバイステップで解説しています： docs.openwebui.com/tutorials/integrations/deepseekr1-dynamic/ GGUF を Ollama で推論に使いたい場合、まず3つの GGUF 分割ファイルを1つに結合する必要があります。次にモデルをローカルで実行する必要があります。

./llama.cpp/llama-gguf-split --merge \
  DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf \
	merged_file.gguf

DeepSeek チャットテンプレート

すべての蒸留版とメインの671B R1モデルは同じチャットテンプレートを使用しています：

<｜begin▁of▁sentence｜><｜User｜>What is 1+1?<｜Assistant｜>It's 2.<｜end▁of▁sentence｜><｜User｜>Explain more!<｜Assistant｜>

BOS（文頭）は強制的に追加され、EOS（文末）は各インタラクションを区切ります。推論中の BOS 二重追加を避けるため、次のみを呼び出すべきです tokenizer.encode(..., add_special_tokens = False) チャットテンプレートが自動で BOS トークンを追加するためです。 llama.cpp / GGUF の推論では、BOS は自動で追加されるのでスキップしてください。

<｜User｜>What is 1+1?<｜Assistant｜>

<think> と </think> トークンにはそれぞれ専用のトークンが割り当てられています。Qwen や Llama の蒸留版では一部トークンが再マッピングされており、例えば Qwen には BOS トークンがなかったため <|object_ref_start|> を代わりに使う必要がありました。 トークナイザIDマッピング：

トークン	R1	蒸留 Qwen	蒸留 Llama
<think>	128798	151648	128013
</think>	128799	151649	128014
<|begin_of_sentence|>	0	151646	128000
<|end_of_sentence|>	1	151643	128001
<|User|>	128803	151644	128011
<|Assistant|>	128804	151645	128012
パディングトークン	2	151654	128004

モデル内の元のトークン：

トークン	Qwen 2.5 32B Base	Llama 3.3 70B Instruct
<think>	<|box_start|>	<|reserved_special_token_5|>
</think>	<|box_end|>	<|reserved_special_token_6|>
<｜begin▁of▁sentence｜>	<|object_ref_start|>	<|begin_of_text|>
<｜end▁of▁sentence｜>	<|endoftext|>	<|end_of_text|>
<｜User｜>	<|im_start|>	<|reserved_special_token_3|>
<｜Assistant｜>	<|im_end|>	<|reserved_special_token_4|>
パディングトークン	<|vision_pad|>	<|finetune_right_pad_id|>

すべての蒸留版およびオリジナルの R1 バージョンは、誤ってパディングトークンを <｜end▁of▁sentence｜> に割り当てているようです。これは特にこれらの推論／推論に基づくモデルをさらにファインチューニングしたい場合には良くない影響があります。多くのフレームワークが EOS トークンを -100 としてマスクするため、無限生成が発生する可能性があります。 我々はすべての蒸留版とオリジナルの R1 を正しいパディングトークンで修正しました（Qwen は <|vision_pad|> を使用し、Llama は <|finetune_right_pad_id|> を使用し、R1 は <｜▁pad▁｜> または我々が追加した <｜PAD▁TOKEN｜> を使用します）。

GGUF R1 表

MoE ビット数	タイプ	ディスクサイズ	精度	リンク	詳細
1.58bit	UD-IQ1_S	131GB	公正	リンク	MoE 全体が1.56ビット。 down_proj MoE の混合で 2.06/1.56ビット
1.73bit	UD-IQ1_M	158GB	良好	リンク	MoE 全体が1.56ビット。 down_proj MoE の左側が2.06ビットのまま
2.22bit	UD-IQ2_XXS	183GB	より良い	リンク	MoE 全体が2.06ビット。 down_proj MoE の混合で 2.5/2.06ビット
2.51bit	UD-Q2_K_XL	212GB	最高	リンク	MoE 全体が2.5ビット。 down_proj MoE の混合で 3.5/2.5ビット