🐋DeepSeek-R1-0528: ローカル実行方法

Qwen3 を含む DeepSeek-R1-0528 をご自身のローカル端末で実行する方法のガイド！

DeepSeek-R1-0528 は、DeepSeek の R1 推論モデルに対する新しいアップデートです。完全版の 671B パラメータモデルには 715GB のディスク容量が必要です。量子化された動的 1.66ビット 版は 162GB（サイズを 80% 削減）を使用します。GGUF: DeepSeek-R1-0528-GGUF

DeepSeek はまた、Qwen3（8B）をファインチューニングした R1-0528 蒸留版もリリースしました。この蒸留版は Qwen3（235B）に近い性能を達成します。 また、 Qwen3 Distill をファインチューニング することもできます. Qwen3 GGUF: DeepSeek-R1-0528-Qwen3-8B-GGUF

すべてのアップロードは Unsloth Dynamic 2.0 を使用しており、SOTA の 5-shot MMLU と KL Divergence の性能に対応しています。つまり、精度の低下を最小限に抑えたまま、量子化された DeepSeek LLM を実行＆ファインチューニングできます。

チュートリアルのナビゲーション:

llama.cpp で実行 Ollama/Open WebUI で実行 R1-0528 のファインチューニング

新機能: ツール呼び出しとチャットテンプレート修正が大幅に改善されました。新 TQ1_0 動的 1.66ビット量子化 - サイズは 162GB。192GB RAM（Mac 含む）および Ollama ユーザーに最適です。試すには: ollama run hf.co/unsloth/DeepSeek-R1-0528-GGUF:TQ1_0

⚙️ 推奨設定

DeepSeek-R1-0528-Qwen3-8B については、このモデルはほぼどんな環境でも収まり、RAM が 20GB しかない構成でも動作します。事前準備は不要です。ただし、サイズが 715GB のフル版 R1-0528 モデルでは、追加の準備が必要です。1.78ビット（IQ1_S）の量子化版は 1x 24GB GPU（すべてのレイヤーをオフロード）に収まります。この構成で、さらに 128GB RAM があれば、およそ 5 トークン/秒が期待できます。

この量子化版を実行するには、少なくとも 64GB RAM が推奨されます（GPU がない場合は 1 トークン/秒になります）。最適な性能には少なくとも 180GB のユニファイドメモリ、または 180GB の RAM+VRAM 合計 が必要です。5 トークン/秒以上を目指す場合。

サイズと精度のバランスを取るため、2.7ビット（Q2_K_XL）または 2.4ビット（IQ2_XXS）の量子化版の使用を推奨します。2.4ビット版も十分よく動作します。

必須ではありませんが、最高の性能を得るには、VRAM + RAM の合計をダウンロードする量子化版のサイズと同じにしてください。

🐳 公式推奨設定:

によると DeepSeek、R1（R1-0528 と Qwen3 distill は同じ設定を使うべき）の推論に推奨される設定は次のとおりです:

設定 temperature を 0.6 に して、反復と不整合を減らします。
設定 top_p を 0.95 に （推奨）
信頼できる評価のために、複数回テストして結果を平均してください。

🔢 チャットテンプレート/プロンプト形式

R1-0528 は元の R1 モデルと同じチャットテンプレートを使用します。強制的に <think>\n を入れる必要はありませんが、追加することはできます！

<｜begin▁of▁sentence｜><｜User｜>1+1 はいくつですか？<｜Assistant｜>2 です。<｜end▁of▁sentence｜><｜User｜>もっと説明して！<｜Assistant｜>

BOS は強制的に追加され、EOS が各やり取りを区切ります。推論時に BOS トークンが二重になるのを防ぐには、次のみを呼び出してください tokenizer.encode(..., add_special_tokens = False) チャットテンプレートが BOS トークンも自動で追加するためです。 llama.cpp / GGUF 推論では、自動追加されるので BOS を省略してください:

<｜User｜>1+1 はいくつですか？<｜Assistant｜>

その <think> と </think> トークンには、それぞれ専用のトークンが割り当てられます。

モデルのアップロード

すべてのアップロードは - imatrix ベースでも dynamic ベースでもないものを含め、会話・コーディング・言語タスク向けに特別に最適化された校正データセットを使用しています。

Qwen3（8B）distill: DeepSeek-R1-0528-Qwen3-8B-GGUF
フル版 DeepSeek-R1-0528 モデルのアップロードは以下です:

また、 IQ4_NL と Q4_1 の量子化版もアップロードしました。これらはそれぞれ ARM および Apple デバイスで特に高速に動作します。

MoE ビット

タイプ + リンク

ディスクサイズ

詳細

1.66bit

TQ1_0

162GB

1.92/1.56bit

1.78bit

IQ1_S

185GB

2.06/1.56bit

1.93bit

IQ1_M

200GB

2.5/2.06/1.56

2.42bit

IQ2_XXS

216GB

2.5/2.06bit

2.71bit

Q2_K_XL

251GB

3.5/2.5bit

3.12bit

IQ3_XXS

273GB

3.5/2.06bit

3.5bit

Q3_K_XL

296GB

4.5/3.5bit

4.5bit

Q4_K_XL

384GB

5.5/4.5bit

5.5bit

Q5_K_XL

481GB

6.5/5.5bit

以下の形式のバージョンもアップロードしました BF16 形式と、元の FP8（float8）形式.

DeepSeek-R1-0528 のチュートリアルを実行:

🦙 Ollama/Open WebUI で実行

インストール ollama まだなら！サイズ 32B までのモデルしか実行できません。フル 720GB の R1-0528 モデルを実行するには、こちらを参照.

apt-get update
apt-get install pciutils -y
curl -fsSL https://ollama.com/install.sh | sh

モデルを実行してください！失敗した場合は、 ollama serveを別の端末で呼び出せます。修正点と推奨パラメータ（temperature など）はすべて params の Hugging Face アップロードに含めています！

ollama run hf.co/unsloth/DeepSeek-R1-0528-Qwen3-8B-GGUF:Q4_K_XL

（新）フル版 R1-0528 モデルを Ollama で実行するには、TQ1_0（162GB の量子化版）を使えます:

OLLAMA_MODELS=unsloth_downloaded_models ollama serve &

ollama run hf.co/unsloth/DeepSeek-R1-0528-GGUF:TQ1_0

🦙 Ollama/Open WebUI でフル版 R1-0528 を実行

Open WebUI では、R1 を実行するためのステップバイステップのチュートリアルがここにあります。R1-0528 では、R1 を新しい 0528 の量子化版に置き換えるだけです: https://docs.openwebui.com/tutorials/integrations/llm-providers/deepseekr1-dynamic

（新）フル版 R1-0528 モデルを Ollama で実行するには、TQ1_0（162GB の量子化版）を使えます:

OLLAMA_MODELS=unsloth_downloaded_models ollama serve &

ollama run hf.co/unsloth/DeepSeek-R1-0528-GGUF:TQ1_0

TQ1_0（162GB）より大きい量子化版を Ollama で使いたい場合は、まず下のコードのように 3 つの GGUF 分割ファイルを 1 つに結合する必要があります。その後、モデルをローカルで実行してください。

./llama.cpp/llama-gguf-split --merge \\
  DeepSeek-R1-0528-GGUF/DeepSeek-R1-0528-UD-IQ1_S/DeepSeek-R1-0528-UD-IQ1_S-00001-of-00003.gguf \\
	merged_file.gguf

✨ llama.cpp で Qwen3 蒸留版 R1 を実行

フル 720GB の R1-0528 モデルを実行するには、 こちらを参照. 最新の llama.cpp を GitHub こちらから入手してください。以下のビルド手順に従うこともできます。 -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。GPU がない場合、または CPU 推論だけを行いたい場合です。 Apple Mac / Metal デバイスでは、次を設定し、 -DGGML_CUDA=OFF その後は通常どおり進めてください。Metal サポートはデフォルトで有効です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

その後、llama.cpp を直接使ってモデルをダウンロードします:

./llama.cpp/llama-cli -hf unsloth/DeepSeek-R1-0528-Qwen3-8B-GGUF:Q4_K_XL --jinja

✨ llama.cpp でフル版 R1-0528 を実行

最新の llama.cpp を GitHub こちらから入手してください。以下のビルド手順に従うこともできます。 -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。GPU がない場合、または CPU 推論だけを行いたい場合です。 Apple Mac / Metal デバイスでは、次を設定し、 -DGGML_CUDA=OFF その後は通常どおり進めてください。Metal サポートはデフォルトで有効です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split llama-mtmd-cli
cp llama.cpp/build/bin/llama-* llama.cpp

を使いたい場合は llama.cpp モデルの読み込みに直接使うには、以下のようにできます。(:IQ1_S) は量子化タイプです。Hugging Face 経由でダウンロードすることもできます（3 を参照）。これは ollama run に似ています。 export LLAMA_CACHE="folder" を使って、 llama.cpp 特定の場所に保存するよう強制できます。

ぜひ試してください -ot ".ffn_.*_exps.=CPU" すべての MoE レイヤーを CPU にオフロードします。これにより、非 MoE レイヤーを 1 枚の GPU に収められ、生成速度が向上します。GPU 容量がさらにある場合は、正規表現を調整してより多くのレイヤーを収めることができます。

GPU メモリがもう少しある場合は、 -ot ".ffn_(up|down)_exps.=CPU" を試してください。

さらに GPU メモリがあるなら、 -ot ".ffn_(up)_exps.=CPU" を試してください。これで up projection の MoE レイヤーのみをオフロードします。

そして最後に、次を使ってすべてのレイヤーをオフロードします -ot ".ffn_.*_exps.=CPU" これが最も少ない VRAM を使用します。

正規表現をカスタマイズすることもできます。例えば -ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU" は、6層目以降の gate、up、down の MoE レイヤーをオフロードすることを意味します。

export LLAMA_CACHE="unsloth/DeepSeek-R1-0528-GGUF"
./llama.cpp/llama-cli \\
    -hf unsloth/DeepSeek-R1-0528-GGUF:IQ1_S \\
    --cache-type-k q4_0 \\
    --threads -1 \\
    --n-gpu-layers 99 \\
    --prio 3 \\
    --temp 0.6 \\
    --top-p 0.95 \\
    --min-p 0.01 \\
    --ctx-size 16384 \\
    --seed 3407 \\
    -ot ".ffn_.*_exps.=CPU"

以下でモデルをダウンロードしてください（インストール後に pip install huggingface_hub hf_transfer ）。次を選べます UD-IQ1_S（動的 1.78bit 量子化版）または、次のような他の量子化版 Q4_K_M も使えます。 サイズと精度のバランスを取るには、私たちの 2.7bit 動的量子化版 UD-Q2_K_XL の使用を推奨します。その他のバージョンはこちら: https://huggingface.co/unsloth/DeepSeek-R1-0528-GGUF

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0" # 速度制限されることがあるため、0 に設定して無効化
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/DeepSeek-R1-0528-GGUF",
    local_dir = "unsloth/DeepSeek-R1-0528-GGUF",
    allow_patterns = ["*UD-IQ1_S*"], # 動的 1bit（168GB） 動的 2bit（251GB）には "*UD-Q2_K_XL*" を使用
)

Unsloth の Flappy Bird テストを、DeepSeek R1 向け 1.58bit Dynamic Quant で説明した方法に従って実行します。
編集 --threads 32 CPU スレッド数について、 --ctx-size 16384 コンテキスト長について、 --n-gpu-layers 2 GPU オフロードするレイヤー数について。GPU がメモリ不足になったら調整してみてください。CPU のみで推論する場合は、これも削除してください。

./llama.cpp/llama-cli \\
    --model unsloth/DeepSeek-R1-0528-GGUF/UD-IQ1_S/DeepSeek-R1-0528-UD-IQ1_S-00001-of-00004.gguf \\
    --cache-type-k q4_0 \\
    --threads -1 \\
    --n-gpu-layers 99 \\
    --prio 3 \\
    --temp 0.6 \\
    --top-p 0.95 \\
    --min-p 0.01 \\
    --ctx-size 16384 \\
    --seed 3407 \\
    -ot ".ffn_.*_exps.=CPU" \\
    -no-cnv \\
    --prompt "<｜User｜>Python で Flappy Bird ゲームを作成してください。次の内容を必ず含めてください:\n1. pygame を使うこと。\n2. 背景色はランダムに選ばれた明るい色にすること。最初は薄い青にしてください。\n3. SPACE を何度も押すと鳥の速度が上がること。\n4. 鳥の形は四角、円、三角形のいずれかからランダムに選ぶこと。色はランダムに選ばれた暗い色にすること。\n5. 下部に、ランダムに選ばれた暗い茶色または黄色の地面を配置すること。\n6. 右上にスコアを表示すること。パイプを通過して当たらなければ加算すること。\n7. 十分な間隔を持つパイプをランダムに配置すること。色は暗い緑、薄い茶色、または暗い灰色からランダムにすること。\n8. 負けたらベストスコアを表示すること。テキストは画面内に収めること。q または Esc でゲームを終了すること。再開は SPACE をもう一度押すこと。\n最終的なゲームは Python の markdown セクション内に入れてください。最終の markdown セクションの前にコードのエラーを確認して修正してください。<｜Assistant｜>"

🎱 六角形テスト

また、 r/Localllama 経由で動的量子化版をテストすることもできます。これは、移動する閉じた六角形の中でボールが回転する様子をシミュレートする基本的な物理エンジンを作るモデルをテストします。

モデルを実行するための完全なプロンプト

./llama.cpp/llama-cli \\
    --model unsloth/DeepSeek-R1-0528-GGUF/UD-IQ1_S/DeepSeek-R1-0528-UD-IQ1_S-00001-of-00004.gguf \\
    --cache-type-k q4_0 \\
    --threads -1 \\
    --n-gpu-layers 99 \\
    --prio 3 \\
    --temp 0.6 \\
    --top_p 0.95 \\
    --min_p 0.01 \\
    --ctx-size 16384 \\
    --seed 3407 \\
    -ot ".ffn_.*_exps.=CPU" \\
    -no-cnv \\
    --prompt "<｜User｜>回転する六角形の中で 20 個のボールが跳ね返る Python プログラムを書いてください:\n- すべてのボールは同じ半径にしてください。\n- すべてのボールには 1 から 20 までの番号を表示してください。\n- すべてのボールは開始時に六角形の中心から落下します。\n- 色は次のとおりです: #f8b862, #f6ad49, #f39800, #f08300, #ec6d51, #ee7948, #ed6d3d, #ec6800, #ec6800, #ee7800, #eb6238, #ea5506, #ea5506, #eb6101, #e49e61, #e45e32, #e17b34, #dd7a56, #db8449, #d66a35\n- ボールは重力と摩擦の影響を受け、回転する壁で現実的に跳ね返る必要があります。また、ボール同士の衝突も必要です。\n- すべてのボールの材質は、その衝突時の跳ね返り高さが六角形の半径を超えないが、ボールの半径よりは高くなることを意味します。\n- すべてのボールは摩擦を伴って回転し、ボール上の番号をボールの回転を示すために使うことができます。\n- 六角形は中心の周りを回転し、その回転速度は 5 秒で 360 度です。\n- 六角形のサイズは、すべてのボールを収められる十分な大きさにしてください。\n- pygame ライブラリは使用しないでください。衝突検出アルゴリズムと衝突応答などは自分で実装してください。以下の Python ライブラリは使用できます: tkinter, math, numpy, dataclasses, typing, sys。\n- すべてのコードは 1 つの Python ファイルにまとめてください。<｜Assistant｜>"

🦥 Unsloth を使った DeepSeek-R1-0528 のファインチューニング

ファインチューニングするには DeepSeek-R1-0528-Qwen3-8B を Unsloth で使用するため、カスタム報酬関数を備えた新しい GRPO ノートブックを作成しました。これは多言語出力を大幅に向上させるよう設計されており、特定の言語での応答率を大きく増やします（例ではインドネシア語を使用していますが、任意の言語にできます）。40% 以上の改善が見込めます。

DeepSeek-R1-0528-Qwen3-8B ノートブック - 新規

多くの推論 LLM は多言語機能を持っていますが、推論トレース内で英語と対象言語が混在した出力をしばしば生成します。私たちの報酬関数は、望む言語での出力を強く促すことでこの問題を効果的に軽減し、言語の一貫性を大幅に改善します。

この報酬関数は完全にカスタマイズ可能で、他の言語への適用や特定のドメイン・ユースケース向けのファインチューニングが可能です。

この報酬関数とノートブックの最大の利点は、モデルに特定の言語を学習させるための言語データセットが不要なことです。ノートブックにはインドネシア語データセットはありません。

Unsloth により、R1-Qwen3 distill のファインチューニングは 2 倍高速になり、VRAM 使用量は 70% 減少し、コンテキスト長は 8 倍まで延長できます。

最終更新 2 か月前

役に立ちましたか？