DeepSeek-V4: ローカル実行方法
DeepSeek-V4-Pro-0813とDeepSeek-V4-Flash-0731を自分のデバイスでローカル実行しましょう！
DeepSeek-V4、DeepSeek-V4-Pro-0813、および DeepSeek-V4-Flash-0731 は新しいオープンウェイトモデルです。Flash版は284Bパラメータ（うち13Bがアクティブ）で、V4-Proは1.6T（うち49Bがアクティブ）です。 V4-Pro-0813は、 8月13日にリリースされ、Claude-4.8-Opusの性能に並び、 V4-Flash-0731は、 7月31日にリリースされ、そのサイズクラスで最高の性能を発揮し、 V4-Proを上回ります （プレビュー）。コーディング、エージェント型、チャットのワークフロー向けに構築されており、 100万トークンのコンテキストウィンドウを備えたこのガイドでは、Unsloth Dynamic GGUFと Unsloth Desktop.
について、 ロスレスな DeepSeekを使うには、Q8（UD-Q8_K_XL）を使用してください。これはQ4（ よりわずか7GB大きい ）だけです。UD-Q4_K_XL。ロスレスの8-bit GGUFは です 162 GB で、3-bitは 103GB です。これは 110GBのRAM を搭載した. デバイスで実行できます。DeepSeek-V4-Flash-0731はTerminal Bench 2.1で82.7%、DeepSWEで54.4%、NL2Repoで54.2%を記録しています。 DSpark もGGUF向けに有効化されており、最大で 2倍高速なデコード速度!
8月13日: DeepSeek-V4-Pro-0813 がリリースされ、 量子化版が現在 実行可能になっています。
8月6日: DSparkがDeepSeek-V4-Flash-0731で有効化され、1.5倍から1.9倍高速な推論が可能に！DSparkは Unsloth.
でも自動的に有効化されます。 DeepSeek-V4のチャットJinjaテンプレートも改善し、4000件以上の会話で公式ベースラインと同等であることを確認しました。
📊 量子化分析
私たちの UD-Q8_K_XL 量子化は完全にロスレスです。DeepSeek-V4-Flashは 量子化対応学習済みです。公式チェックポイントは、ルーティングされたエキスパート（モデルの96%）をMXFP4でネイティブに保存し、それ以外をFP8またはBF16で保存しています。GGUFのMXFP4はまさにその形式なので、エキスパートをビット単位で再パックし、FP8は丸めなしでBF16に逆量子化されます。公式のDeepSeek重みとすべてのテンソルを照合したところ、1,328個すべてがビット一致しており、推論時もロスレスのままです（KLダイバージェンス ~0、トップトークン一致率100%）。
非-Unsloth のDeepSeek-V4-Flash GGUFは、これらの経路を使わずに変換されたため、公式の重みと異なっています。 UD-Q4_K_XL は同じビット完全一致のエキスパートを維持し、非エキスパートテンソル（モデルの4%）だけをQ8_0に量子化するため、サイズと品質の両面でQ8のすぐ隣に位置します。
公式の重みと比較すると、Unslothの両方の量子化版は品質/サイズのフロンティア上にあります。UD-Q8_K_XLが唯一のロスレス点です。UD-Q4_K_XLは他のコミュニティのMXFP4形式と一致し、Q4_K-experts変換より高精度ですが、それらはより大きいにもかかわらず0.029 KLDに達します。
レイヤーごとの誤差分布がその理由を示しています。ネイティブのMXFP4エキスパートを維持すると、各レイヤーで重み誤差は0%です。エキスパートをQ4_KやIQ2_XXSに再量子化する変換では、ほぼすべての重みが丸められます。Q4_Kで5%、IQ2_XXSでは30%以上です。
一部のテンソルでQ8_0とF16を使う方法もロスレスではないことが分かりました。しかも、MXFP4/FP8をうまく動かすためにDeepSeekがQATを適用しているので、さらに悪化します。そのため、それらは直接BF16のまま残す必要がありました。真のロスレス量子化にはUD-Q8_K_XLを使い、UD-Q4_K_XLではBF16項目の一部をQ8_0にダウングレードします。
の完全なベンチマーク表については、 GGUFベンチマークはこちらをご覧ください.
💬 DeepSeek V4チャットテンプレートの改善
また、DeepSeek-V4のチャットJinjaテンプレートを改善し、4000件以上の会話で公式DS4のゴールデンベースラインと同等であることを確認しました
を追加しました reasoning_effort を選択でき、 max、high を公式のDeepSeek-V4と同じように指定できます。DS4に従って正しいシステムプロンプトを前置し、gpt-ossのスタイルに合わせています。
また、ツール呼び出しについては、 reasoning_content はDS4で保持されていましたが、Jinjaチャットテンプレートでは除外されていました。そこで再度追加しました。
思考の無効化、reasoning effortの変更
DeepSeek-V4はデフォルトで推論を使用します。また、推論の強さもサポートしており、 reasoning_effort は「high」「max」、または無効にできます。
思考を無効にするには、次を使用します --chat-template-kwargs '{"enable_thinking":false}'。 Windows のPowerShellでは、次を使用してください: --chat-template-kwargs "{\"enable_thinking\":false}"
また、 --reasoning on または --reasoning off をllama.cppでも今は使えます！
推論の強さをカスタマイズしたり、推論を無効にしたりするには、以下の例を使用してください:
⚙️ 使用ガイド
DeepSeek-V4-FlashはDeepSeek-V4-Proより小さくて高速で、 284B パラメータ（うち13Bがアクティブ）を持ち、 100万トークンのコンテキストウィンドウ。このモデルには3つのモードがあります。 非思考, 思考 高 および 思考 最大.
次を使うことをおすすめします UD-IQ3_XXS 。これは 103GB で、最良の結果が得られます。ファイルサイズにはKVキャッシュやコンテキスト割り当てが含まれないため、少なくとも 110GBのRAM は必要です。
この UD-Q8_K_XL 量子化版は、DeepSeek-V4-Flashを完全な元の精度のまま保持しています。サイズは162GBで、少なくとも169GBの空きRAM/VRAMがあるのが理想です。
表: 推論用ハードウェア要件 （単位 = 総メモリ: RAM + VRAM、またはユニファイドメモリ）
標準
92 GB
102 GB
110-135 GB
162 GB
169 GB
DSpark
102 GB
112 GB
120-145 GB
172 GB
179 GB
DSparkは標準より多くのVRAMを使用するため、 約10 GB の追加RAM/VRAM余裕を見込んでください。
最高の性能を得るには、VRAMとシステムRAMを含む利用可能な総メモリが、量子化済みモデルファイルサイズを十分な余裕をもって上回るようにしてください。
推奨設定
DeepSeekは最高の性能のために次のパラメータを推奨しています: temperature = 1.0, top-p = 1.0。 DeepSeek-V4-Flash-0731 やエージェント型のシナリオでは、 top-p = 0.95 を代わりに推奨し、 top-p = 1.0 は他のタスクに使用します。
Think Highはデフォルトで有効です。 無効化されている場合は、次で有効にできます: --chat-template-kwargs '{"enable_thinking":true}' または UnslothのUIドロップダウンで切り替えできます。詳しくは DeepSeek-V4-Flash-0731
temperature = 1.0
top-p = 1.0
top-p = 0.95 （エージェント型のみ）
temperature = 1.0
top-p = 1.0
最大コンテキストウィンドウ:
1,048,576Think Maxでは、コンテキストを少なくとも 384Kトークン.
DeepSeek-V4-Flashチュートリアルを実行:
このチュートリアルでは、128GB RAMデバイスに収まるので3-bit量子化版を使用します。 UD-IQ3_XXSを UD-IQ3_XXS に置き換えてください UD-Q8_K_XL （元の品質）または、マシンに十分なメモリがあれば別の量子化版でも構いません。これでDeepSeek-V4-Flash-0731を Unsloth Desktop . DSparkは Unsloth.
🦥 Unslothガイド🦙 Llama.cppガイド⚡DSparkガイド
🦥 Unslothガイド
DeepSeek-V4-Flash-0731は現在 Unslothで実行および学習できます。これはローカルAI向けの新しいオープンソースUIです。Unsloth Desktopを使うと、ローカルで以下の環境にモデルを実行できます。 MacOS, Windows、Linux、そして:
検索、ダウンロード、 GGUFを実行 およびsafetensorモデル
自己修復 ツール呼び出し + ウェブ検索
コード実行 （Python、Bash）
自動推論 パラメータ調整（temp、top-pなど）
llama.cpp経由の高速なCPU + GPU推論
LLMを学習 70%少ないVRAMで2倍高速
Unslothをインストール
始める最も簡単な方法は、 Unsloth Desktopアプリをダウンロードすることです。 macOS, Windows、および Linux.
または、手動でインストールしたい場合:
MacOS、Linux、WSL:
Windows PowerShell:
DeepSeek-V4-Flashを検索してダウンロード
へ移動して Unsloth Chat またはModel hubに行き、検索バーでDeepSeek-V4-Flashを検索して、目的のモデルと量子化版をダウンロードしてください。
DeepSeek-V4-Flash-0731を実行
Unslothを使う場合、推論パラメータは自動設定されるはずですが、手動でも変更できます。 Think Highはデフォルトで有効なので、右側のドロップダウンでNon-thinkまたはThink Maxに切り替えられます。コンテキスト長、チャットテンプレート、その他の設定も編集できます。 DSparkは Unsloth.
詳細については、 Unsloth推論ガイド.
🦙 Llama.cppガイド
最新の llama.cpp を GitHubはこちらで入手してください。以下のビルド手順に従うこともできます。 -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。GPUがない場合、またはCPU推論だけを使いたい場合です。 Apple Mac / Metalデバイスでは、 -DGGML_CUDA=OFF を設定し、そのまま通常どおり続行してください。Metalサポートはデフォルトで有効です。
これで llama.cpp を直接使ってモデルの読み込みとダウンロードができるようになります。 ollama run。まず、 IQ3_XXSのように使いたい量子化タイプを選択します。また、 export LLAMA_CACHE="folder" を使って llama.cpp を特定の場所に保存するよう強制することもできます。このダウンロード処理は非常に遅くなる可能性があるため、次のセクションの手動ダウンロード手順を使うのがたぶん最善です。
モデルを手動でダウンロードしたい場合は、以下のコードでダウンロードできます（ pip install huggingface_hubの後）。ダウンロードが止まる場合は、次を参照してください: Hugging Face Hub、XETのデバッグ
次を編集できます --threads 32 でCPUスレッド数を指定し、 --ctx-size 32768 でコンテキスト長を指定し、 --n-gpu-layers 2 で何層をGPUにオフロードするかを指定します。GPUがメモリ不足になる場合は調整してみてください。CPUのみで推論する場合はこれも削除してください。
⚡DSpark - 推測的デコーディング
DeepSeek-V4-Flash-0731にはネイティブのDSparkがあり、最大で 2倍高速なデコード速度！DSparkはDeepSeekによる新しいアルゴリズムで、単純なMTPより優れており、この 論文で紹介されました。DSparkにより、DeepSeek-V4-Flashは 120 tokens/s に達し、B200 GPUでは元の60 tokens/sベースラインと比べて高速化されます。 DSparkは Unsloth ローカルUI
に自動で有効化されます。 PR 25784 の一部としてLlama.cppに統合され、さらにマルチGPUなどの改善が加わりました。 --spec-draft-n-max 3 を良いデフォルトとして使用することを示しています。これにより1.9倍高速な推論速度が得られます。より大きい値は遅くなるようです。
ドラフターとGGUFの両方をダウンロードしてください。Q8_0版2つとロスレスBF16版を用意しました。DSparkには約10GB多くメモリが必要になるため、128GBマシンではIQ3_XXSとQ8_0が必要になります
その後、llama-cliまたはllama-serverで読み込んでください:
元のDSpark論文からのベンチマークでも、MTPに対してどうかを示しています:
📊 ベンチマーク
GGUFベンチマーク
以下の表では、Unslothおよび他の提供元の量子化版のベンチマークを比較しています。参照 = 公式の重み。4x B200上のctx 512でwikitext-2の困惑度とKLダイバージェンスを測定。
公式（参照）
156.4
4.5319
0
0%
100%
100%
Unsloth UD-Q8_K_XL
161.9
4.5319
~0（ロスレス）
0.000%
100.000%
100.000%
Unsloth UD-Q4_K_XL
155.1
4.5335
0.0102
3.40%
96.28%
97.46%
bartowski MXFP4
156.0
4.5351
0.0105
3.42%
96.18%
97.57%
antirez Q4KExperts-F16（imatrix）
164.6
4.5743
0.0291
5.87%
93.95%
0.51%
antirez Q4KExperts-F16
164.6
4.5726
0.0290
5.89%
93.94%
0.93%
antirez mixed L37-42-Q4K（imatrix）
97.6
5.8169
0.3605
21.15%
79.74%
0.41%
antirez IQ2XXS（imatrix）
86.7
6.0808
0.4079
22.23%
78.15%
0.39%
antirez IQ2XXS
86.7
6.1518
0.4207
22.74%
77.92%
0.47%
公式ベンチマーク
DeepSeek-V4-Flash-0731 は、起動されるパラメータ数がはるかに少ないにもかかわらず、以下のベンチマークで DeepSeek-V4-Pro (プレビュー) を上回り、主要な独自開発モデルと競争力を維持しています。
Terminal Bench 2.1
82.7
61.8
72.1
81.0
85.0
NL2Repo
54.2
39.4
38.5
48.9
69.7
Cybergym
76.7
38.7
52.7
-
83.1
DeepSWE
54.4
7.3
12.8
46.2
58.0
Toolathlon-Verified
70.3
49.7
55.9
59.9
76.2
Agents' Last Exam
25.2
15.8
16.5
23.8
25.7
AutomationBench Public
25.1
10.8
12.8
12.9
27.2
DSBench-FullStack †
68.7
37.0
41.8
61.8
71.6
DSBench-Hard †
59.6
25.8
31.1
54.5
71.7
最終更新
役に立ちましたか？