> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/moderu/deepseek-v4.md). # DeepSeek-V4: ローカルでの実行方法 DeepSeek-V4、DeepSeek-V4-**Pro-0813**、および DeepSeek-V4-**Flash-0731** は新しいオープンウェイトモデルです。Flash版は284Bパラメータ（うち13Bがアクティブ）で、V4-Proは1.6T（うち49Bがアクティブ）です。 **V4-Pro-0813**は、 **8月13日**にリリースされ、Claude-4.8-Opusの性能に並び、 **V4-Flash-0731**は、 **7月31日**にリリースされ、そのサイズクラスで最高の性能を発揮し、 **V4-Proを上回ります** （プレビュー）。コーディング、エージェント型、チャットのワークフロー向けに構築されており、 **100万トークンのコンテキストウィンドウ**を備えたこのガイドでは、Unsloth Dynamic GGUFと [Unsloth Desktop](/docs/jp/desktop.md). について、 **ロスレスな** DeepSeekを使うには、Q8（`UD-Q8_K_XL`）を使用してください。これはQ4（ **よりわずか7GB大きい** ）だけです。`UD-Q4_K_XL`。ロスレスの8-bit GGUFは です **162 GB** で、3-bitは **103GB** です。これは **110GBのRAM** を搭載した**.** デバイスで実行できます。DeepSeek-V4-Flash-0731はTerminal Bench 2.1で82.7%、DeepSWEで54.4%、NL2Repoで54.2%を記録しています。 [DSpark](#dspark-speculative-decoding) もGGUF向けに有効化されており、最大で **2倍高速なデコード速度**! {% hint style="success" %} **8月13日:** DeepSeek-**V4-Pro-0813** がリリースされ、 [量子化版が現在](https://huggingface.co/unsloth/DeepSeek-V4-Pro-0813-GGUF) 実行可能になっています。 {% endhint %} {% hint style="success" %} **8月6日: DSparkがDeepSeek-V4-Flash-0731で有効化され、1.5倍から1.9倍高速な推論が可能に！DSparkは** [**Unsloth**](#unsloth-studio-guide)**.** でも自動的に有効化されます。 [DeepSeek-V4のチャットJinjaテンプレート](#deepseek-v4-chat-template-improvements)も改善し、4000件以上の会話で公式ベースラインと同等であることを確認しました。 {% endhint %} | [DeepSeek-V4-Pro-0813-GGUF](https://huggingface.co/unsloth/DeepSeek-V4-Pro-0813-GGUF) | [DeepSeek-V4-Flash-**0731**-GGUF](https://huggingface.co/unsloth/DeepSeek-V4-Flash-0731-GGUF) | [DeepSeek-V4-Flash-GGUF](https://huggingface.co/unsloth/DeepSeek-V4-Flash-GGUF) | | ------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------- | 使用ガイド実行チュートリアル ### 📊 量子化分析 私たちの `UD-Q8_K_XL` 量子化は完全にロスレスです。DeepSeek-V4-Flashは [量子化対応学習済み](/docs/jp/burogu/quantization-aware-training-qat.md)です。公式チェックポイントは、ルーティングされたエキスパート（モデルの96%）をMXFP4でネイティブに保存し、それ以外をFP8またはBF16で保存しています。GGUFのMXFP4はまさにその形式なので、エキスパートをビット単位で再パックし、FP8は丸めなしでBF16に逆量子化されます。公式のDeepSeek重みとすべてのテンソルを照合したところ、1,328個すべてがビット一致しており、推論時もロスレスのままです（KLダイバージェンス \~0、トップトークン一致率100%）。 **非**-Unsloth のDeepSeek-V4-Flash GGUFは、これらの経路を使わずに変換されたため、公式の重みと異なっています。 `UD-Q4_K_XL` は同じビット完全一致のエキスパートを維持し、非エキスパートテンソル（モデルの4%）だけをQ8\_0に量子化するため、サイズと品質の両面でQ8のすぐ隣に位置します。
公式の重みと比較すると、Unslothの両方の量子化版は品質/サイズのフロンティア上にあります。UD-Q8\_K\_XLが唯一のロスレス点です。UD-Q4\_K\_XLは他のコミュニティのMXFP4形式と一致し、Q4\_K-experts変換より高精度ですが、それらはより大きいにもかかわらず0.029 KLDに達します。
レイヤーごとの誤差分布がその理由を示しています。ネイティブのMXFP4エキスパートを維持すると、各レイヤーで重み誤差は0%です。エキスパートをQ4\_KやIQ2\_XXSに再量子化する変換では、ほぼすべての重みが丸められます。Q4\_Kで5%、IQ2\_XXSでは30%以上です。

私たちのMXFP4は840万個すべての重みで誤差が完全に0ですが、別の4-bitグリッドであるQ4_Kでは各重みを丸める必要があり（RMSE 5.2%）、誤差が発生します。

一部のテンソルでQ8\_0とF16を使う方法もロスレスではないことが分かりました。しかも、MXFP4/FP8をうまく動かすためにDeepSeekがQATを適用しているので、さらに悪化します。そのため、それらは直接BF16のまま残す必要がありました。真のロスレス量子化にはUD-Q8\_K\_XLを使い、UD-Q4\_K\_XLではBF16項目の一部をQ8\_0にダウングレードします。 の完全なベンチマーク表については、 [GGUFベンチマークはこちらをご覧ください](#gguf-benchmarks). ### :speech\_balloon: DeepSeek V4チャットテンプレートの改善 また、DeepSeek-V4のチャットJinjaテンプレートを改善し、4000件以上の会話で公式DS4のゴールデンベースラインと同等であることを確認しました を追加しました `reasoning_effort` を選択でき、 `max、high` を公式のDeepSeek-V4と同じように指定できます。DS4に従って正しいシステムプロンプトを前置し、gpt-ossのスタイルに合わせています。 また、ツール呼び出しについては、 `reasoning_content` はDS4で保持されていましたが、Jinjaチャットテンプレートでは除外されていました。そこで再度追加しました。 #### **思考の無効化、reasoning effortの変更** DeepSeek-V4はデフォルトで推論を使用します。また、推論の強さもサポートしており、 `reasoning_effort` は「high」「max」、または無効にできます。 思考を無効にするには、次を使用します `--chat-template-kwargs '{"enable_thinking":false}'`。 **Windows** のPowerShellでは、次を使用してください: `--chat-template-kwargs "{\"enable_thinking\":false}"` また、 `--reasoning on` または `--reasoning off` をllama.cppでも今は使えます！ 推論の強さをカスタマイズしたり、推論を無効にしたりするには、以下の例を使用してください: ```bash --chat-template-kwargs '{"reasoning_effort":"max"}' --chat-template-kwargs '{"reasoning_effort":"high"}' --chat-template-kwargs '{"enable_thinking":false}' ``` ### ⚙️ 使用ガイド DeepSeek-V4-FlashはDeepSeek-V4-Proより小さくて高速で、 **284B** パラメータ（うち13Bがアクティブ）を持ち、 **100万トークンのコンテキストウィンドウ**。このモデルには3つのモードがあります。 **非思考**, **思考** **高** および **思考** **最大**. 次を使うことをおすすめします `UD-IQ3_XXS` 。これは **103GB** で、最良の結果が得られます。ファイルサイズにはKVキャッシュやコンテキスト割り当てが含まれないため、少なくとも **110GBのRAM** は必要です。 この `UD-Q8_K_XL` 量子化版は、DeepSeek-V4-Flashを完全な元の精度のまま保持しています。サイズは162GBで、少なくとも169GBの空きRAM/VRAMがあるのが理想です。 **表: 推論用ハードウェア要件** （単位 = 総メモリ: RAM + VRAM、またはユニファイドメモリ）
形式1-bit2-bit3-bit4-bit（ほぼロスレス）Q8_K_XL（ロスレス）
標準92 GB102 GB110-135 GB162 GB169 GB
DSpark102 GB112 GB120-145 GB172 GB179 GB
{% hint style="info" %} **DSparkは標準より多くのVRAMを使用するため**、 **約10 GB** の追加RAM/VRAM余裕を見込んでください。 {% endhint %} {% hint style="success" %} 最高の性能を得るには、VRAMとシステムRAMを含む利用可能な総メモリが、量子化済みモデルファイルサイズを十分な余裕をもって上回るようにしてください。 {% endhint %} ### 推奨設定 DeepSeekは最高の性能のために次のパラメータを推奨しています: `temperature = 1.0`, `top-p = 1.0`。 **DeepSeek-V4-Flash-0731** やエージェント型のシナリオでは、 `top-p = 0.95` を代わりに推奨し、 `top-p = 1.0` は他のタスクに使用します。 **Think Highはデフォルトで有効です。** 無効化されている場合は、次で有効にできます: `--chat-template-kwargs '{"enable_thinking":true}'` または [Unsloth](#unsloth-studio-guide)のUIドロップダウンで切り替えできます。詳しくは [#deepseek-v4-chat-template-improvements](#deepseek-v4-chat-template-improvements "mention") {% columns %} {% column width="50%" %} | DeepSeek-V4-Flash-0731 | | -------------------------- | | `temperature = 1.0` | | `top-p = 1.0` | | `top-p = 0.95` （エージェント型のみ） | | {% endcolumn %} | {% column width="50%" %} | 旧DeepSeek-V4-FlashおよびV4-Pro | | --------------------------- | | `temperature = 1.0` | | `top-p = 1.0` | | {% endcolumn %} | | {% endcolumns %} | * **最大コンテキストウィンドウ:** `1,048,576` * Think Maxでは、コンテキストを少なくとも **384Kトークン**. ## DeepSeek-V4-Flashチュートリアルを実行: このチュートリアルでは、128GB RAMデバイスに収まるので3-bit量子化版を使用します。 `UD-IQ3_XXS`を `UD-IQ3_XXS` に置き換えてください `UD-Q8_K_XL` （元の品質）または、マシンに十分なメモリがあれば別の量子化版でも構いません。これでDeepSeek-V4-Flash-0731を [Unsloth Desktop](#run-in-unsloth-studio) . **DSparkは** [**Unsloth**](#unsloth-studio-guide)**.** 🦥 Unslothガイド🦙 Llama.cppガイド⚡DSparkガイド ### 🦥 Unslothガイド DeepSeek-V4-Flash-0731は現在 [Unsloth](/docs/jp/shii/studio.md)で実行および学習できます。これはローカルAI向けの新しいオープンソースUIです。Unsloth Desktopを使うと、ローカルで以下の環境にモデルを実行できます。 **MacOS**, **Windows**、Linux、そして: {% columns %} {% column %} * 検索、ダウンロード、 [GGUFを実行](/docs/jp/shii/studio.md#run-models-locally) およびsafetensorモデル * [**自己修復** ツール呼び出し](/docs/jp/shii/studio.md#execute-code--heal-tool-calling) + **ウェブ検索** * [**コード実行**](/docs/jp/shii/studio.md#run-models-locally) （Python、Bash） * [自動推論](https://unsloth.ai/docs/desktop#feature-deep-dive) パラメータ調整（temp、top-pなど） * llama.cpp経由の高速なCPU + GPU推論 * [LLMを学習](/docs/jp/shii/studio.md#no-code-training) 70%少ないVRAMで2倍高速 {% endcolumn %} {% column %}
{% endcolumn %} {% endcolumns %} {% stepper %} {% step %} #### Unslothをインストール 始める最も簡単な方法は、 [Unsloth Desktopアプリ](/docs/jp/desktop.md)をダウンロードすることです。 [macOS](/docs/jp/meru/install/mac.md), [Windows](/docs/jp/meru/install/windows-installation.md)、および [Linux](/docs/jp/meru/install/linux.md). Unslothをダウンロード * :apple: [macOS用をダウンロード](https://unsloth.ai/download/mac) * :windows: [Windows用をダウンロード](https://unsloth.ai/download/windows) * :linux: [Linux用をダウンロード](https://unsloth.ai/download/linux) または、手動でインストールしたい場合: MacOS、Linux、WSL: ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` Windows PowerShell: ```bash irm https://unsloth.ai/install.ps1 | iex ``` {% endstep %} {% step %} #### DeepSeek-V4-Flashを検索してダウンロード へ移動して [Unsloth Chat](/docs/jp/shii/studio/chat.md) またはModel hubに行き、検索バーでDeepSeek-V4-Flashを検索して、目的のモデルと量子化版をダウンロードしてください。
{% endstep %} {% step %} #### DeepSeek-V4-Flash-0731を実行 Unslothを使う場合、推論パラメータは自動設定されるはずですが、手動でも変更できます。 **Think Highはデフォルトで有効**なので、右側のドロップダウンでNon-thinkまたはThink Maxに切り替えられます。コンテキスト長、チャットテンプレート、その他の設定も編集できます。 **DSparkは** [**Unsloth**](#unsloth-studio-guide)**.** 詳細については、 [Unsloth推論ガイド](/docs/jp/shii/studio/chat.md).
{% endstep %} {% endstepper %} ### 🦙 Llama.cppガイド {% stepper %} {% step %} 最新の `llama.cpp` **を** [**GitHubはこちら**](https://github.com/ggml-org/llama.cpp)で入手してください。以下のビルド手順に従うこともできます。 `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF` に変更してください。GPUがない場合、またはCPU推論だけを使いたい場合です。 **Apple Mac / Metalデバイスでは**、 `-DGGML_CUDA=OFF` を設定し、そのまま通常どおり続行してください。Metalサポートはデフォルトで有効です。 ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` {% endstep %} {% step %} これで `llama.cpp` を直接使ってモデルの読み込みとダウンロードができるようになります。 `ollama run`。まず、 `IQ3_XXS`のように使いたい量子化タイプを選択します。また、 `export LLAMA_CACHE="folder"` を使って `llama.cpp` を特定の場所に保存するよう強制することもできます。このダウンロード処理は非常に遅くなる可能性があるため、次のセクションの手動ダウンロード手順を使うのがたぶん最善です。 ```bash export LLAMA_CACHE="unsloth/DeepSeek-V4-Flash-0731-GGUF" ./llama.cpp/llama-cli \ -hf unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-IQ3_S \ --temp 1.0 \ --top-p 1.0 \ --min-p 0.01 ``` {% endstep %} {% step %} モデルを手動でダウンロードしたい場合は、以下のコードでダウンロードできます（ `pip install huggingface_hub`の後）。ダウンロードが止まる場合は、次を参照してください: [Hugging Face Hub、XETデバッグ](/docs/jp/ji-ben/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) ```bash hf download unsloth/DeepSeek-V4-Flash-0731-GGUF \ --local-dir unsloth/DeepSeek-V4-Flash-0731-GGUF \ --include "*UD-IQ3_S*" # 4-bitの場合は"*UD-IQ4_XS*"を使用 ``` {% endstep %} {% step %} 次を編集できます `--threads 32` でCPUスレッド数を指定し、 `--ctx-size 32768` でコンテキスト長を指定し、 `--n-gpu-layers 2` で何層をGPUにオフロードするかを指定します。GPUがメモリ不足になる場合は調整してみてください。CPUのみで推論する場合はこれも削除してください。 {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \ --model unsloth/DeepSeek-V4-Flash-0731-GGUF/UD-IQ3_S/DeepSeek-V4-Flash-0731-UD-IQ3_S-00001-of-00004.gguf \ --temp 1.0 \ --top-p 1.0 \ --min-p 0.01 ``` {% endcode %} {% endstep %} {% endstepper %} ## :zap:DSpark - 推測的デコーディング DeepSeek-V4-Flash-0731にはネイティブのDSparkがあり、最大で **2倍高速なデコード速度**！DSparkはDeepSeekによる新しいアルゴリズムで、単純なMTPより優れており、この [論文](https://arxiv.org/abs/2607.05147)で紹介されました。DSparkにより、DeepSeek-V4-Flashは **120 tokens/s** に達し、B200 GPUでは元の60 tokens/sベースラインと比べて高速化されます。 **DSparkは** [**Unsloth**](#unsloth-studio-guide) **ローカルUI** に自動で有効化されます。 [PR 25784](https://github.com/ggml-org/llama.cpp/pull/25784) の一部としてLlama.cppに統合され、さらにマルチGPUなどの改善が加わりました。 `--spec-draft-n-max 3` を良いデフォルトとして使用することを示しています。これにより1.9倍高速な推論速度が得られます。より大きい値は遅くなるようです。
ドラフターとGGUFの両方をダウンロードしてください。Q8\_0版2つとロスレスBF16版を用意しました。DSparkには約10GB多くメモリが必要になるため、128GBマシンではIQ3\_XXSとQ8\_0が必要になります {% code overflow="wrap" %} ```bash hf download unsloth/DeepSeek-V4-Flash-0731-GGUF \ --local-dir unsloth/DeepSeek-V4-Flash-0731-GGUF \ --include "*dspark-DeepSeek-V4-Flash-0731-Q8_0*" \ --include "*UD-IQ3_XXS*" # 4-bitの場合は"*UD-IQ4_XS*"を使用 ``` {% endcode %} その後、llama-cliまたはllama-serverで読み込んでください: {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \ --model unsloth/DeepSeek-V4-Flash-0731-GGUF/UD-IQ3_XXS/DeepSeek-V4-Flash-0731-UD-IQ3_XXS-00001-of-00004.gguf \ -md unsloth/DeepSeek-V4-Flash-0731-GGUF/dspark-DeepSeek-V4-Flash-0731-Q8_0.gguf \ --temp 1.0 \ --top-p 1.0 \ --min-p 0.01 \ --spec-type draft-dspark \ --spec-draft-n-max 3 \ -ngl 99 -ngld 99 ``` {% endcode %} 元のDSpark論文からのベンチマークでも、MTPに対してどうかを示しています:
## 📊 ベンチマーク ### GGUFベンチマーク 以下の表では、Unslothおよび他の提供元の量子化版のベンチマークを比較しています。参照 = 公式の重み。4x B200上のctx 512でwikitext-2の困惑度とKLダイバージェンスを測定。
| 量子化版 | サイズ（GB） | PPL | 平均KLD | RMS delta-p | 同一トップトークン | ビット一致の重み | | --------------------------------- | ------- | ------ | ------------- | ----------- | --------- | ------------ | | 公式（参照） | 156.4 | 4.5319 | 0 | 0% | 100% | 100% | | **Unsloth UD-Q8\_K\_XL** | 161.9 | 4.5319 | **\~0（ロスレス）** | 0.000% | 100.000% | **100.000%** | | **Unsloth UD-Q4\_K\_XL** | 155.1 | 4.5335 | 0.0102 | 3.40% | 96.28% | 97.46% | | bartowski MXFP4 | 156.0 | 4.5351 | 0.0105 | 3.42% | 96.18% | 97.57% | | antirez Q4KExperts-F16（imatrix） | 164.6 | 4.5743 | 0.0291 | 5.87% | 93.95% | 0.51% | | antirez Q4KExperts-F16 | 164.6 | 4.5726 | 0.0290 | 5.89% | 93.94% | 0.93% | | antirez mixed L37-42-Q4K（imatrix） | 97.6 | 5.8169 | 0.3605 | 21.15% | 79.74% | 0.41% | | antirez IQ2XXS（imatrix） | 86.7 | 6.0808 | 0.4079 | 22.23% | 78.15% | 0.39% | | antirez IQ2XXS | 86.7 | 6.1518 | 0.4207 | 22.74% | 77.92% | 0.47% | ### 公式ベンチマーク DeepSeek-V4-Flash-0731 は、起動されるパラメータ数がはるかに少ないにもかかわらず、以下のベンチマークで DeepSeek-V4-Pro (プレビュー) を上回り、主要な独自開発モデルと競争力を維持しています。 | ベンチマーク | DeepSeek-V4-Flash-0731 | DeepSeek-V4-Flash (プレビュー) | DeepSeek-V4-Pro (プレビュー) | GLM-5.2 | Opus-4.8 | | ---------------------- | :--------------------: | :-----------------------: | :---------------------: | :-----: | :------: | | Terminal Bench 2.1 | 82.7 | 61.8 | 72.1 | 81.0 | 85.0 | | NL2Repo | 54.2 | 39.4 | 38.5 | 48.9 | 69.7 | | Cybergym | 76.7 | 38.7 | 52.7 | - | 83.1 | | DeepSWE | 54.4 | 7.3 | 12.8 | 46.2 | 58.0 | | Toolathlon-Verified | 70.3 | 49.7 | 55.9 | 59.9 | 76.2 | | Agents' Last Exam | 25.2 | 15.8 | 16.5 | 23.8 | 25.7 | | AutomationBench Public | 25.1 | 10.8 | 12.8 | 12.9 | 27.2 | | DSBench-FullStack † | 68.7 | 37.0 | 41.8 | 61.8 | 71.6 | | DSBench-Hard † | 59.6 | 25.8 | 31.1 | 54.5 | 71.7 | --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://unsloth.ai/docs/jp/moderu/deepseek-v4.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.