> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/moderu/deepseek-v4.md).

# DeepSeek-V4: ローカルでの実行方法

DeepSeek-V4-Pro-0813とDeepSeek-V4-Flash-0731を自分のデバイスでローカル実行しましょう！

DeepSeek-V4、DeepSeek-V4-Flash-Vision-Exp、V4-**Pro-0813**、そして V4-**Flash-0731** は新しいオープンウェイトモデルです。Flash版は284Bパラメータ（13Bアクティブ）を持ち、V4-Proは1.6T（49Bアクティブ）です。 **V4-Pro-0813**、公開されたのは **8月13日**、Claude-4.8-Opusに匹敵する性能を示し、一方で **V4-Flash-0731**、公開されたのは **7月31日**、同サイズクラスで最高の性能を発揮し、 **V4-Proを上回る** （プレビュー）。コーディング、エージェント、チャットのワークフロー向けに設計され、 **100万トークンのコンテキストウィンドウ**、このガイドではUnsloth Dynamic GGUFを使ってDeepSeek-V4-Flash-0731をローカルで実行する方法を示します。 [Unsloth Desktop](/docs/jp/desktop.md).

以下では **ロスレス** DeepSeekでは、Q8（`UD-Q8_K_XL`）で、わずか **7GB大きい** Q4（`UD-Q4_K_XL`）。その ロスレス8ビットGGUFは **162 GB** で、3ビットは **103GB** これは **110GB RAM** 搭載デバイスで実行できます**.** DeepSeek-V4-Flash-0731はTerminal Bench 2.1で82.7%、DeepSWEで54.4%、NL2Repoで54.2%を記録しています。 [DSpark](#dspark-speculative-decoding) もGGUFで有効化されており、最大で **2倍高速なデコード速度**!

{% hint style="success" %}
**8月31日：** DeepSeek-Flash-Vision-Expが利用可能になりました！

**8月13日：** DeepSeek-**V4-Pro-0813** がリリースされ、 [量子化版は現在](https://huggingface.co/unsloth/DeepSeek-V4-Pro-0813-GGUF) 実行可能です。
{% endhint %}

{% hint style="success" %}
**8月6日：DSparkがDeepSeek-V4-Flash-0731で有効化され、1.5倍〜1.9倍高速な推論を実現！DSparkは自動的に** [**Unsloth**](#unsloth-studio-guide)**.**

また、 [DeepSeek-V4のチャットJinjaテンプレート](#deepseek-v4-chat-template-improvements)を改善し、4000件以上の会話でテストして公式ベースラインと同等であることを確認しました。
{% endhint %}

| [DeepSeek-V4-Pro-0813-GGUF](https://huggingface.co/unsloth/DeepSeek-V4-Pro-0813-GGUF) | [DeepSeek-V4-Flash-**0731**-GGUF](https://huggingface.co/unsloth/DeepSeek-V4-Flash-0731-GGUF) | [DeepSeek-V4-Flash-GGUF](https://huggingface.co/unsloth/DeepSeek-V4-Flash-GGUF) |
| ------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------- |

<a href="/docs/jp/moderu/deepseek-v4.md#usage-guide" class="button primary">使用ガイド</a><a href="/docs/jp/moderu/deepseek-v4.md#run-deepseek-v4-flash-tutorials" class="button primary">実行チュートリアル</a>

### 📊 量子化分析

私たちの `UD-Q8_K_XL` 量子化版は完全にロスレスです。DeepSeek-V4-Flashは [量子化を考慮して学習された](/docs/jp/burogu/quantization-aware-training-qat.md)：公式チェックポイントは、ルーティングされたエキスパート（モデルの96%）をネイティブにMXFP4で保存し、それ以外はFP8またはBF16です。GGUFのMXFP4はまさにその形式なので、エキスパートをビット単位で再パックし、FP8は丸めなしでBF16に逆量子化されます。公式DeepSeekの重みとすべてのテンソルを照合したところ、1,328個すべてがビット単位で一致し、推論時もロスレスのままです（KLダイバージェンス約0、トップトークン一致率100%）。

**非**-Unsloth DeepSeek-V4-Flash GGUFはこれらのパスなしで変換されたため、公式重みから逸脱しています。 `UD-Q4_K_XL` 同じビット一致のエキスパートを維持し、非エキスパートのテンソル（モデルの4%）のみをQ8\_0に量子化するため、サイズと品質の面でQ8のすぐ隣に位置します。

<div align="left"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FXjXSVsiH2ZIKlJ7iZPDx%2Fkldddd.webp?alt=media&amp;token=e1db5fca-b2b4-411e-8956-29127ef6bfe0" alt="" width="563"><figcaption></figcaption></figure> <figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FHoYuIu6dNNuLrM4nmdbi%2Fpareto.png?alt=media&amp;token=1c7a44bb-13c3-4fc4-8d57-fb350ffe3c14" alt="" width="563"><figcaption></figcaption></figure></div>

公式重みと比べると、Unslothの両方の量子化版は品質/サイズの最前線にあります。UD-Q8\_K\_XLが唯一のロスレス点です。UD-Q4\_K\_XLは他のコミュニティMXFP4形式と一致し、Q4\_K-experts変換よりも正確で、後者はより大きいにもかかわらず0.029 KLDに収まっています。

<div align="left"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FxW5lIQID1dIRlVajHSWm%2Fper_layer.png?alt=media&amp;token=94dd4abc-e7ef-4aa8-8d2f-de8c98a69166" alt="" width="563"><figcaption></figcaption></figure></div>

レイヤーごとの誤差分布を見ると、その理由が分かります。ネイティブのMXFP4エキスパートを維持すると、各レイヤーの重み誤差は0%です。エキスパートをQ4\_KやIQ2\_XXSに再量子化する変換では、ほぼすべての重みが丸められます。Q4\_Kでは5%、IQ2\_XXSでは30%以上です。

<div align="left"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FINDS7DqyP9TUAs4Bj9rS%2Fwhy_lossless.png?alt=media&amp;token=efdb261b-f969-42b8-89ec-bc25e8bbdaf3" alt="" width="563"><figcaption><p>私たちのMXFP4は8.4M個すべての重みに対して誤差が完全にゼロですが、別の4ビットグリッドであるQ4_Kでは各重みを丸める必要があります（RMSE 5.2%）。</p></figcaption></figure></div>

また、一部のテンソルにQ8\_0とF16を使うのはロスレスではないことも分かりました。MXFP4 / FP8をうまく機能させるためにDeepSeekがQATを適用しているため、状況はさらに悪化します。そのため、それらはBF16のまま直接残す必要がありました。真にロスレスな量子化にはUD-Q8\_K\_XLを使ってください。UD-Q4\_K\_XLはBF16項目の一部をQ8\_0にダウングレードします。

の完全なベンチマーク表については [GGUFベンチマークはこちらを参照](#gguf-benchmarks).

### :speech\_balloon: DeepSeek V4チャットテンプレートの改善

DeepSeek-V4のチャットJinjaテンプレートを改善し、4000件以上の会話でテストして黄金ベースライン（公式DS4）と同等であることを確認しました

追加しました `reasoning_effort` そして選択できます `max、high` は公式DeepSeek-V4と同じです。DS4に従って正しいシステムプロンプトを先頭に付け、gpt-ossのスタイルに合わせました。

また、ツール呼び出しについては、 `reasoning_content` はDS4で保持されていましたが、Jinjaチャットテンプレートでは除外されていました。そこで再追加しました。

#### **思考の無効化、推論努力の変更**

DeepSeek-V4はデフォルトで推論を使用します。また、推論努力もサポートしており、 `reasoning_effort` は「high」「max」または無効にできます。

思考を無効化するには、 `--chat-template-kwargs '{"enable_thinking":false}'`を使用します。もし **Windows** PowerShellなら、次を使用します： `--chat-template-kwargs "{\"enable_thinking\":false}"`

次も使用できます `--reasoning on` または `--reasoning off` は llama.cpp でも今では使えます！

推論努力のカスタマイズや推論の無効化には、以下の例を使用してください：

```bash
--chat-template-kwargs '{"reasoning_effort":"max"}'
--chat-template-kwargs '{"reasoning_effort":"high"}'
--chat-template-kwargs '{"enable_thinking":false}'
```

### ⚙️ 使用ガイド

DeepSeek-V4-FlashはDeepSeek-V4-Proより小さく高速で、 **284B** パラメータ（13Bアクティブ）を持ち、 **100万トークンのコンテキストウィンドウ**モデルには3つのモードがあります。 **非思考**, **思考** **高** そして **思考** **最大**.&#x20;

使用が推奨されるのは `UD-IQ3_XXS` これは **103GB** 最良の結果を得るためです。ファイルサイズにはKVキャッシュやコンテキスト割り当てが含まれていないため、少なくとも **110GB RAM** モデルを実行するために

その `UD-Q8_K_XL` 量子化版はDeepSeek-V4-Flashの完全なオリジナル精度版です。サイズは162GBで、少なくとも169GBの利用可能なRAM/VRAMがあるのが理想です。

**表：推論ハードウェア要件** （単位 = 合計メモリ: RAM + VRAM、またはユニファイドメモリ）

<table><thead><tr><th>形式</th><th width="129.8004150390625">1ビット</th><th width="130.85650634765625">2ビット</th><th width="140.26702880859375">3ビット</th><th>4ビット（ほぼロスレス）</th><th>Q8_K_XL（ロスレス）</th></tr></thead><tbody><tr><td>標準</td><td>92 GB</td><td>102 GB</td><td>110-135 GB</td><td>162 GB</td><td>169 GB</td></tr><tr><td>DSpark</td><td>102 GB</td><td>112 GB</td><td>120-145 GB</td><td>172 GB</td><td>179 GB</td></tr></tbody></table>

{% hint style="info" %}
**DSparkは標準よりも多くのVRAMを使用します**、そのため **約10 GB** の追加RAM/VRAM余裕を見込んでください。
{% endhint %}

{% hint style="success" %}
最良の性能を得るには、VRAMとシステムRAMを含む総利用可能メモリが、量子化済みモデルファイルサイズを十分に上回るようにしてください。
{% endhint %}

### 推奨設定

最良の性能のために、DeepSeekは次のパラメータを推奨しています： `temperature = 1.0`, `top-p = 1.0`。以下は **DeepSeek-V4-Flash-0731** およびエージェント型のシナリオでは、 `top-p = 0.95` が推奨され、 `top-p = 1.0` その他のタスクでは。

**Think High はデフォルトでオンです。** 無効になっている場合は、次で有効化できます： `--chat-template-kwargs '{"enable_thinking":true}'` または、UIのドロップダウンで切り替えできます [Unsloth](#unsloth-studio-guide)。また、 [#deepseek-v4-chat-template-improvements](#deepseek-v4-chat-template-improvements "mention")

{% columns %}
{% column width="50%" %}

| DeepSeek-V4-Flash-0731     |
| -------------------------- |
| `temperature = 1.0`        |
| `top-p = 1.0`              |
| `top-p = 0.95` （エージェント用のみ） |
| {% endcolumn %}            |

{% column width="50%" %}

| 旧DeepSeek-V4-FlashとV4-Pro |
| ------------------------- |
| `temperature = 1.0`       |
| `top-p = 1.0`             |
| {% endcolumn %}           |
| {% endcolumns %}          |

* **最大コンテキストウィンドウ:** `1,048,576`
* Think Maxの場合、コンテキストを少なくとも **384Kトークン**.

## DeepSeek-V4-Flashチュートリアルを実行：

このチュートリアルでは、3ビット量子化を使用します `UD-IQ3_XXS`、128GB RAMのデバイスに収まるためです。 `UD-IQ3_XXS` を `UD-Q8_K_XL` （オリジナル品質）または、マシンに十分なメモリがある場合は別の量子化版に置き換えてください。これでDeepSeek-V4-Flash-0731を [Unsloth Desktop](#run-in-unsloth-studio) . **DSparkは自動的に有効化されます** [**Unsloth**](#unsloth-studio-guide)**.**

<a href="/docs/jp/moderu/deepseek-v4.md#unsloth-studio-guide" class="button primary">🦥 Unslothガイド</a><a href="/pages/7e26e08ac7ef8f627a7df931c96d2f819be44cd4#llama.cpp-guide" class="button primary">🦙 Llama.cppガイド</a><a href="/docs/jp/moderu/deepseek-v4.md#dspark-speculative-decoding" class="button secondary">⚡DSparkガイド</a>

### 🦥 Unslothガイド

DeepSeek-V4-Flash-0731は現在、実行および学習できます [Unsloth](/docs/jp/shii/studio.md)、ローカルAI向けの新しいオープンソースUIです。Unsloth Desktopでは、モデルをローカルで実行できます **macOS**, **Windows**、Linux、そして:

{% columns %}
{% column %}

* 検索、ダウンロード、 [GGUFを実行](/docs/jp/shii/studio.md#run-models-locally) およびsafetensorモデル
* [**自己修復** ツール呼び出し](/docs/jp/shii/studio.md#execute-code--heal-tool-calling) + **web search**
* [**コード実行**](/docs/jp/shii/studio.md#run-models-locally) （Python、Bash）
* [自動推論](https://unsloth.ai/docs/desktop#feature-deep-dive) パラメータ調整（temp、top-pなど）
* llama.cppによる高速CPU + GPU推論
* [LLMを学習](/docs/jp/shii/studio.md#no-code-training) VRAMを70%削減して2倍高速
  {% endcolumn %}

{% column %}

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FCwcXvmLERJSUNF6iNTiY%2Fdeepseek-v4-flash-0731-unsloth-studio.png?alt=media&amp;token=6fdc0216-d21e-42e7-bb57-8e1abf6e7f4f" alt=""><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

{% stepper %}
{% step %}

#### Unslothをインストール

始める最も簡単な方法は、次をダウンロードすることです。 [Unsloth Desktopアプリ](/docs/jp/desktop.md)。対応環境: [macOS](/docs/jp/meru/install/mac.md), [Windows](/docs/jp/meru/install/windows-installation.md)と [Linux](/docs/jp/meru/install/linux.md).

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">Unslothをダウンロード</a>

* <i class="fa-apple">:apple:</i> [macOS版をダウンロード](https://unsloth.ai/download/mac)
* <i class="fa-windows">:windows:</i> [Windows版をダウンロード](https://unsloth.ai/download/windows)
* <i class="fa-linux">:linux:</i> [Linux版をダウンロード](https://unsloth.ai/download/linux)

または、手動でインストールしたい場合は:

MacOS、Linux、WSL:

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

Windows PowerShell:

```bash
irm https://unsloth.ai/install.ps1 | iex
```

{% endstep %}

{% step %}

#### DeepSeek-V4-Flashを検索してダウンロード

へ移動 [Unsloth Chat](/docs/jp/shii/studio/chat.md) またはModel hubで、検索バーにDeepSeek-V4-Flashを入力し、希望のモデルと量子化版をダウンロードしてください。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FGEc90VxPAgTHulQe9zB0%2FScreenshot%202026-07-31%20at%208.01.35%E2%80%AFAM.png?alt=media&amp;token=2931411d-8f75-4bfe-918a-73fcafe918f9" alt=""><figcaption></figcaption></figure>
{% endstep %}

{% step %}

#### DeepSeek-V4-Flash-0731を実行

Unslothを使用すると推論パラメータは自動設定されるはずですが、手動でも変更できます。 **Think High はデフォルトでオンです**、右側のドロップダウンからNon-thinkまたはThink Maxに切り替えできます。コンテキスト長、チャットテンプレート、その他の設定も編集できます。 **DSparkは自動的に有効化されます** [**Unsloth**](#unsloth-studio-guide)**.**

詳細については、次を参照してください。 [Unsloth推論ガイド](/docs/jp/shii/studio/chat.md).

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FlvJqDRKlWdAVkn3HXJZA%2F1000024247.png?alt=media&amp;token=e84fd31d-7720-40d5-aba1-ba65ac34ce97" alt=""><figcaption></figcaption></figure>
{% endstep %}

{% step %}

#### Unsloth APIでDeepSeek-V4を提供

使用できます `unsloth run` コマンドを使ってAPI経由でDeepSeekを提供します。 `llama-server` 実行時フラグには、コンテキストサイズ、GPUレイヤー、スレッディング、サンプリング、ネットワーキング、ツール設定が含まれます。詳細は次を参照してください。 [APIドキュメント](/docs/jp/ji-chu/api.md) または [unsloth start](/docs/jp/tong-he/unsloth-start.md).

```bash
unsloth run --model unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-IQ3_S
```

{% endstep %}

{% step %}

#### Unslothの準備ができました

Unsloth Desktopを通じてDeepSeekで他にもいろいろできます。たとえば：

* **ツールを接続：** [Claude Code](/docs/jp/ji-chu/claude-code.md), [Codex](/docs/jp/ji-chu/codex.md), [web search](/docs/jp/shii/studio/chat.md#advanced-web-search), [MCP](/docs/jp/ji-chu/mcp.md) など
* **モデルを学習：** テキスト、拡散、 [埋め込み](/docs/jp/ji-chu/embedding-finetuning.md)、その他
* **メディアを生成：** 作成して学習 [画像](/docs/jp/ji-chu/diffusion-image.md)、動画、 [TTS](/docs/jp/ji-chu/text-to-speech-tts-fine-tuning.md) ローカルで
  {% endstep %}
  {% endstepper %}

### 🦙 Llama.cppガイド

{% stepper %}
{% step %}
最新の `llama.cpp` **を** [**GitHubこちら**](https://github.com/ggml-org/llama.cpp)。以下のビルド手順に従うこともできます。変更してください `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF` GPUがない場合、またはCPU推論のみを使いたい場合は。 **Apple Mac / Metalデバイスの場合**、次を設定します `-DGGML_CUDA=OFF` その後は通常どおり続けてください。Metalサポートはデフォルトで有効です。

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

{% endstep %}

{% step %}
これから使えます `llama.cpp` を直接使ってモデルを読み込み・ダウンロードできます。ちょうど `ollama run`。まず、次のような希望の量子化タイプを選択します `IQ3_XXS`。また、 `export LLAMA_CACHE="folder"` を使って `llama.cpp` 特定の場所に保存するために使用します。このダウンロード प्रक्रियाは非常に遅い可能性があるため、次のセクションの手動ダウンロード手順を使うのが最善でしょう。

```bash
export LLAMA_CACHE="unsloth/DeepSeek-V4-Flash-0731-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-IQ3_S \\
    --temp 1.0 \\
    --top-p 1.0 \\
    --min-p 0.01
```

{% endstep %}

{% step %}
モデルを手動でダウンロードしたい場合は、以下のコードでダウンロードできます（インストール後 `pip install huggingface_hub`）。ダウンロードが止まる場合は、次を参照してください： [Hugging Face Hub、XET のデバッグ](/docs/jp/ji-chu/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md)

```bash
hf download unsloth/DeepSeek-V4-Flash-0731-GGUF \\
    --local-dir unsloth/DeepSeek-V4-Flash-0731-GGUF \\
    --include "*UD-IQ3_S*" # 4ビットでは "*UD-IQ4_XS*" を使用
```

{% endstep %}

{% step %}
編集できます `--threads 32` CPUスレッド数は `--ctx-size 32768` コンテキスト長は `--n-gpu-layers 2` GPUオフロードする層数です。GPUがメモリ不足になったら調整してみてください。CPUのみで推論する場合は削除してください。

{% code overflow="wrap" %}

```bash
./llama.cpp/llama-cli \
    --model unsloth/DeepSeek-V4-Flash-0731-GGUF/UD-IQ3_S/DeepSeek-V4-Flash-0731-UD-IQ3_S-00001-of-00004.gguf \\
    --temp 1.0 \\
    --top-p 1.0 \\
    --min-p 0.01
```

{% endcode %}
{% endstep %}
{% endstepper %}

## :zap:DSpark - 予測デコード

DeepSeek-V4-Flash-0731にはネイティブDSparkが搭載されており、最大で **2倍高速なデコード速度**！DSparkはDeepSeekによる新しいアルゴリズムで、単純なMTPより優れており、この [論文](https://arxiv.org/abs/2607.05147)。DSparkによりDeepSeek-V4-Flashは **120トークン/秒** をB200 GPU上で、元の60トークン/秒のベースラインと比べて達成できます。 **DSparkは** [**Unsloth**](#unsloth-studio-guide) **ローカルUIで自動的に有効化されます。**

Llama.cppはDSparkを [PR 25784](https://github.com/ggml-org/llama.cpp/pull/25784) の一部として統合し、マルチGPUなどのさらなる改善も行いました。 `--spec-draft-n-max 3` を良いデフォルトとして示しています。これにより1.9倍高速な推論速度が得られます。より大きい値は遅くなるようです。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FRV0T1cVPpCnacNnywAsL%2Fimage.png?alt=media&amp;token=b570026f-4577-4a45-936f-98a650d644ac" alt=""><figcaption></figcaption></figure>

ドラフターとGGUFの両方をダウンロードしてください。Q8\_0を2つと、ロスレスBF16版を作成しました。DSparkでは約10GB多くメモリを使用するため、128GBマシンではIQ3\_XXSとQ8\_0が必要になります

{% code overflow="wrap" %}

```bash
hf download unsloth/DeepSeek-V4-Flash-0731-GGUF \\
    --local-dir unsloth/DeepSeek-V4-Flash-0731-GGUF \\
    --include "*dspark-DeepSeek-V4-Flash-0731-Q8_0*" \\
    --include "*UD-IQ3_XXS*" # 4ビットでは "*UD-IQ4_XS*" を使用
```

{% endcode %}

その後、llama-cliまたはllama-server経由で読み込みます：

{% code overflow="wrap" %}

```bash
./llama.cpp/llama-cli \
    --model unsloth/DeepSeek-V4-Flash-0731-GGUF/UD-IQ3_XXS/DeepSeek-V4-Flash-0731-UD-IQ3_XXS-00001-of-00004.gguf \\
    -md unsloth/DeepSeek-V4-Flash-0731-GGUF/dspark-DeepSeek-V4-Flash-0731-Q8_0.gguf \\
    --temp 1.0 \\
    --top-p 1.0 \\
    --min-p 0.01 \\
    --spec-type draft-dspark \\
    --spec-draft-n-max 3 \\
    -ngl 99 -ngld 99
```

{% endcode %}

元のDSpark論文のベンチマークも、MTPに対してどうかを示しています：

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FNXmTkimQGD9JzAq4OtK9%2Fimage.png?alt=media&amp;token=bab3816c-e3cd-4bd8-a234-6226520f45f6" alt=""><figcaption></figcaption></figure>

## 📊 ベンチマーク

### GGUFベンチマーク

以下に、Unslothおよび他のプロバイダの量子化版のベンチマークを比較する表を示します。参照 = 公式重み。wikitext-2上、ctx 512、4x B200でのパープレキシティとKLダイバージェンス。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FXjXSVsiH2ZIKlJ7iZPDx%2Fkldddd.webp?alt=media&amp;token=e1db5fca-b2b4-411e-8956-29127ef6bfe0" alt="" width="563"><figcaption></figcaption></figure>

| 量子化                                | サイズ（GB） | PPL    | 平均KLD        | RMS delta-p | 同じトップトークン | ビット完全一致の重み   |
| ---------------------------------- | ------- | ------ | ------------ | ----------- | --------- | ------------ |
| 公式（参照）                             | 156.4   | 4.5319 | 0            | 0%          | 100%      | 100%         |
| **Unsloth UD-Q8\_K\_XL**           | 161.9   | 4.5319 | **約0（ロスレス）** | 0.000%      | 100.000%  | **100.000%** |
| **Unsloth UD-Q4\_K\_XL**           | 155.1   | 4.5335 | 0.0102       | 3.40%       | 96.28%    | 97.46%       |
| bartowski MXFP4                    | 156.0   | 4.5351 | 0.0105       | 3.42%       | 96.18%    | 97.57%       |
| antirez Q4KExperts-F16 (imatrix)   | 164.6   | 4.5743 | 0.0291       | 5.87%       | 93.95%    | 0.51%        |
| antirez Q4KExperts-F16             | 164.6   | 4.5726 | 0.0290       | 5.89%       | 93.94%    | 0.93%        |
| antirez mixed L37-42-Q4K (imatrix) | 97.6    | 5.8169 | 0.3605       | 21.15%      | 79.74%    | 0.41%        |
| antirez IQ2XXS (imatrix)           | 86.7    | 6.0808 | 0.4079       | 22.23%      | 78.15%    | 0.39%        |
| antirez IQ2XXS                     | 86.7    | 6.1518 | 0.4207       | 22.74%      | 77.92%    | 0.47%        |

### 公式ベンチマーク

DeepSeek-V4-Flash-0731は、起動するパラメータ数がはるかに少ないにもかかわらず、以下のベンチマークでDeepSeek-V4-Pro（プレビュー）を上回り、主要な商用モデルとも競争力を保っています。

| ベンチマーク                 | DeepSeek-V4-Flash-0731 | DeepSeek-V4-Flash（プレビュー） | DeepSeek-V4-Pro（プレビュー） | GLM-5.2 | Opus-4.8 |
| ---------------------- | :--------------------: | :----------------------: | :--------------------: | :-----: | :------: |
| Terminal Bench 2.1     |          82.7          |           61.8           |          72.1          |   81.0  |   85.0   |
| NL2Repo                |          54.2          |           39.4           |          38.5          |   48.9  |   69.7   |
| Cybergym               |          76.7          |           38.7           |          52.7          |    -    |   83.1   |
| DeepSWE                |          54.4          |            7.3           |          12.8          |   46.2  |   58.0   |
| Toolathlon-Verified    |          70.3          |           49.7           |          55.9          |   59.9  |   76.2   |
| Agents' Last Exam      |          25.2          |           15.8           |          16.5          |   23.8  |   25.7   |
| AutomationBench Public |          25.1          |           10.8           |          12.8          |   12.9  |   27.2   |
| DSBench-FullStack †    |          68.7          |           37.0           |          41.8          |   61.8  |   71.6   |
| DSBench-Hard †         |          59.6          |           25.8           |          31.1          |   54.5  |   71.7   |


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/jp/moderu/deepseek-v4.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.