> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/moderu/tutorials/diffusiongemma.md).

# DiffusionGemma

DiffusionGemma **26B-A4B** は Google DeepMind の新しいオープン **マルチモーダル** モデルで、 [Gemma 4](/docs/jp/moderu/gemma-4.md) MoEアーキテクチャに基づいています。〜をサポートし **256K のコンテキスト**, **140以上の言語**、DiffusionGemma は〜向けに設計されています **高速なテキスト生成** テキスト、動画、画像入力全体で。DiffusionGemma はローカルで実行できます **18GB RAM**と [ファインチューニング](#fine-tune-diffusiongemma) は現在、〜経由でサポートされています [Unsloth](https://github.com/unslothai/unsloth).

標準的なトークン単位のデコードの代わりに、DiffusionGemma は **拡散生成** を使って出力を並列に生成し、徐々に最終回答へ洗練します。これは拡散画像モデルに似ていますが、テキスト向けです。モデルは〜経由で実行します [Unsloth Studio](/docs/jp/shii/studio.md) または llama.cpp。RTX 6000 では、DiffusionGemma は **2000以上のトークン/秒**. **GGUF:** [diffusiongemma-26B-A4B-it-GGUF](https://huggingface.co/unsloth/diffusiongemma-26B-A4B-it-GGUF)

<a href="#run-diffusiongemma-tutorials" class="button primary">DiffusionGemma を実行する</a><a href="#fine-tune-diffusiongemma" class="button secondary">DiffusionGemma をファインチューニングする</a>

{% hint style="success" %}
**6月12日:** DiffusionGemma を〜経由で実行できるようになりました [Unsloth Studio](#unsloth-studio-guide) ✨ 推論が1.8倍高速に！
{% endhint %}

### 使用ガイド

DiffusionGemma は標準的なモデルよりも高速な生成を必要とするユーザー向けに設計されています。高速なローカル推論、長文脈の文書解析、画像/動画理解、OCR と文書解析、コード生成、ツール使用、エージェント的ワークフロー、低レイテンシの小バッチ推論に適しています。

標準的な Gemma 4 モデルとは異なり、DiffusionGemma には拡散対応の推論ランタイムが必要です。〜のような自己回帰設定は `temperature`, `top_p`と `top_k` だけでは、必要な拡散サンプラーなしに推奨動作を再現するのに十分ではありません。

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fszoidwwj70dLm5vBjpmL%2Fdiffusiongemma.gif?alt=media&amp;token=8ce359fd-f92c-4cf8-a491-06b04c505cb7" alt="" width="563"><figcaption></figcaption></figure></div>

### ハードウェア要件

4ビット精度でモデルを実行するには、通常少なくとも18GBのRAMがあるのが望ましいです。 **GGUF:** [diffusiongemma-26B-A4B-it-GGUF](https://huggingface.co/unsloth/diffusiongemma-26B-A4B-it-GGUF)

**表: DiffusionGemma 推論 GGUF 推奨ハードウェア要件** （単位 = 総メモリ: RAM + VRAM、またはユニファイドメモリ）。

| 4ビット  | 5ビット  | 6ビット  | 8ビット  | BF16 / FP16 |
| ----- | ----- | ----- | ----- | ----------- |
| 18 GB | 20 GB | 24 GB | 28 GB | 52 GB       |

{% hint style="info" %}
目安として、利用可能な総メモリは、ダウンロードする量子化モデルのサイズを少なくとも上回っている必要があります。そうでなくても、RAM/ディスクへの部分オフロードを使って実行できますが、生成は遅くなります。さらに、使用するコンテキストウィンドウに応じて、より多くの計算資源も必要になります。
{% endhint %}

## DiffusionGemma 実行チュートリアル

少なくとも4ビット精度を使うのが望ましいので、4ビットの `Q4_K_M` 量子化版を使います。これは18GBのRAMを必要とします。 **GGUF:** [diffusiongemma-26B-A4B-it-GGUF](https://huggingface.co/unsloth/diffusiongemma-26B-A4B-it-GGUF)

<a href="#unsloth-studio-guide" class="button primary">🦥 Unsloth Studio ガイド</a><a href="#llama.cpp-guide" class="button primary">🦙 Llama.cpp ガイド</a>

### 🦥 Unsloth Studio ガイド

{% hint style="success" %}
DiffusionGemma を〜経由で実行できるようになりました [Unsloth Studio](#unsloth-studio-guide) ✨。必ず [`v0.1.463-beta`](https://github.com/unslothai/unsloth/tree/v0.1.462-beta) に渡すことで有効にできます。 `2026.6.6`.
{% endhint %}

DiffusionGemma は現在、〜で実行および学習できます [Unsloth Studio](/docs/jp/shii/studio.md)、これはローカルAI向けの新しいオープンソースWeb UIです。Unsloth Studioでは、モデルをローカルで次の環境で実行できます **MacOS**, **Windows**、Linux、および：

{% columns %}
{% column %}

* 検索、ダウンロード、 [GGUFを実行](/docs/jp/shii/studio.md#run-models-locally) および safetensor モデル
* [**自己修復** ツール呼び出し](/docs/jp/shii/studio.md#execute-code--heal-tool-calling) + **web検索**
* [**コード実行**](/docs/jp/shii/studio.md#run-models-locally) （Python、Bash）
* [自動推論](https://unsloth.ai/docs/desktop#feature-deep-dive) パラメータ調整（temp、top-pなど）
* llama.cppによる高速なCPU + GPU推論
* [LLMを学習](/docs/jp/shii/studio.md#no-code-training) VRAMを70%削減しながら2倍高速
  {% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fszoidwwj70dLm5vBjpmL%2Fdiffusiongemma.gif?alt=media&amp;token=8ce359fd-f92c-4cf8-a491-06b04c505cb7" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% stepper %}
{% step %}

#### Unslothをインストール

最新の [`v0.1.463-beta`](https://github.com/unslothai/unsloth/tree/v0.1.462-beta) に渡すことで有効にできます。 `2026.6.6`を使用していることを確認してください。ターミナルで次を実行してください:

**MacOS、Linux、WSL：**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows PowerShell：**

```bash
irm https://unsloth.ai/install.ps1 | iex
```

{% endstep %}

{% step %}

#### Unsloth を起動

**MacOS、Linux、WSL、Windows:**

```bash
unsloth studio -H 0.0.0.0 -p 8888
```

その後、次を開きます `http://127.0.0.1:8888` （またはお使いのURL）をブラウザで開いてください。
{% endstep %}

{% step %}

#### DiffusionGemma を検索してダウンロード

初回起動時には、アカウントを保護して再度サインインするためのパスワードを作成する必要があります。

その後、 [Unsloth Chat](/docs/jp/shii/studio/chat.md) タブを開き、検索バーで DiffusionGemma を検索して、目的のモデルと量子化版をダウンロードします。
{% endstep %}

{% step %}

#### DiffusionGemma を実行する

Unsloth Studio を使用する場合、推論パラメータは自動設定されますが、手動で変更することもできます。コンテキスト長、チャットテンプレート、その他の設定も編集できます。

詳細は、 [Unsloth Studio 推論ガイド](/docs/jp/shii/studio/chat.md).

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fszoidwwj70dLm5vBjpmL%2Fdiffusiongemma.gif?alt=media&amp;token=8ce359fd-f92c-4cf8-a491-06b04c505cb7" alt="" width="563"><figcaption></figcaption></figure></div>
{% endstep %}
{% endstepper %}

### 🦙 Llama.cpp ガイド

このチュートリアルでは、Dynamic 4ビットの `Q4_K_M` 量子化版を使用します。これは18GBのRAMを必要とし、 [llama.cpp](https://llama.cpphttps/github.com/ggml-org/llama.cpp) 高速なローカル推論のため、特にCPUしかない場合に有用です。

{% stepper %}
{% step %}
SPECIFIC PR を取得する `llama.cpp` PR で [**GitHubからこちらで取得**](https://github.com/ggml-org/llama.cpp/pull/24423)。以下のビルド手順に従うこともできます。 `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF` に変更してください。GPUがない場合、またはCPU推論だけを使いたい場合です。 **Apple Mac / Metalデバイスの場合**、 `-DGGML_CUDA=OFF` を設定し、そのまま通常どおり続行してください。Metalサポートはデフォルトで有効です。

```bash
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
gh pr checkout 24423
# CUDA でビルド（CPUのみのビルドでは -DGGML_CUDA=ON を外してください）
cmake -B build -DGGML_CUDA=ON
cmake --build build -j --config Release --target llama-diffusion-cli
cd ..
```

{% endstep %}

{% step %}
モデルをダウンロードします（をインストールした後で `pip install huggingface_hub`をインストール後）。 `Q4_K_M` または次のような他の量子化版を選べます。 `Q8_0` 。ダウンロードが止まる場合は、以下を参照してください: [Hugging Face Hub、XET のデバッグ](/docs/jp/ji-chu/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md)

```bash
pip install -U "huggingface_hub[cli]"
hf download unsloth/diffusiongemma-26B-A4B-it-GGUF \\
    --local-dir unsloth/diffusiongemma-26B-A4B-it-GGUF \\
    --include "*Q8_0*" # より小さい 16 GB のダウンロードには "*Q4_K_M*" を使用
```

{% endstep %}
{% endstepper %}

### DiffusionGemma とチャットする

その後、以下を実行します:

{% code overflow="wrap" %}

```bash
./build/bin/llama-diffusion-cli \\
  -m unsloth/diffusiongemma-26B-A4B-it-GGUF/diffusiongemma-26B-A4B-it-Q8_0.gguf \\
  -ngl 99 -cnv -n 2048
```

{% endcode %}

次のように表示されます:

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fqax7SXjUrxZpWORhexyj%2Fimage.png?alt=media&amp;token=066fb8a1-8865-417a-9ca0-2c5443ebe520" alt=""><figcaption></figcaption></figure>

たとえば "Create a Flappy Bird Game" のような質問を入力すると、手順が表示されます:

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FWBxW71WgZwEmj8vqEuhT%2Fimage.png?alt=media&amp;token=19ae3bfc-2a8d-463b-b2cb-7b9456ee9226" alt=""><figcaption></figcaption></figure>

その後、出力が表示されます:

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fngo7EXmeZnJKhmWAcrNy%2Fimage.png?alt=media&amp;token=f6024241-227c-41f9-9a23-cac8418f89e7" alt="" width="375"><figcaption></figcaption></figure>

会話も続けられます！

変更 `-n 2048` 予測したいトークン数として指定します。多いほど、より長い回答になります。

### 拡散のライブ可視化

拡散を実際にライブで確認するには、以下を使用します。特に `--diffusion-visual`:

```bash
./build/bin/llama-diffusion-cli \\
  -m unsloth/diffusiongemma-26B-A4B-it-GGUF/diffusiongemma-26B-A4B-it-Q8_0.gguf \\
  -ngl 99 -cnv -n 2048 --diffusion-visual
```

再び以下が表示されます:

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FwvBjHSctfgHXYDAu1TFp%2Fimage.png?alt=media&amp;token=860a27d0-6d1c-404b-972a-4cdbdcce166a" alt=""><figcaption></figcaption></figure>

そして次の結果が得られます:

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FTrPopPhlJZGW28cyjaJB%2Fdiffusiongem.gif?alt=media&amp;token=b8d9434b-d929-4f13-81ad-ecfe21262169" alt="" width="563"><figcaption></figcaption></figure>

次のブランチを使用する llama.cpp の全パラメータ:

* `-n, --n-predict N` - 目標トークン数。これから導出されます `--diffusion-blocks` そして増加します `-ub` / `-b` / `-c`.
* `-ngl 99` - GPU にすべての層をオフロード（`-ngl 0` CPUのみの場合）。
* `-cnv` - マルチターン会話モード。
* `--diffusion-visual` - ライブのキャンバス除去ノイズ表示。
* Entropy-Bound サンプラーはデフォルトで有効です（`--diffusion-eb auto`）。以下で調整できます: `--diffusion-eb-max-steps` （デフォルト48）、 `--diffusion-eb-t-max` / `--diffusion-eb-t-min` (0.8 -> 0.4), `--diffusion-eb-entropy-bound` （0.1）、および `--diffusion-eb-confidence` (0.005).
* `--diffusion-kv-cache {auto,on,off}` - プロンプトプレフィックスKVキャッシュ（auto = 単一GPUではオン）。

## DiffusionGemma をファインチューニングする

これで DiffusionGemma を直接 [**Unsloth**](#unsloth-studio-guide)この例では、ドメイン固有の学習の効果を、モデルを Sudoku でファインチューニングすることで示します。ベースモデルは当初 Sudoku タスクでうまく動作しませんが、対象を絞ったデータセットで学習させた後は、実際に数独を解く方法を学習し、すべての例を正しく解けるようになります。

Colab ノートブック（A100）を使って、DiffusionGemma を次の内容でファインチューニングできます:

{% embed url="<https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/DiffusionGemma_(26B-A4B)-Sudoku.ipynb>" %}

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FexAR7eC5YN44boNs2tFD%2Fsudoku_before_after(1).gif?alt=media&amp;token=2bc254a8-dbf9-4638-a5cb-8a7877d3c9fa" alt="" width="563"><figcaption></figcaption></figure></div>

## 推奨設定

[Unsloth Studio](#unsloth-studio-guide) モデルに最適な推論設定を自動的に設定します。必要に応じて以下を使用してください:

| カテゴリ   | 設定            | 値                  |
| ------ | ------------- | ------------------ |
| サンプリング | メソッド          | `拡散サンプリング`         |
| サンプリング | サンプラー         | `エントロピー制約付きデノイジング` |
| サンプリング | 最大デノイジングステップ数 | `48`               |
| 温度     | 温度スケジュール      | `線形減衰`             |
| 温度     | 開始温度          | `0.8`              |
| 温度     | 終了温度          | `0.4`              |
| エントロピー | エントロピー境界      | `0.1`              |
| 適応停止   | 適応停止が有効       | `true`             |
| 適応停止   | エントロピーしきい値    | `0.005`            |
| キャンバス  | キャンバス長        | `256`              |

**適応停止のトリガー条件**

適応停止は次の場合にのみトリガーされるべきです **両方** 条件が満たされたとき:

| 条件                        | 必要値       |
| ------------------------- | --------- |
| キャンバスの平均エントロピー            | `< 0.005` |
| 最も高確率のトークンが2ステップ連続で安定している | `true`    |

各デノイジングステップで、サンプラーは相互情報量の上限が次の値のままである、最も低エントロピーのトークンを選択すべきです: `entropy_bound = 0.1`。選択されなかったトークンは、次のデノイジングステップまでに完全に再ノイズ化されるべきです。

### 思考モード

DiffusionGemma は Gemma 4 スタイルの思考モードをサポートしています。思考を有効にするには、システムプロンプトの先頭に思考トークンを追加します:

```
<|think|>
```

思考が有効な場合、モデルは内部推論チャンネルの後に最終回答を出力することがあります:

```
<|channel>thought
[内部推論]
<channel|>
[最終回答]
```

思考を無効にするには、 `<|think|>` トークンをシステムプロンプトから削除します。思考が無効でも、モデルは空の思考チャンネルを出力することがあります:

```
<|channel>thought
<channel|>
[最終回答]
```

複数ターンの会話では、 **終わっていない** 以前の隠れた思考を会話履歴に含めないでください。次のユーザーターンの前には、最終的なアシスタント応答のみを含めてください。

## DiffusionGemma のベストプラクティス

### マルチモーダルプロンプト

DiffusionGemma は、テキストや画像を含む、交互に入るマルチモーダル入力をサポートしています。動画は画像フレームの連続として処理できます。

マルチモーダルプロンプトで最良の結果を得るには、画像またはフレームの内容をテキスト指示の前に配置します。例:

```
[画像]
グラフを説明し、主要な傾向を要約してください。
```

文書解析、OCR、チャート理解、UI理解、または小さなテキスト抽出には、より高い視覚トークン予算を使用してください。

サポートされる視覚トークン予算:

| 視覚トークン予算 | 最適用途                 |
| -------- | -------------------- |
| 70       | 高速分類、簡単なキャプション生成     |
| 140      | 軽量な視覚QA              |
| 280      | 一般的な画像理解             |
| 560      | OCR、チャート、UIスクリーンショット |
| 1120     | 密な文書、小さな文字、詳細抽出      |

動画形式の入力では、DiffusionGemma は最大で **60秒** でサンプリングした場合 **1秒あたり1フレーム**.

### サンプリングの注意点

DiffusionGemma は通常の次トークンのみモデルではありません。トークンのブロックを生成します。これは **キャンバス**、ノイズのあるトークン予測を繰り返し洗練することで行われます。生成プロセスはおおむね次のとおりです:

1. エンコーダーがプロンプトを処理し、コンテキストキャッシュを構築します。
2. デコーダーが256トークンの生成キャンバスを受け取ります。
3. 拡散サンプラーがキャンバスを反復的にデノイズします。
4. 信頼度の高いトークンが選択され、保持されます。
5. 不確かなトークンは再びノイズを付け直され、再度洗練されます。
6. キャンバスが完成すると、それはコンテキストに追加されます。
7. モデルは次のキャンバスへ進みます。

このブロック自己回帰アプローチにより、DiffusionGemma は標準的な自己回帰モデルより少ない順伝播回数で多くのトークンを生成できます。

## ベンチマーク

DiffusionGemma は速度とマルチモーダル推論に最適化されていますが、標準の Gemma 4 は従来の推論ベンチマークでより強力です。

| ベンチマーク              | DiffusionGemma 26B-A4B | Gemma 4 26B-A4B |
| ------------------- | ---------------------: | --------------: |
| MMLU Pro            |                  77.6% |           82.6% |
| AIME 2026 ツールなし     |                  69.1% |           88.3% |
| LiveCodeBench v6    |                  69.1% |           77.1% |
| Codeforces ELO      |                   1429 |            1718 |
| GPQA Diamond        |                  73.2% |           82.3% |
| Tau2 平均             |                  56.2% |           68.2% |
| HLE ツールなし           |                  11.0% |            8.7% |
| HLE 検索あり            |                  11.9% |           17.2% |
| BigBench Extra Hard |                  47.6% |           64.8% |
| MMMLU               |                  81.5% |           86.3% |

| 長文脈ベンチマーク                | DiffusionGemma 26B-A4B | Gemma 4 26B-A4B |
| ------------------------ | ---------------------: | --------------: |
| MRCR v2 8 needle 128K 平均 |                  32.0% |           44.1% |

**視覚ベンチマーク:**

| 視覚ベンチマーク                | DiffusionGemma 26B-A4B | Gemma 4 26B-A4B |
| ----------------------- | ---------------------: | --------------: |
| MMMU Pro                |                  54.3% |           73.8% |
| OmniDocBench 1.5、低いほど良い |                  0.319 |           0.149 |
| MATH-Vision             |                  70.5% |           82.4% |
| MedXPertQA MM           |                  49.0% |           58.1% |


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/jp/moderu/tutorials/diffusiongemma.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.