> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/moderu/gemma-4.md).
# Gemma 4 - ローカルでの実行方法
E2B、E4B、26B A4B、31Bを含むGoogleの新しいGemma 4モデルをローカルで実行しましょう。
Gemma 4 は Google DeepMind の新しいオープンモデル群で、以下を含みます **12B**, **E2B**, **E4B**, **26B-A4B**と **31B。** このマルチモーダルなハイブリッド思考モデルは、140以上の言語をサポートし、最大で **256Kコンテキスト**、また Dense と MoE のバリアントがあります。Gemma 4 は Apache-2.0 ライセンスで、ローカルデバイスで実行できます。
**Gemma-4-12B** は新しく、テキスト・画像・音声の統合サポートを備えています。動作には **8GB** RAM（4-bit）または 14GB（8-bit）を要します。 **Gemma-4-E2B** そして **E4B** も画像と音声をサポートします。動作には **5GB RAM** （4-bit）または 15GB（フル16-bit）。GGUF、MLX、NVFP4 の量子化版で利用できます。
Gemma 4 を実行 Gemma 4 をファインチューニング Gemma 4 QAT Gemma 4 MTP
{% hint style="success" %}
**新登場:** [**Gemma 4 MTP が登場**](/docs/jp/moderu/mtp.md)**！MTP により、精度を落とさず 1.4〜2.2倍高速な推論が可能です。MTP を直接** [**Unsloth Studio**](/docs/jp/moderu/mtp.md#unsloth-studio-mtp-guide)**.**
{% endhint %}
{% columns %}
{% column %}
**Gemma-4-26B-A4B** で動作します **18GB** （4-bit）または 28GB（8-bit）。 **Gemma-4-31B** 必要なのは **20GB RAM** （4-bit）または 34GB（8-bit）。
これで、すべての GGUF を実行できるようになりました。 [MLX](#mlx-dynamic-quants) また Gemma 4 を [Unsloth Studio](#unsloth-studio-guide) （右参照）でファインチューニングできます。
[**QAT** バリアント](/docs/jp/moderu/gemma-4/qat.md) Gemma 4 の各バリアントは、モデル品質を保ちながら必要メモリを約3分の1に削減します。
{% endcolumn %}
{% column %}
{% endcolumn %}
{% endcolumns %}
{% hint style="success" %}
**6月9日:** [Gemma 4 MTP](/docs/jp/moderu/mtp.md) が登場しました。
**6月5日:** [Gemma 4 QAT](/docs/jp/moderu/gemma-4/qat.md) がリリースされました。
**6月2日:** Gemma 4 12B Unified がリリースされました。
**4月20日:** 私たちは [Gemma 4 GGUF ベンチマーク](#unsloth-gguf-benchmarks) 最適な量子化を選ぶのに役立てるためです。
{% endhint %}
### 使用ガイド
Gemma 4 は推論、コーディング、ツール使用、長文コンテキストとエージェント的ワークフロー、そしてマルチモーダルタスクに優れています。より小さい E2B と E4B バリアントはスマートフォンやノートPC向けに設計されており、一方でより大きいモデルは NVIDIA RTX GPU 搭載 PC などの中〜高 CPU/VRAM システムを対象としています。
| Gemma 4 バリアント | 詳細 | 最適用途 |
| --------------- | --------------------------------------------------- | ---------------------------------- |
| **E2B** | Dense + PLE（128K コンテキスト）
| スマートフォン／エッジ推論、ASR、音声翻訳向け |
| **E4B** | Dense + PLE（128K コンテキスト）
| ノートPC向けの小型モデルで、高速なローカルマルチモーダル用途に最適 |
| **12B Unified** | Dense（256K コンテキスト）
| ノートPCやローカルのマルチモーダル用途向けの中規模モデル |
| **26B-A4B** | MoE（256K コンテキスト）
| PC 利用における速度と品質の最適なバランス |
| **31B** | Dense（256K コンテキスト）
| 推論速度は遅いものの、最高の性能 |
**Gemma 4 を見る:** [**性能ベンチマーク**](#official-gemma-benchmarks) **そして** [**GGUF ベンチマーク**](#unsloth-gguf-benchmarks)**.**
**26B-A4B と 31B のどちらを選ぶべきですか？**
* **26B-A4B** — 速度と精度のバランスが取れています。MoE 設計により 31B より高速で、4B のアクティブパラメータを持ちます。RAM が限られていて、少し品質を速度と引き換えにしてもよいなら、これを選んでください。
* **31B** — 現時点で最も強力な Gemma 4 モデルです。十分なメモリがあり、やや遅い速度を受け入れられるなら、最高品質を求めてこれを選んでください。
### ハードウェア要件
**表: Gemma 4 推論 GGUF の推奨ハードウェア要件** （単位 = 総メモリ: RAM + VRAM、またはユニファイドメモリ）。Gemma 4 は macOS、NVIDIA RTX GPU などで使用できます。
| Gemma 4 バリアント | 4ビット | 8ビット | BF16 / FP16 |
| --------------- | -------: | -------: | ----------: |
| **E2B** | 4 GB | 5–8 GB | 10 GB |
| **E4B** | 5.5–6 GB | 9–12 GB | 16 GB |
| **12B Unified** | 7–8 GB | 13–14 GB | 25 GB |
| **26B A4B** | 16–18 GB | 28–30 GB | 52 GB |
| **31B** | 17–20 GB | 34–38 GB | 62 GB |
{% hint style="info" %}
目安として、利用可能な総メモリは、少なくともダウンロードする量子化モデルのサイズを上回っている必要があります。そうでない場合でも、llama.cpp は RAM / ディスクへの部分オフロードで実行できますが、生成は遅くなります。また、使用するコンテキストウィンドウに応じて、より多くの計算資源も必要になります。
{% endhint %}
### 推奨設定
Google のデフォルトの Gemma 4 パラメータを使うことを推奨します:
* `temperature = 1.0`
* `top_p = 0.95`
* `top_k = 64`
{% hint style="info" %}
Gemma 4 の最大コンテキストは **128K** を **E2B** / **E4B** そして `262,144` を **12B** / **26B A4B** / **31B**.
{% endhint %}
#### 思考モード
旧来の Gemma チャットテンプレートと比べて、Gemma 4 は標準の **`system`**, **`assistant`**と **`user`** ロールを使用し、明示的な思考制御を追加します。
**思考を有効にする方法:**
トークンを追加し **`<|think|>`** て **system プロンプトの先頭に**.
{% columns %}
{% column %}
**思考オン**
```
<|think|>
あなたは慎重なコーディングアシスタントです。回答を明確に説明してください。
```
{% endcolumn %}
{% column %}
**思考オフ**
```
あなたは慎重なコーディングアシスタントです。回答を明確に説明してください。
```
{% endcolumn %}
{% endcolumns %}
**出力の挙動:**
{% columns %}
{% column %}
思考が有効な場合、モデルは最終回答の前に内部推論チャンネルを出力します。
```
<|channel>thought
[内部推論]
[最終回答]
```
{% endcolumn %}
{% column %}
思考が無効の場合でも、大きいモデルはそれでも **空の思考ブロック** を最終回答の前に出力することがあります。
```
<|channel>thought
[最終回答]
```
{% endcolumn %}
{% endcolumns %}
**たとえば、"**フランスの首都はどこですか？":
{% code overflow="wrap" %}
```
<|turn>system\n<|think|>\n<|turn>user\nフランスの首都はどこですか？\n<|turn>model\n
```
{% endcode %}
**すると、次のように出力します:**
{% code overflow="wrap" %}
```
<|channel>thought\nユーザーはフランスの首都を尋ねています。\nフランスの首都はパリです。フランスの首都はパリです。
```
{% endcode %}
**マルチターン会話のルール:**
マルチターン会話では、 **チャット履歴には最終的に表示される回答のみを保持し**。しないで **しません** 前の思考ブロックを次のターンに再入力してください。
{% code overflow="wrap" %}
```
<|turn>user\n1+1はいくつですか？\n<|turn>model\n2\n<|turn>user\n1+1はいくつですか？\n<|turn>model\n2\n<|turn>user\n1+1はいくつですか？\n<|turn>model\n2\n<|turn>user\n1+1はいくつですか？\n<|turn>model\n2\n
```
{% endcode %}
**思考を無効にする方法:**
注意 `llama-cli` は安定して動作しない可能性があるため、 `llama-server` 推論を無効にするには次を使ってください:
{% hint style="warning" %}
に [思考 / 推論を無効化する](#how-to-enable-or-disable-reasoning-and-thinking)には、 `--chat-template-kwargs '{"enable_thinking":false}'`
もしあなたが **Windows** PowerShellなら、次を使用します： `--chat-template-kwargs "{\"enable_thinking\":false}"`
'true'と'false'は同じように使用してください。
{% endhint %}
## Gemma 4 チュートリアルを実行
Gemma 4 GGUF はいくつかのサイズで提供されるため、小さいモデルの推奨開始点は 8-bit、より大きいモデルは [**Dynamic**](/docs/jp/ji-chu/dynamic-3.0-ggufs.md) **4ビット**. [Gemma 4 GGUF](https://huggingface.co/collections/unsloth/gemma-4) または [MLX](#mlx-dynamic-quants) または [NVFP4](#nvfp4-guide):
| [E2B](https://huggingface.co/unsloth/gemma-4-E2B-it-GGUF) | [E4B](https://huggingface.co/unsloth/gemma-4-E4B-it-GGUF) | [12B](https://huggingface.co/unsloth/gemma-4-12b-it-GGUF) | [26B-A4B](https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF) | [31B](https://huggingface.co/unsloth/gemma-4-31B-it-GGUF) |
| --------------------------------------------------------- | --------------------------------------------------------- | --------------------------------------------------------- | ----------------------------------------------------------------- | --------------------------------------------------------- |
🦥 Unsloth Desktop ガイド 🦙 Llama.cppガイド NVFP4ガイド
{% columns %}
{% column %}
**当社の** [**Unsloth Studio**](/docs/jp/shii/studio.md)✨ **ノートブック上の UI で、Gemma 4 を無料で実行・学習できます:**
{% endcolumn %}
{% column %}
{% embed url="" %}
{% endcolumn %}
{% endcolumns %}
### 🦥 Unslothガイド
Gemma 4 は現在、 [Unsloth Desktop](/docs/jp/shii/studio.md)で実行およびファインチューニングできます。これはローカル AI 向けの新しいオープンソースデスクトップ UI です。Unsloth Studio を使うと、モデルをローカルで **MacOS、Windows**、Linux、そして:
{% columns %}
{% column %}
* 検索、ダウンロード、 [GGUFを実行](/docs/jp/shii/studio.md#run-models-locally) およびsafetensorモデル
* [**自己修復** ツール呼び出し](/docs/jp/shii/studio.md#execute-code--heal-tool-calling) + **web search**
* [**コード実行**](/docs/jp/shii/studio.md#run-models-locally) （Python、Bash）
* [自動推論](https://unsloth.ai/docs/desktop#feature-deep-dive) パラメータ調整（temp、top-pなど）
* llama.cppによる高速CPU + GPU推論
* [LLMを学習](/docs/jp/shii/studio.md#no-code-training) VRAMを70%削減して2倍高速
{% endcolumn %}
{% column %}
{% endcolumn %}
{% endcolumns %}
{% stepper %}
{% step %}
#### Unslothをインストール
始める最も簡単な方法は、次をダウンロードすることです。 [Unsloth Desktopアプリ](/docs/jp/desktop.md)。対応環境: [macOS](/docs/jp/meru/install/mac.md), [Windows](/docs/jp/meru/install/windows-installation.md)と [Linux](/docs/jp/meru/install/linux.md).
Unslothをダウンロード
* :apple: [macOS版をダウンロード](https://unsloth.ai/download/mac)
* :windows: [Windows版をダウンロード](https://unsloth.ai/download/windows)
* :linux: [Linux版をダウンロード](https://unsloth.ai/download/linux)
または、手動でインストールしたい場合は:
**MacOS、Linux、WSL:**
```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```
**Windows PowerShell:**
```bash
irm https://unsloth.ai/install.ps1 | iex
```
{% endstep %}
{% step %}
#### Unsloth を起動
**MacOS、Linux、WSL、Windows:**
```bash
unsloth studio -H 0.0.0.0 -p 8888
```
その後、 `http://127.0.0.1:8888` またはお使いのブラウザで特定の URL を開いて実行・ファインチューニングできます。
**HTTPSとCloudflareでUnslothを安全に起動**
**新登場！** Unsloth は無料の Cloudflare トンネルを通じて HTTPS で Unsloth を起動する安全な方法を提供します。以下を使用してください（Windows、Mac、Linux で動作します）：
```bash
unsloth studio --secure
```
{% endstep %}
{% step %}
#### Gemma 4 を検索してダウンロード
初回起動時には、アカウントを保護するためのパスワードを作成し、もう一度サインインする必要があります。
それから [Unsloth Chat](/docs/jp/shii/studio/chat.md) タブを開き、検索バーで Gemma 4 を検索して、目的のモデルと量子化版をダウンロードしてください。Unsloth は最新の Gemma-4-12B Unified モデルをサポートしています。
{% endstep %}
{% step %}
#### Gemma 4 を実行
Unsloth Studio を使用する場合、推論パラメータは自動設定されますが、手動でも変更できます。コンテキスト長、チャットテンプレート、その他の設定も編集できます。GGUF や MLX ファイルを実行できます。
詳細については、次を参照してください。 [Unsloth Studio 推論ガイド](/docs/jp/shii/studio/chat.md).
{% endstep %}
{% endstepper %}
### 🦙 Llama.cppガイド
このガイドでは、12B、26B-A4B、31B には Dynamic 4-bit、E2B と E4B には 8-bit を使用します。参照: [Gemma 4 GGUF コレクション](https://huggingface.co/collections/unsloth/gemma-4)
これらのチュートリアルでは、次を使用します [llama.cpp](llama.cpphttps://github.com/ggml-org/llama.cpp) 高速なローカル推論のために、特にCPUをお持ちの場合に
{% stepper %}
{% step %}
最新の `llama.cpp` **を** [**GitHubこちら**](https://github.com/ggml-org/llama.cpp)。以下のビルド手順に従うこともできます。変更してください `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF` GPUがない場合、またはCPU推論のみを使いたい場合は。 **Apple Mac / Metalデバイスの場合**、次を設定します `-DGGML_CUDA=OFF` その後は通常どおり続けてください。Metalサポートはデフォルトで有効です。
```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
-DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```
{% endstep %}
{% step %}
を使いたい場合は `llama.cpp` でモデルを直接読み込むには、各モデルに応じて以下のコマンドに従ってください。 `UD-Q4_K_XL` は量子化タイプです。Hugging Face 経由でもダウンロードできます（手順3）。これは `ollama run` に似ています。 `export LLAMA_CACHE="folder"` を使って `llama.cpp` 特定の場所に保存するためのものです。llama.cpp が必要な量を自動的に使用するため、コンテキスト長を設定する必要はありません。
{% hint style="warning" %}
に [思考 / 推論を無効化する](#how-to-enable-or-disable-reasoning-and-thinking)の場合は、次を使用します： `--chat-template-kwargs '{"enable_thinking":false}'`
**Windows** PowerShell: `--chat-template-kwargs "{\"enable_thinking\":false}"`
「'`true`' と '`false`' を互換的に使えます。
{% endhint %}
**12B:**
```bash
export LLAMA_CACHE="unsloth/gemma-4-12B-it-GGUF"
./llama.cpp/llama-cli \
-hf unsloth/gemma-4-12b-it-GGUF:UD-Q4_K_XL \\
--temp 1.0 \\
--top-p 0.95 \\
--top-k 64
```
**26B-A4B:**
```bash
export LLAMA_CACHE="unsloth/gemma-4-26B-A4B-it-GGUF"
./llama.cpp/llama-cli \
-hf unsloth/gemma-4-26B-A4B-it-GGUF:UD-Q4_K_XL \\
--temp 1.0 \\
--top-p 0.95 \\
--top-k 64
```
**31B:**
```bash
export LLAMA_CACHE="unsloth/gemma-4-31B-it-GGUF"
./llama.cpp/llama-cli \
-hf unsloth/gemma-4-31B-it-GGUF:UD-Q4_K_XL \\
--temp 1.0 \\
--top-p 0.95 \\
--top-k 64
```
**E4B:**
```bash
export LLAMA_CACHE="unsloth/gemma-4-E4B-it-GGUF"
./llama.cpp/llama-cli \
-hf unsloth/gemma-4-E4B-it-GGUF:Q8_0 \\
--temp 1.0 \\
--top-p 0.95 \\
--top-k 64
```
**E2B:**
```bash
export LLAMA_CACHE="unsloth/gemma-4-E2B-it-GGUF"
./llama.cpp/llama-cli \
-hf unsloth/gemma-4-E2B-it-GGUF:Q8_0 \\
--temp 1.0 \\
--top-p 0.95 \\
--top-k 64
```
{% endstep %}
{% step %}
以下のコードでもモデルを手動でダウンロードできます（ `pip install huggingface_hub`をインストール後）。 `UD-Q4_K_XL` を選ぶこともできますし、 `Q8_0` 。ダウンロードが止まる場合は、以下を参照: [Hugging Face Hub、XET のデバッグ](/docs/jp/ji-chu/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md)
```bash
hf download unsloth/gemma-4-26B-A4B-it-GGUF \\
--local-dir unsloth/gemma-4-26B-A4B-it-GGUF \\
--include "*mmproj-BF16*" \
--include "*UD-Q4_K_XL*" # Dynamic 2bitの場合は "*UD-Q2_K_XL*" を使用
```
{% endstep %}
{% step %}
その後、会話モードでモデルを実行します（視覚 `mmproj-F16`):
{% code overflow="wrap" %}
```bash
./llama.cpp/llama-cli \
--model unsloth/gemma-4-26B-A4B-it-GGUF/gemma-4-26B-A4B-it-UD-Q4_K_XL.gguf \
--mmproj unsloth/gemma-4-26B-A4B-it-GGUF/mmproj-BF16.gguf \\
--temp 1.0 \\
--top-p 0.95 \\
--top-k 64
```
{% endcode %}
{% endstep %}
{% step %}
#### Llama-server へのデプロイ
llama-server で Gemma-4 をデプロイするには、次を使用します:
```bash
./llama.cpp/llama-server \
--model unsloth/gemma-4-26B-A4B-it-GGUF/gemma-4-26B-A4B-it-UD-Q4_K_XL.gguf \
--mmproj unsloth/gemma-4-26B-A4B-it-GGUF/mmproj-BF16.gguf \\
--temp 1.0 \\
--top-p 0.95 \\
--top-k 64 \
--alias "unsloth/gemma-4-26B-A4B-it-GGUF" \\
--port 8001 \\
--chat-template-kwargs '{"enable_thinking":true}'
```
{% endstep %}
{% endstepper %}
### MLX 動的量子化
MacOS デバイス向けの初回試験として、dynamic 4bit と 8bit の量子化版もアップロードしました。MLX 量子化版は **視覚機能。**
{% hint style="success" %}
すべての MLX 量子化版は現在[ Unsloth Studio](#unsloth-studio-guide)!
{% endhint %}
| Gemma 4 | 4-bit MLX | 8-bit MLX |
| ------- | -------------------------------------------------------------------- | ----------------------------------------------------------------- |
| 31B | [リンク](https://huggingface.co/unsloth/gemma-4-31b-it-UD-MLX-4bit) | [リンク](https://huggingface.co/unsloth/gemma-4-31b-it-MLX-8bit) |
| 26B-A4B | [リンク](https://huggingface.co/unsloth/gemma-4-26b-a4b-it-UD-MLX-4bit) | [リンク](https://huggingface.co/unsloth/gemma-4-26b-a4b-it-MLX-8bit) |
| E4B | [リンク](https://huggingface.co/unsloth/gemma-4-E4B-it-UD-MLX-4bit) | [リンク](https://huggingface.co/unsloth/gemma-4-E4B-it-MLX-8bit) |
| E2B | [リンク](https://huggingface.co/unsloth/gemma-4-E2B-it-UD-MLX-4bit) | [リンク](https://huggingface.co/unsloth/gemma-4-E2B-it-MLX-8bit) |
試すには次を使用してください：
{% code overflow="wrap" %}
```bash
curl -fsSL https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/scripts/install_gemma4_mlx.sh | sh
source ~/.unsloth/unsloth_gemma4_mlx/bin/activate
python -m mlx_vlm.chat --model unsloth/gemma-4-26b-a4b-it-UD-MLX-4bit
```
{% endcode %}
### **NVFP4ガイド**
アップロードしました [Dynamic NVFP4](/docs/jp/ji-chu/nvfp4.md) NVIDIA Blackwell GPU 上でより高速な 4-bit 推論を行うための Gemma 4 の量子化版をアップロードしました。Gemma 4 を含む使用可能なモデルのハードウェア要件は以下のとおりです。得られる全体的な速度向上も参照してください:
| Gemma 4 バリアント | 必要 VRAM | BF16 より高速 |
| ------------------------------------------------------------------ | ------: | --------: |
| [E2B](https://huggingface.co/unsloth/gemma-4-E2B-it-NVFP4) | 7 GB | 1.12倍高速 |
| [E4B](https://huggingface.co/unsloth/gemma-4-E4B-it-NVFP4) | 9 GB | 1.22倍高速 |
| [12B Unified](https://huggingface.co/unsloth/gemma-4-12b-it-NVFP4) | 11 GB | 1.26倍高速 |
| [26B A4B](https://huggingface.co/unsloth/gemma-4-26B-A4B-it-NVFP4) | 26 GB | 1.41倍高速 |
| [31B](https://huggingface.co/unsloth/gemma-4-31B-it-NVFP4) | 32 GB | 1.45倍高速 |
26B A4B - KLD ベンチマーク（低いほど良い）
\* | 35.54 | 33.47 | - |
| ------------------------- | ----- | ----- | ------------------ | ----- | ----- | ----- |
| FLEURS（低いほど良い） | - | - | 0.069\* | 0.08 | 0.09 | - |
| **長文コンテキスト** | | | | | | |
| MRCR v2 8 needle 128k（平均） | 66.4% | 44.1% | 43.4% | 25.4% | 19.1% | 13.5% |
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.
Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:
```
GET https://unsloth.ai/docs/jp/moderu/gemma-4.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
