Gemma 4 ファインチューニングガイド

Google の Gemma 4 を Unsloth で学習します。

Google の次のモデルをファインチューニングできるようになりました Gemma 4 E2B、E4B、26B-A4B、および 31B を Unslothで。サポート内容にはすべてのビジョン、テキスト、音声、および RL ファインチューニングが含まれます。

ファインチューニングする Gemma 4 私たちの 無料の Google Colab ノートブック:

Gemma-4-E2B （ビジョン）

E2B （テキスト）

E2B （音声）

E2B （推論）

もしあなたが 推論能力を維持したい 場合は、推論スタイルの例と直接的な回答を混ぜることができます（最低 75% は推論を維持してください）。そうでなければ、完全に出力させることもできます。
フルファインチューニング（FFT） も動作します。VRAM を 4 倍多く使用します。
Gemma 4 は 140 言語をサポートしているため、多言語ファインチューニングに強力です。
ファインチューニング後、次へエクスポートできます GGUF （llama.cpp／Unsloth／Ollama／など向け）

古いバージョンを使っている場合（またはローカルでファインチューニングしている場合）は、まず更新してください：

Unsloth Studio:

unsloth studio update

コードベースの Unsloth:

pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo

クイックスタート

🦥 Unsloth Studio ガイド

Gemma 4 は次で実行およびファインチューニングできます Unsloth Studio、これはローカル AI 向けの私たちの新しいオープンソース Web UI です。Unsloth Studio を使うと、モデルを次でローカル実行できます MacOS、Windows、Linux、および：

LLM をトレーニング 70% 少ない VRAM で 2 倍高速
検索、ダウンロード、 GGUF を実行および safetensor モデル
自己修復型の ツール呼び出し + Web 検索
コード実行 （Python、Bash）
自動推論パラメータ調整（temp、top-p など）
llama.cpp による高速 CPU + GPU 推論

Unsloth をインストール

ターミナルで実行してください：

MacOS、Linux、WSL:

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell:

irm https://unsloth.ai/install.ps1 | iex

インストールはすぐに完了し、約 1〜2 分かかります。

Unsloth を起動

MacOS、Linux、WSL、および Windows:

unsloth studio -H 0.0.0.0 -p 8888

その後、 http://localhost:8888 をブラウザで開いてください。

Gemma 4 をトレーニング

初回起動時には、アカウントを保護するためのパスワードを作成し、後で再度サインインする必要があります。その後、モデル、データセット、基本設定を選ぶための簡単なオンボーディングウィザードが表示されます。いつでもスキップできます。

検索バーで Gemma 4 を検索し、希望のモデルとデータセットを選択してください。次に、ハイパーパラメータやコンテキスト長を必要に応じて調整します。

トレーニングの進行状況を監視

トレーニング開始をクリックすると、モデルのトレーニング進行状況を監視・確認できるようになります。トレーニング損失は着実に減少していくはずです。完了すると、モデルは自動的に保存されます。

ファインチューニングしたモデルをエクスポート

完了すると、Unsloth Studio ではモデルを GGUF、safetensor などの形式にエクスポートできます。

🦥 Unsloth Core（コードベース）ガイド

以下は最小限の SFT レシピです（「テキストのみ」のファインチューニングで動作します）。あわせて私たちのビジョンのファインチューニングセクションも参照してください。

もし GRPOを行いたい場合、fast vLLM 推論を無効にして代わりに Unsloth 推論を使用すれば、Unsloth で動作します。私たちの Vision RL ノートブック例に従ってください。

from unsloth import FastLanguageModel
import torch
from datasets import load_dataset
from trl import SFTTrainer, SFTConfig

max_seq_length = 2048  # 最初は小さく始める; 動作した後で拡大する

# 例のデータセット（自分のものに置き換えてください）。"text" 列が必要です。
url = "https://huggingface.co/datasets/laion/OIG/resolve/main/unified_chip2.jsonl"
dataset = load_dataset("json", data_files={"train": url}, split="train")

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "google/gemma-4-E4b-it",
    max_seq_length = max_seq_length,
    load_in_4bit = False,     # MoE QLoRA は非推奨、dense 27B は問題ありません
    load_in_16bit = True,     # bf16/16-bit LoRA
    full_finetuning = False,
)

model = FastLanguageModel.get_peft_model(
    model,
    r = 16,
    target_modules = [
        "q_proj", "k_proj", "v_proj", "o_proj",
        "gate_proj", "up_proj", "down_proj",
    ],
    lora_alpha = 16,
    lora_dropout = 0,
    bias = "none",
    # "unsloth" チェックポイント機能は、非常に長いコンテキスト + 少ない VRAM を想定しています
    use_gradient_checkpointing = "unsloth",
    random_state = 3407,
    max_seq_length = max_seq_length,
)

trainer = SFTTrainer(
    model = model,
    train_dataset = dataset,
    tokenizer = tokenizer,
    args = SFTConfig(
        max_seq_length = max_seq_length,
        per_device_train_batch_size = 1,
        gradient_accumulation_steps = 4,
        warmup_steps = 10,
        max_steps = 100,
        logging_steps = 1,
        output_dir = "outputs_qwen35",
        optim = "adamw_8bit",
        seed = 3407,
        dataset_num_proc = 1,
    ),
)

trainer.train()

OOM になる場合：

下げてください per_device_train_batch_size を 1 および／または次を減らしてください max_seq_length.
次を維持してください use_gradient_checkpointing="unsloth" を有効にしたままにしてください（VRAM 使用量の削減とコンテキスト長の拡張のために設計されています）。

MoE 用ローダーの例（bf16 LoRA）：

import os
import torch
from unsloth import FastModel

model, tokenizer = FastModel.from_pretrained(
    model_name = "unsloth/Gemma-4-26B-A4B-it",
    max_seq_length = 2048,
    load_in_4bit = False,     # MoE QLoRA は非推奨、dense 27B は問題ありません
    load_in_16bit = True,     # bf16/16-bit LoRA
    full_finetuning = False,
)

読み込み後、LoRA アダプタを取り付けて、上記の SFT の例と同様にトレーニングします。

MoE ファインチューニング（26B-A4B）

この 26B-A4B モデルは、Gemma 4 ラインアップにおける速度と品質の中間的な選択肢です。これは MoE モデルであり、トークンごとに一部のパラメータのみが有効になるため、保守的なファインチューニング手法は次のとおりです：

使用する LoRA フルファインチューニングではなく
優先する 16-bit / bf16 LoRA メモリに余裕がある場合
まずは短いコンテキストと小さいランクから始める
パイプラインが安定してからのみスケールアップする

最高品質が目的で、より多くのメモリがあるなら、代わりに 31B を使用してください。

マルチモーダルのファインチューニング（E2B / E4B）

なぜなら E2B と E4B は画像と音声をサポートしているため、これらがマルチモーダルファインチューニング向けの主要な Gemma 4 バリアントです。

マルチモーダルモデルを次で読み込む FastVisionModel
次を維持する finetune_vision_layers = False 最初は
言語、アテンション、MLP レイヤーのみをファインチューニングする
タスクで必要になった場合に後からビジョンまたは音声レイヤーを有効にする

Gemma 4 マルチモーダル LoRA の例：

from unsloth import FastVisionModel
from unsloth.trainer import UnslothVisionDataCollator
from trl import SFTTrainer, SFTConfig

model, tokenizer = FastVisionModel.from_pretrained(
    model_name = "google-gemma-4-31b-it",
    max_seq_length = 2048,
    load_in_4bit = False,
    use_gradient_checkpointing = "unsloth",
)

model = FastVisionModel.get_peft_model(
    model,
    finetune_vision_layers     = False,  # VRAM が限られている場合はまずテキストのみで開始
    finetune_language_layers   = True,
    finetune_attention_modules = True,
    finetune_mlp_modules       = True,
    r = 16,
    lora_alpha = 16,
    lora_dropout = 0,
    bias = "none",
    target_modules = "all-linear",
)

trainer = SFTTrainer(
    model = model,
    tokenizer = tokenizer,
    data_collator = UnslothVisionDataCollator(model, tokenizer),
    train_dataset = dataset,
    args = SFTConfig(
        per_device_train_batch_size = 1,
        gradient_accumulation_steps = 4,
        learning_rate = 2e-4,
        output_dir = "outputs_gemma4_mm",
    ),
)

trainer.train()

画像の例の形式

覚えておいてください：Gemma 4 のマルチモーダルプロンプトでは、画像を前にテキスト指示の

{
  "messages": [
    {
      "role": "user",
      "content": [
        {"type": "image", "image": "path_or_image_object"},
        {"type": "text", "text": "このレシートからすべてのテキストを抽出してください。明細項目、合計、店舗名、日付を JSON として返してください。"}
      ]
    },
    {
      "role": "assistant",
      "content": [
        {"type": "text", "text": "{\"merchant\": \"サンプルストア\", \"total\": \"19.99\"}"}
      ]
    }
  ]
}

音声の例の形式

音声は E2B / E4B 専用です。クリップは短く、タスクに特化したものにしてください。

{
  "messages": [
    {
      "role": "user",
      "content": [
        {"type": "audio", "audio": "path_or_audio_object"},
        {"type": "text", "text": "次の音声区間の英語音声を英語のテキストに書き起こしてください。書き起こしのみを出力してください。"}
      ]
    },
    {
      "role": "assistant",
      "content": [
        {"type": "text", "text": "Hello everyone and welcome back."}
      ]
    }
  ]
}

ファインチューニング済みモデルの保存 / エクスポート

以下に関する私たちの専用の推論 / デプロイガイドを参照できます Unsloth Studio, llama.cpp, vLLM, llama-server, Ollama または SGLang.

GGUF に保存

Unsloth は GGUF への直接保存をサポートしています：

model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q4_k_m")
model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q8_0")
model.save_pretrained_gguf("directory", tokenizer, quantization_method = "f16")

または GGUF を Hugging Face にプッシュ：

model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q4_k_m")
model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q8_0")

別のランタイムでエクスポートしたモデルの挙動が悪い場合、Unsloth は最も一般的な原因を示しています： 推論時のチャットテンプレート / EOS トークンが間違っている （トレーニング時と同じチャットテンプレートを使う必要があります）。

詳細については、私たちの推論ガイドをお読みください：

🖥️推論とデプロイ GGUF & llama.cpp

Model Export vLLM

Gemma 4 データのベストプラクティス

Gemma 4 には、覚えておくべきフォーマット上の細かな点がいくつかあります。

1. 標準的なチャットロールを使用する

Gemma 4 は標準の次を使用します：

system
user
assistant

これは、SFT データセットを古い Gemma 固有のロール形式ではなく、通常のチャット形式で記述すべきことを意味します。

2. Thinking モードは明示的

Thinking モードを有効にするには、 <|think|> を システムプロンプトの先頭.

Thinking 有効：

<|think|>
あなたは慎重なコーディングアシスタントです。回答を明確に説明してください。

Thinking 無効：

あなたは慎重なコーディングアシスタントです。回答を明確に説明してください。

SFT 中に thinking スタイルの挙動を維持したい場合：

フォーマットを一貫させる
次のどちらで学習させたいかを決める 可視の思考ブロック または 最終回答のみ
しては いけません 同じデータセット内で複数の互換性のない思考フォーマットを混在させることは

ほとんどの本番アシスタントでは、最も簡単な構成は次でファインチューニングすることです 最終的に見える回答のみ.

3. マルチターンのルール

マルチターン会話では、 最終的に見える回答 のみを会話履歴に保持してください。 いけません 以前の思考ブロックを後続ターンに再入力しないでください。

4. マルチモーダルな内容は先に置くべき

Gemma 4 のマルチモーダルプロンプトでは、次のように配置してください：

画像をテキストの前に
音声をテキストの前に
動画フレームをテキストの前に

これはトレーニングデータにも反映されている必要があります。

前へGemma 4 次へQwen3.5

最終更新 5 時間前

役に立ちましたか？

hashtagクイックスタート

hashtag🦥 Unsloth Studio ガイド

hashtagUnsloth をインストール

hashtagUnsloth を起動

hashtagGemma 4 をトレーニング

hashtagトレーニングの進行状況を監視

hashtagファインチューニングしたモデルをエクスポート

hashtag🦥 Unsloth Core（コードベース）ガイド

hashtagMoE ファインチューニング（26B-A4B）

hashtagマルチモーダルのファインチューニング（E2B / E4B）

hashtagGemma 4 マルチモーダル LoRA の例：

hashtag画像の例の形式

hashtag音声の例の形式

hashtagファインチューニング済みモデルの保存 / エクスポート

hashtagGGUF に保存

hashtagGemma 4 データのベストプラクティス

hashtag1. 標準的なチャットロールを使用する

hashtag2. Thinking モードは明示的

hashtag3. マルチターンのルール

hashtag4. マルチモーダルな内容は先に置くべき

クイックスタート

🦥 Unsloth Studio ガイド

Unsloth をインストール

Unsloth を起動

Gemma 4 をトレーニング

トレーニングの進行状況を監視

ファインチューニングしたモデルをエクスポート

🦥 Unsloth Core（コードベース）ガイド

MoE ファインチューニング（26B-A4B）

マルチモーダルのファインチューニング（E2B / E4B）

Gemma 4 マルチモーダル LoRA の例：

画像の例の形式

音声の例の形式

ファインチューニング済みモデルの保存 / エクスポート

GGUF に保存

Gemma 4 データのベストプラクティス

1. 標準的なチャットロールを使用する

2. Thinking モードは明示的

3. マルチターンのルール

4. マルチモーダルな内容は先に置くべき