Gemma 4 微调指南

使用 Unsloth 训练 Google 的 Gemma 4。

你现在可以对 Google 的 Gemma 4 E2B、E4B、26B-A4B 和 31B 使用 Unsloth 进行微调。支持包括全部视觉、文本、音频和 RL 微调。

通过我们的 Gemma 4 进行微调免费 Google Colab 笔记本:

如果你想 保留推理 能力，你可以将推理风格示例与直接答案混合使用（至少保留 75% 的推理）。否则你可以完全输出。
全量微调（FFT） 也可以使用。它会占用 4 倍更多的 VRAM。
Gemma 4 支持 140 种语言，因此非常适合多语言微调。
微调完成后，你可以导出为 GGUF （适用于 llama.cpp/Unsloth/Ollama 等）

如果你使用的是旧版本（或在本地微调），请先更新：

Unsloth Studio：

unsloth studio update

基于代码的 Unsloth：

pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo

快速开始

🦥 Unsloth Studio 指南

Gemma 4 可以在 Unsloth Studio中运行和微调，这是我们为本地 AI 推出的新开源网页界面。使用 Unsloth Studio，你可以在以下系统上本地运行模型： MacOS、Windows、Linux 以及：

训练 LLM 速度提升 2 倍，VRAM 减少 70%
搜索、下载、运行 GGUF 和 safetensor 模型
自我修复 工具调用 + 网页搜索
代码执行 （Python、Bash）
自动推理参数调优（temp、top-p 等）
通过 llama.cpp 实现快速 CPU + GPU 推理

安装 Unsloth

在终端中运行：

MacOS、Linux、WSL：

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell：

irm https://unsloth.ai/install.ps1 | iex

安装会很快，约需 1-2 分钟。

启动 Unsloth

MacOS、Linux、WSL 和 Windows：

unsloth studio -H 0.0.0.0 -p 8888

然后在浏览器中打开 http://localhost:8888 。

训练 Gemma 4

首次启动时，你需要创建一个密码以保护你的账户，并在之后重新登录。随后你会看到一个简短的引导向导，用于选择模型、数据集和基本设置。你可以随时跳过。

在搜索栏中搜索 Gemma 4，并选择你想要的模型和数据集。接下来，按需调整超参数和上下文长度。

监控训练进度

点击开始训练后，你将能够监控并观察模型的训练进度。训练损失应当稳定下降。完成后，模型会自动保存。

导出你的微调模型

完成后，Unsloth Studio 允许你将模型导出为 GGUF、safetensor 等格式。

🦥 Unsloth Core（基于代码）指南

下面是一个最小 SFT 配方（适用于“仅文本”微调）。另请参阅我们的视觉微调部分。

如果你想进行 GRPO，只要禁用 fast vLLM 推理并改用 Unsloth 推理，它就能在 Unsloth 中运行。请参考我们的 视觉 RL 笔记本示例。

from unsloth import FastLanguageModel
import torch
from datasets import load_dataset
from trl import SFTTrainer, SFTConfig

max_seq_length = 2048  # 先从小开始；能工作后再扩大

# 示例数据集（替换为你的）。需要一个 "text" 列。
url = "https://huggingface.co/datasets/laion/OIG/resolve/main/unified_chip2.jsonl"
dataset = load_dataset("json", data_files={"train": url}, split="train")

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "google/gemma-4-E4b-it",
    max_seq_length = max_seq_length,
    load_in_4bit = False,     # 不建议使用 MoE QLoRA，稠密 27B 没问题
    load_in_16bit = True,     # bf16/16 位 LoRA
    full_finetuning = False,
)

model = FastLanguageModel.get_peft_model(
    model,
    r = 16,
    target_modules = [
        "q_proj", "k_proj", "v_proj", "o_proj",
        "gate_proj", "up_proj", "down_proj",
    ],
    lora_alpha = 16,
    lora_dropout = 0,
    bias = "none",
    # "unsloth" 检查点机制适用于超长上下文 + 更低 VRAM
    use_gradient_checkpointing = "unsloth",
    random_state = 3407,
    max_seq_length = max_seq_length,
)

trainer = SFTTrainer(
    model = model,
    train_dataset = dataset,
    tokenizer = tokenizer,
    args = SFTConfig(
        max_seq_length = max_seq_length,
        per_device_train_batch_size = 1,
        gradient_accumulation_steps = 4,
        warmup_steps = 10,
        max_steps = 100,
        logging_steps = 1,
        output_dir = "outputs_qwen35",
        optim = "adamw_8bit",
        seed = 3407,
        dataset_num_proc = 1,
    ),
)

trainer.train()

如果你遇到 OOM：

将 per_device_train_batch_size 调低到 1 和/或降低 max_seq_length.
保留 use_gradient_checkpointing="unsloth" 开启（它旨在减少 VRAM 使用并延长上下文长度）。

MoE 加载示例（bf16 LoRA）：

import os
import torch
from unsloth import FastModel

model, tokenizer = FastModel.from_pretrained(
    model_name = "unsloth/Gemma-4-26B-A4B-it",
    max_seq_length = 2048,
    load_in_4bit = False,     # 不建议使用 MoE QLoRA，稠密 27B 没问题
    load_in_16bit = True,     # bf16/16 位 LoRA
    full_finetuning = False,
)

加载完成后，你将附加 LoRA 适配器，并像上面的 SFT 示例那样进行训练。

MoE 微调（26B-A4B）

这个 26B-A4B 模型是 Gemma 4 系列中速度 / 质量的折中选择。由于它是一个 MoE 模型，每个 token 只激活部分参数，因此更稳妥的微调方式是：

使用 LoRA 而不是全量微调
优先使用 16 位 / bf16 LoRA 如果显存允许
先从更短的上下文和更小的 rank 开始
只有在流程稳定后再扩大规模

如果你的目标是最高质量，并且有更多显存，请改用 31B 。

多模态微调（E2B / E4B）

由于 E2B 和 E4B 支持图像和音频，它们是 Gemma 4 中用于多模态微调的主要变体。

使用 FastVisionModel
加载多模态模型时，请先 finetune_vision_layers = False 先
仅微调语言、注意力和 MLP 层
如果任务需要，再启用视觉或音频层

Gemma 4 多模态 LoRA 示例：

from unsloth import FastVisionModel
from unsloth.trainer import UnslothVisionDataCollator
from trl import SFTTrainer, SFTConfig

model, tokenizer = FastVisionModel.from_pretrained(
    model_name = "google-gemma-4-31b-it",
    max_seq_length = 2048,
    load_in_4bit = False,
    use_gradient_checkpointing = "unsloth",
)

model = FastVisionModel.get_peft_model(
    model,
    finetune_vision_layers     = False,  # 如果 VRAM 有限，先从仅文本开始
    finetune_language_layers   = True,
    finetune_attention_modules = True,
    finetune_mlp_modules       = True,
    r = 16,
    lora_alpha = 16,
    lora_dropout = 0,
    bias = "none",
    target_modules = "all-linear",
)

trainer = SFTTrainer(
    model = model,
    tokenizer = tokenizer,
    data_collator = UnslothVisionDataCollator(model, tokenizer),
    train_dataset = dataset,
    args = SFTConfig(
        per_device_train_batch_size = 1,
        gradient_accumulation_steps = 4,
        learning_rate = 2e-4,
        output_dir = "outputs_gemma4_mm",
    ),
)

trainer.train()

图像示例格式

记住：对于 Gemma 4 多模态提示，请把图像放在文本指令之前。

{
  "messages": [
    {
      "role": "user",
      "content": [
        {"type": "image", "image": "path_or_image_object"},
        {"type": "text", "text": "从这张收据中提取所有文本。以 JSON 返回项目明细、总计、商家和日期。"}
      ]
    },
    {
      "role": "assistant",
      "content": [
        {"type": "text", "text": "{\"merchant\": \"Example Store\", \"total\": \"19.99\"}"}
      ]
    }
  ]
}

音频示例格式

音频仅适用于 E2B / E4B 。请保持片段简短且与任务相关。

{
  "messages": [
    {
      "role": "user",
      "content": [
        {"type": "audio", "audio": "path_or_audio_object"},
        {"type": "text", "text": "请将以下英文语音片段转写为英文文本。仅输出转写内容。"}
      ]
    },
    {
      "role": "assistant",
      "content": [
        {"type": "text", "text": "大家好，欢迎回来。"}
      ]
    }
  ]
}

保存 / 导出微调模型

你可以查看我们针对以下内容的特定推理 / 部署指南： Unsloth Studio, llama.cpp, vLLM, llama-server, Ollama 或 SGLang.

保存为 GGUF

Unsloth 支持直接保存为 GGUF：

model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q4_k_m")
model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q8_0")
model.save_pretrained_gguf("directory", tokenizer, quantization_method = "f16")

或者将 GGUF 推送到 Hugging Face：

model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q4_k_m")
model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q8_0")

如果导出的模型在另一个运行时中的表现更差，Unsloth 会指出最常见的原因： 推理时使用了错误的聊天模板 / EOS 令牌 （你必须使用与你训练时相同的聊天模板）。

更多详情请阅读我们的推理指南：

🖥️推理与部署 GGUF & llama.cpp

Model Export vLLM

Gemma 4 数据最佳实践

Gemma 4 有一些你需要注意的格式细节。

1. 使用标准聊天角色

Gemma 4 使用标准的：

system
user
assistant

这意味着你的 SFT 数据集应写成常规聊天格式，而不是旧的 Gemma 特定角色格式。

2. 思考模式是显式的

要启用思考模式，请在 <|think|> 放在 系统提示词开头.

已启用思考：

<|think|>
你是一位细心的编码助手。请清楚地解释你的答案。

已禁用思考：

你是一位细心的编码助手。请清楚地解释你的答案。

如果你想在 SFT 期间保留思考风格行为：

保持格式一致
决定你是想训练 可见的思考块 还是 仅最终答案
不要 在同一数据集中混合多种不兼容的思考格式 对于大多数生产环境助手来说，最简单的设置是只在

最终可见答案 上进行微调.

3. 多轮规则

对于多轮对话，只保留 最终可见答案 在对话历史中。不要 在同一数据集中混合多种不兼容的思考格式 将更早的思考块重新喂回后续轮次。

4. 多模态内容应先出现

对于 Gemma 4 多模态提示，请放置：

图像在文本之前
音频在文本之前
视频帧在文本之前

这也应体现在你的训练数据中。

上一页Gemma 4 下一页Qwen3.5

最后更新于 4小时前

这有帮助吗？

hashtag快速开始

hashtag🦥 Unsloth Studio 指南

hashtag安装 Unsloth

hashtag启动 Unsloth

hashtag训练 Gemma 4

hashtag监控训练进度

hashtag导出你的微调模型

hashtag🦥 Unsloth Core（基于代码）指南

hashtagMoE 微调（26B-A4B）

hashtag多模态微调（E2B / E4B）

hashtagGemma 4 多模态 LoRA 示例：

hashtag图像示例格式

hashtag音频示例格式

hashtag保存 / 导出微调模型

hashtag保存为 GGUF

hashtagGemma 4 数据最佳实践

hashtag1. 使用标准聊天角色

hashtag2. 思考模式是显式的

hashtag3. 多轮规则

hashtag4. 多模态内容应先出现

快速开始

🦥 Unsloth Studio 指南

安装 Unsloth

启动 Unsloth

训练 Gemma 4

监控训练进度

导出你的微调模型

🦥 Unsloth Core（基于代码）指南

MoE 微调（26B-A4B）

多模态微调（E2B / E4B）

Gemma 4 多模态 LoRA 示例：

图像示例格式

音频示例格式

保存 / 导出微调模型

保存为 GGUF

Gemma 4 数据最佳实践

1. 使用标准聊天角色

2. 思考模式是显式的

3. 多轮规则

4. 多模态内容应先出现