Qwen3.5 微调指南

学习如何使用 Unsloth 微调 Qwen3.5 系列模型。

您现在可以微调 Qwen3.5 模型系列（0.8B、2B、4B、9B、27B、35B‑A3B、122B‑A10B），使用 Unsloth。支持包括 视觉 和文本微调。 Qwen3.5‑35B‑A3B - bf16 LoRA 在 74GB 显存上可运行。

• Unsloth 使 Qwen3.5 训练 快 1.5× 并且使用 少 50% 的显存 相比 FA2 配置。

• Qwen3.5 bf16 LoRA 显存使用： 0.8B: 3GB • 2B: 5GB • 4B: 10GB • 9B: 22GB • 27B: 56GB

• 微调 0.8B, 2B 和 4B 通过我们的 bf16 LoRA 免费 Google Colab 笔记本:

Qwen3.5-0.8B	Qwen3.5-2B	Qwen3.5-4B

• 如果您想要 保留推理 能力，您可以将推理风格示例与直接答案混合（保持至少 75% 为推理）。否则您可以完全省略它。

• 完整微调（FFT） 也可行。注意它将使用 4 倍更多显存。

• Qwen3.5 在多语言微调方面很强大，支持 201 种语言。

• 微调后，您可以导出为 GGUF （用于 llama.cpp/Ollama/LM Studio/等）或 vLLM

• 用于 Qwen3.5 的强化学习 （RL） VLM 强化学习 也可以通过 Unsloth 推理工作。

• 我们有 A100 用于 Qwen3.5‑27B 的 Colab 笔记本 和 Qwen3.5‑35B‑A3B.

如果您使用的是较旧版本（或在本地微调），请先更新：

pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo

请使用 transformers v5 用于 Qwen3.5。旧版本将无法工作。Unsloth 现在默认会自动使用 transformers v5（Colab 环境除外）。

如果训练看起来 比平常慢，这是因为 Qwen3.5 使用自定义的 Mamba Triton 内核。编译这些内核可能比正常情况花费更长时间，尤其是在 T4 GPU 上。

不建议在 Qwen3.5 模型上进行 QLoRA（4-bit）训练，无论是 MoE 还是密集模型，因量化差异高于正常水平。

MoE 微调（35B、122B）

对于像 Qwen3.5‑35B‑A3B / 122B‑A10B / 397B‑A17B 这样的 MoE 模型，:

• 您可以使用我们的 Qwen3.5‑35B‑A3B（A100） 微调笔记本，

• 支持我们最近约 12 倍更快的 MoE 训练更新， 使用 >35% 更少的显存 & 约 6 倍更长的上下文长度，

• 最好使用 bf16 配置（例如 LoRA 或完整微调）， （由于 BitsandBytes 的限制，不建议使用 MoE QLoRA 4‑bit）。

• Unsloth 的 MoE 内核默认启用并可使用不同后端；您可以通过 UNSLOTH_MOE_BACKEND.

• 切换。路由层微调为稳定性默认禁用。

• Qwen3.5‑122B‑A10B - bf16 LoRA 在 256GB 显存上可运行。如果您使用多 GPU，请添加 device_map = "balanced" 或遵循我们的 multiGPU 指南.

快速入门，

下面是一个最小的 SFT 配方（适用于“仅文本”微调）。另请参阅我们的 视觉微调 部分。

Qwen3.5 是“带视觉编码器的因果语言模型”（它是一个统一的 VLM），因此请确保已安装常见的视觉依赖（torchvision, pillow)（如有需要），并保持 Transformers 为最新。对 Qwen3.5 使用最新的 Transformers。

如果您想做 GRPO，在 Unsloth 中可行，前提是您禁用快速 vLLM 推理并改用 Unsloth 推理。请参阅我们的 视觉强化学习 笔记本示例。

from unsloth import FastLanguageModel
import torch
from datasets import load_dataset
from trl import SFTTrainer, SFTConfig

max_seq_length = 2048  # 从小开始；运行成功后再扩展

# 示例数据集（替换为您的）。需要一个 "text" 列。
url = "https://huggingface.co/datasets/laion/OIG/resolve/main/unified_chip2.jsonl"
dataset = load_dataset("json", data_files={"train": url}, split="train")

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "Qwen/Qwen3.5-27B",
    max_seq_length = max_seq_length,
    load_in_4bit = False,     # 不建议 MoE QLoRA，密集 27B 是可以的
    load_in_16bit = True,     # bf16/16 位 LoRA
    full_finetuning = False,
)

model = FastLanguageModel.get_peft_model(
    model,
    r = 16,
    target_modules = [
        "q_proj", "k_proj", "v_proj", "o_proj",
        "gate_proj", "up_proj", "down_proj",
    ],
    lora_alpha = 16,
    lora_dropout = 0,
    bias = "none",
    # “unsloth” 检查点用于非常长上下文 + 降低显存使用
    use_gradient_checkpointing = "unsloth",
    random_state = 3407,
    max_seq_length = max_seq_length,
)

trainer = SFTTrainer(
    model = model,
    train_dataset = dataset,
    tokenizer = tokenizer,
    args = SFTConfig(
        max_seq_length = max_seq_length,
        per_device_train_batch_size = 1,
        gradient_accumulation_steps = 4,
        warmup_steps = 10,
        max_steps = 100,
        logging_steps = 1,
        output_dir = "outputs_qwen35",
        optim = "adamw_8bit",
        seed = 3407,
        dataset_num_proc = 1,
    ),
)

trainer.train()

如果发生 OOM：

• 降低 per_device_train_batch_size 到 1 并/或减少 max_seq_length.

• 保留 use_gradient_checkpointing="unsloth" 开启（它旨在减少显存使用并延长上下文长度）。

MoE（bf16 LoRA）加载器示例：

import os
import torch
from unsloth import FastModel

model, tokenizer = FastModel.from_pretrained(
    model_name = "unsloth/Qwen3.5-35B-A3B",
    max_seq_length = 2048,
    load_in_4bit = False,     # 不建议 MoE QLoRA，密集 27B 是可以的
    load_in_16bit = True,     # bf16/16 位 LoRA
    full_finetuning = False,
)

加载后，您将附加 LoRA 适配器并以类似于上述 SFT 示例的方式进行训练。

视觉微调

Unsloth 支持 视觉微调 多模态 Qwen3.5 模型的微调。使用下面的 Qwen3.5 笔记本并将相应的模型名称更改为您想要的 Qwen3.5 模型。

Qwen3.5-0.8B	Qwen3.5-2B	Qwen3.5-4B	Qwen3.5-9B

• Qwen3-VL GRPO/GSPO 强化学习 笔记本， （将模型名称更改为 Qwen3.5-4B 等）

禁用视觉 / 仅文本微调：

为了微调视觉模型，我们现在允许您选择要微调的模型部分。您可以选择仅微调视觉层，或语言层，或注意力 / MLP 层！我们默认都开启！

model = FastVisionModel.get_peft_model(
    model,
    finetune_vision_layers     = True, # 如果不微调视觉层则设为 False
    finetune_language_layers   = True, # 如果不微调语言层则设为 False
    finetune_attention_modules = True, # 如果不微调注意力层则设为 False
    finetune_mlp_modules       = True, # 如果不微调 MLP 层则设为 False

    r = 16,                           # 值越大，准确率越高，但可能过拟合
    lora_alpha = 16,                  # 建议 alpha 至少等于 r
    lora_dropout = 0,
    bias = "none",
    random_state = 3407,
    use_rslora = False,               # 我们支持等级稳定化的 LoRA
    loftq_config = None,               # 以及 LoftQ
    target_modules = "all-linear",    # 现在是可选的！如有需要可指定列表
    modules_to_save=[
        "lm_head",
        "embed_tokens",
    ],
)

为了使用多图像对 Qwen3.5 进行微调或训练， 请查看我们的 多图像视觉指南.

保存 / 导出微调模型

您可以查看我们针对以下内容的具体推理 / 部署指南： llama.cpp, vLLM, llama-server, Ollama, LM Studio 或 SGLang.

保存为 GGUF

Unsloth 支持直接保存为 GGUF：

model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q4_k_m")
model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q8_0")
model.save_pretrained_gguf("directory", tokenizer, quantization_method = "f16")

或将 GGUF 推送到 Hugging Face：

model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q4_k_m")
model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q8_0")

如果导出的模型在另一个运行时表现更差，Unsloth 会标记最常见的原因： 推理时错误的聊天模板 / EOS 标记 （您必须使用与训练时相同的聊天模板）。

保存为 vLLM

vLLM 版本 0.16.0 不支持 Qwen3.5。请等待 0.170 或尝试 Nightly 版本。

要保存为 vLLM 的 16 位，请使用：

model.save_pretrained_merged("finetuned_model", tokenizer, save_method = "merged_16bit")
## 或 上传到 HuggingFace：
model.push_to_hub_merged("hf/model", tokenizer, save_method = "merged_16bit", token = "")

要仅保存 LoRA 适配器，可使用：

model.save_pretrained("finetuned_lora")
tokenizer.save_pretrained("finetuned_lora")

或使用我们的内置函数：

model.save_pretrained_merged("finetuned_model", tokenizer, save_method = "lora")
## 或 上传到 HuggingFace
model.push_to_hub_merged("hf/model", tokenizer, save_method = "lora", token = "")

欲了解更多详情，请阅读我们的推理指南：

🖥️推理与部署GGUF & llama.cpp

vLLM推理故障排除