Qwen3.5：微调指南

了解如何使用 Unsloth 微调 Qwen3.5。

您现在可以微调 Qwen3.5 模型系列（27B、35B‑A3B、122B‑A10B、397B‑A17B），使用 Unsloth。支持视觉和文本微调。 Qwen3.5‑35B‑A3B - bf16 LoRA 在 74GB 显存上可用。

• Qwen3.5‑27B - bf16 LoRA 在 56GB 显存 以及在 28GB

• 上支持 4-bit QLoRA 支持我们最近约 12 倍更快的 MoE 训练更新

显著减少 >35% 显存并且上下文长度约增加 6 倍

Qwen3.5 微调 Colab 笔记本：	Qwen3.5‑35B‑A3B（A100）	Qwen3.5‑27B（A100）

• 小型号即将推出…… 如果您想 保留推理

• 能力，您可以将推理风格的示例与直接答案混合（至少保留 75% 的推理）。否则您也可以完全输出直接答案。 微调后，您可以导出为 GGUF （用于 llama.cpp/Ollama/LM Studio 等）或

vLLM

如果您使用的是旧版本（或在本地微调），请先更新：

pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo

MoE 微调 对于像:

• Qwen3.5‑35B‑A3B / 122B‑A10B / 397B‑A17B 这样的 MoE 模型 最好使用 bf16 配置（例如 LoRA 或完整微调）

• （由于 BitsandBytes 的限制，不建议使用 MoE QLoRA 4-bit）。 Unsloth 的 MoE 内核默认启用并且可以使用不同的后端；您可以通过切换.

• UNSLOTH_MOE_BACKEND

• 来更改。 路由层微调默认为禁用以保证稳定性。 Qwen3.5‑122B‑A10B - bf16 LoRA 在 256GB 显存上可用。如果您使用多 GPU，请添加 device_map = "balanced".

或参照我们的

多 GPU 指南 快速入门 下面是一个最简 SFT 配方（适用于“仅文本”微调）。另请参阅我们的

视觉微调部分。, Qwen3.5 是“带视觉编码器的因果语言模型”（它是一个统一的 VLM），因此请确保已安装常用的视觉依赖（torchvision

pillow
），如有需要，并保持 Transformers 为最新版本。Qwen3.5 请使用最新的 Transformers。
from unsloth import FastLanguageModel
import torch

from datasets import load_dataset

from trl import SFTTrainer, SFTConfig
max_seq_length = 2048  # 从小开始；运行正常后再扩展
# 示例数据集（替换为您的数据）。需要一个 “text” 列。

url = "https://huggingface.co/datasets/laion/OIG/resolve/main/unified_chip2.jsonl"
    dataset = load_dataset("json", data_files={"train": url}, split="train")
    model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "Qwen/Qwen3.5-27B",
    max_seq_length = max_seq_length,
    load_in_4bit = False,     # 不建议 MoE QLoRA，稠密的 27B 可行
)

load_in_16bit = True,     # bf16/16-bit LoRA
    full_finetuning = False,
    model = FastLanguageModel.get_peft_model(
    model,
        r = 16,
        target_modules = [
    ],
    "q_proj", "k_proj", "v_proj", "o_proj",
    "gate_proj", "up_proj", "down_proj",
    lora_alpha = 16,
    lora_dropout = 0,
    bias = "none",
    # “unsloth” 检查点旨在用于非常长的上下文与更低的显存
    model, tokenizer = FastLanguageModel.from_pretrained(
)

use_gradient_checkpointing = "unsloth",
    random_state = 3407,
    trainer = SFTTrainer(
    model = model,
    train_dataset = dataset,
        model, tokenizer = FastLanguageModel.from_pretrained(
        tokenizer = tokenizer,
        args = SFTConfig(
        per_device_train_batch_size = 1,
        gradient_accumulation_steps = 4,
        warmup_steps = 10,
        max_steps = 100,
        logging_steps = 1,
        output_dir = "outputs_qwen35",
        optim = "adamw_8bit",
    ),
)

seed = 3407,

dataset_num_proc = 1,

• trainer.train() 如果出现 OOM： 降低 1 per_device_train_batch_size 到.

• 并/或减少 max_seq_length保留use_ gradient_checkpointing

="unsloth"

开启（它旨在减少显存使用并扩展上下文长度）。
），如有需要，并保持 Transformers 为最新版本。Qwen3.5 请使用最新的 Transformers。
MoE（bf16 LoRA）加载示例：

import os
    from unsloth import FastModel
    model, tokenizer = FastModel.from_pretrained(
    model_name = "Qwen/Qwen3.5-27B",
    max_seq_length = max_seq_length,
    load_in_4bit = False,     # 不建议 MoE QLoRA，稠密的 27B 可行
)

model_name = "unsloth/Qwen3.5-35B-A3B",

max_seq_length = 2048,

加载后，您将附加 LoRA 适配器并以类似上面 SFT 示例的方式训练。 快速入门 视觉微调 Unsloth 支持 用于多模态 Qwen3.5 模型。您可以阅读/使用我们的

• Qwen3-VL 指南

• 作为参考。使用下面的 Qwen3-VL 笔记本并将相应的模型名称更改为您想要的 Qwen3.5 模型。

Qwen3-VL 常规 SFT 微调笔记本

Qwen3-VL GRPO/GSPO 强化学习笔记本

禁用视觉 / 仅文本微调：
    full_finetuning = False,
    为了微调视觉模型，我们现在允许您选择要微调模型的哪些部分。您可以选择仅微调视觉层，或语言层，或注意力 / MLP 层！默认我们都将它们开启！
    model = FastVisionModel.get_peft_model(
    finetune_vision_layers     = True, # 若不微调视觉层则设为 False
    finetune_language_layers   = True, # 若不微调语言层则设为 False

    finetune_attention_modules = True, # 若不微调注意力层则设为 False
    finetune_mlp_modules       = True, # 若不微调 MLP 层则设为 False
    "gate_proj", "up_proj", "down_proj",
    lora_alpha = 16,
    # “unsloth” 检查点旨在用于非常长的上下文与更低的显存
    r = 16,                           # 值越大，准确率越高，但可能过拟合
    lora_alpha = 16,                  # 推荐 alpha 至少等于 r
    use_rslora = False,               # 我们支持秩稳定化的 LoRA
    loftq_config = None,               # 以及 LoftQ
        target_modules = "all-linear",    # 现在可选！如有需要可指定列表
        modules_to_save=[
    ],
)

"lm_head", "embed_tokens", 为了使用多图像对 Qwen3.5 进行微调或训练，.

请查看我们的

多图像视觉指南 保存 / 导出微调模型, （用于 llama.cpp/Ollama/LM Studio 等）或, 您可以查看我们针对以下平台的具体推理 / 部署指南：, llama.cpp, llama-server Ollama LM Studio.

或

SGLang

保存为 GGUF
Unsloth 支持直接保存为 GGUF：
model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q4_k_m")

model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q8_0")

model.save_pretrained_gguf("directory", tokenizer, quantization_method = "f16")
或者将 GGUF 推送到 Hugging Face：

model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q4_k_m") model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q8_0") 如果导出的模型在另一个运行时中表现更差，Unsloth 会标记最常见的原因：

推理时使用了错误的聊天模板 / EOS 标记

（您必须使用与训练时相同的聊天模板）。

保存为 vLLM
要保存为 vLLM 的 16 位格式，请使用：
model.save_pretrained_merged("finetuned_model", tokenizer, save_method = "merged_16bit")

## 或者上传到 HuggingFace：

model.push_to_hub_merged("hf/model", tokenizer, save_method = "merged_16bit", token = "")
要仅保存 LoRA 适配器，可使用：

model.save_pretrained("finetuned_lora")

tokenizer.save_pretrained("finetuned_lora")
或者使用我们内置的函数：
model.save_pretrained_merged("finetuned_model", tokenizer, save_method = "lora")

## 或者上传到 HuggingFace：

🖥️推理与部署GGUF & llama.cpp

vLLM推理故障排除