Qwen3.5: Feinabstimmungs-Leitfaden

Lerne, wie man Qwen3.5 mit Unsloth feinabstimmt.

Sie können jetzt das Qwen3.5 Modell-Familie (27B, 35B‑A3B, 122B‑A10B, 397B‑A17B) mit Unsloth. Die Unterstützung umfasst sowohl Vision- als auch Text-Finetuning. Qwen3.5‑35B‑A3B - bf16 LoRA funktioniert mit 74GB VRAM.

• Qwen3.5‑27B - bf16 LoRA funktioniert mit 56GB VRAM und 4‑bit QLoRA auf 28GB

• Unterstützt unser kürzliches ~12x schnelleres MoE-Training-Update mit >35% weniger VRAM & ~6x längerem Kontext

Qwen3.5 Fine-Tuning Colab-Notebooks:

Qwen3.5‑35B‑A3B (A100)	Qwen3.5‑27B (A100)	Kleinere folgen bald...

• Wenn Sie das Schlussfolgerungsvermögen beibehalten möchten, können Sie reasoning‑artige Beispiele mit direkten Antworten mischen (mindestens 75% reasoning beibehalten). Andernfalls können Sie es vollständig weglassen.

• Nach dem Fine-Tuning können Sie exportieren nach GGUF (für llama.cpp/Ollama/LM Studio/etc.) oder vLLM

Wenn Sie eine ältere Version verwenden (oder lokal fine-tunen), aktualisieren Sie zuerst:

pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo

MoE Fine-Tuning

Für MoE-Modelle wie Qwen3.5‑35B‑A3B / 122B‑A10B / 397B‑A17B:

• Am besten bf16-Setups verwenden (z. B. LoRA oder vollständiges Fine-Tuning) (MoE QLoRA 4‑bit wird aufgrund von BitsandBytes-Einschränkungen nicht empfohlen).

• Unsloths MoE-Kerne sind standardmäßig aktiviert und können verschiedene Backends verwenden; Sie können mit UNSLOTH_MOE_BACKEND.

• zwischen ihnen wechseln.

• Router-Layer-Finetuning ist aus Stabilitätsgründen standardmäßig deaktiviert. Qwen3.5‑122B‑A10B - bf16 LoRA funktioniert mit 256GB VRAM. Wenn Sie mehrere GPUs verwenden, fügen Sie device_map = "balanced" hinzu oder folgen Sie unserem.

multiGPU-Leitfaden

Schnellstart Unten ist ein minimales SFT-Rezept (funktioniert für reines Text-Finetuning). Siehe auch unser Vision-Finetuning

Abschnitt.Qwen3.5 ist ein „kausealeres Sprachmodell mit Vision-Encoder“ (ein einheitliches VLM), stellen Sie daher sicher, dass die üblichen Vision-Abhängigkeiten installiert sind (, torchvisionpillow

), falls benötigt, und halten Sie Transformers aktuell. Verwenden Sie die neuesten Transformers für Qwen3.5.
from unsloth import FastLanguageModel
import torch
from datasets import load_dataset

from trl import SFTTrainer, SFTConfig

max_seq_length = 2048  # klein anfangen; erhöhen, nachdem es funktioniert
# Beispiel-Dataset (mit Ihrem ersetzen). Benötigt eine "text"-Spalte.
url = "https://huggingface.co/datasets/laion/OIG/resolve/main/unified_chip2.jsonl"

dataset = load_dataset("json", data_files={"train": url}, split="train")
    model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "Qwen/Qwen3.5-27B",
    max_seq_length = max_seq_length,
    load_in_4bit = False,     # MoE QLoRA nicht empfohlen, dense 27B ist in Ordnung
    load_in_16bit = True,     # bf16/16‑bit LoRA
)

full_finetuning = False,
    model = FastLanguageModel.get_peft_model(
    model,
    r = 16,
        target_modules = [
        "q_proj", "k_proj", "v_proj", "o_proj",
    ],
    "gate_proj", "up_proj", "down_proj",
    lora_alpha = 16,
    lora_dropout = 0,
    bias = "none",
    # "unsloth" Checkpointing ist für sehr langen Kontext + geringeren VRAM gedacht
    use_gradient_checkpointing = "unsloth",
    model_name = "Qwen/Qwen3.5-27B",
)

random_state = 3407,
    trainer = SFTTrainer(
    model = model,
    train_dataset = dataset,
    tokenizer = tokenizer,
        model_name = "Qwen/Qwen3.5-27B",
        args = SFTConfig(
        per_device_train_batch_size = 1,
        gradient_accumulation_steps = 4,
        warmup_steps = 10,
        max_steps = 100,
        logging_steps = 1,
        output_dir = "outputs_qwen35",
        optim = "adamw_8bit",
        seed = 3407,
    ),
)

dataset_num_proc = 1,

trainer.train()

• Wenn Sie OOM bekommen: Reduzieren Sie per_device_train_batch_size 1 auf und/oder verringern Sie.

• max_seq_length Behalten Sieuse_gradient_checkpointing ="unsloth"

eingeschaltet (es ist darauf ausgelegt, VRAM-Nutzung zu reduzieren und die Kontextlänge zu verlängern).

Loader-Beispiel für MoE (bf16 LoRA):
from unsloth import FastLanguageModel
import os

from unsloth import FastModel
    model, tokenizer = FastModel.from_pretrained(
    model_name = "unsloth/Qwen3.5-35B-A3B",
    max_seq_length = max_seq_length,
    load_in_4bit = False,     # MoE QLoRA nicht empfohlen, dense 27B ist in Ordnung
    load_in_16bit = True,     # bf16/16‑bit LoRA
)

max_seq_length = 2048,

Sobald geladen, fügen Sie LoRA-Adapter hinzu und trainieren ähnlich wie im obigen SFT-Beispiel.

Vision-Finetuning Unten ist ein minimales SFT-Rezept (funktioniert für reines Text-Finetuning). Siehe auch unser Unsloth unterstützt für die multimodalen Qwen3.5-Modelle. Sie können unseren Qwen3-VL Leitfaden

• als Referenz lesen / verwenden. Verwenden Sie die untenstehenden Qwen3-VL-Notebooks und ändern Sie die jeweiligen Modellnamen auf Ihr gewünschtes Qwen3.5-Modell.

• Qwen3-VL Normal SFT Fine-Tuning Notebook

Qwen3-VL GRPO/GSPO RL Notebook

Deaktivieren von Vision / Nur-Text-Finetuning:

Um Vision-Modelle zu finetunen, erlauben wir jetzt, auszuwählen, welche Teile des Modells feinabgestimmt werden sollen. Sie können auswählen, nur die Vision-Layer, oder die Sprach-Layer, oder die Attention-/MLP-Layer zu finetunen! Standardmäßig sind alle eingeschaltet!
    model = FastLanguageModel.get_peft_model(
    model = FastVisionModel.get_peft_model(
    finetune_vision_layers     = True, # False, wenn Vision-Layer nicht finetuned werden
    finetune_language_layers   = True, # False, wenn Sprach-Layer nicht finetuned werden
    finetune_attention_modules = True, # False, wenn Attention-Layer nicht finetuned werden

    finetune_mlp_modules       = True, # False, wenn MLP-Layer nicht finetuned werden
    r = 16,                           # Je größer, desto höher die Genauigkeit, kann aber überanpassen
    lora_alpha = 16,
    lora_dropout = 0,
    use_gradient_checkpointing = "unsloth",
    lora_alpha = 16,                  # Empfohlen: alpha == r mindestens
    use_rslora = False,               # Wir unterstützen rank-stabilisiertes LoRA
    loftq_config = None,               # Und LoftQ
    target_modules = "all-linear",    # Jetzt optional! Kann bei Bedarf eine Liste angeben
        modules_to_save=[
        "lm_head",
    ],
)

"embed_tokens", Um Qwen3.5 mit mehreren Bildern zu finetunen oder zu trainieren, sehen Sie unseren.

Multi-Image-Vision-Leitfaden

Speichern / Export des feinabgestimmten Modells Sie können unsere spezifischen Inferenz-/Bereitstellungsleitfäden für, vLLM, llama.cpp, llama-server, Ollama LM Studio oder.

SGLang

anzeigen.

In GGUF speichern
Unsloth unterstützt direktes Speichern in GGUF:
model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q4_k_m")

model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q8_0")

model.save_pretrained_gguf("directory", tokenizer, quantization_method = "f16")
Oder GGUFs zu Hugging Face pushen:

model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q4_k_m") model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q8_0") Wenn sich das exportierte Modell in einer anderen Laufzeit schlechter verhält, markiert Unsloth die häufigste Ursache:

falsche Chat-Vorlage / EOS-Token zur Inferenzzeit

(Sie müssen dieselbe Chat-Vorlage verwenden, mit der Sie trainiert haben).

In vLLM speichern
Um in 16‑Bit für vLLM zu speichern, verwenden Sie:
model.save_pretrained_merged("finetuned_model", tokenizer, save_method = "merged_16bit")

## ODER zum Hochladen zu HuggingFace:

model.push_to_hub_merged("hf/model", tokenizer, save_method = "merged_16bit", token = "")
Um nur die LoRA-Adapter zu speichern, verwenden Sie entweder:

model.save_pretrained("finetuned_lora")

tokenizer.save_pretrained("finetuned_lora")
Oder verwenden Sie unsere eingebaute Funktion:
model.save_pretrained_merged("finetuned_model", tokenizer, save_method = "lora")

## ODER zum Hochladen zu HuggingFace

🖥️Inference & BereitstellungGGUF & llama.cpp

vLLMFehlerbehebung bei der Inferenz