Qwen3.5 Feinabstimmungs-Anleitung

Erfahre, wie man Qwen3.5-LLMs mit Unsloth feinabstimmt.

Sie können jetzt feinabstimmen Qwen3.5 Modellfamilie (0.8B, 2B, 4B, 9B, 27B, 35B‑A3B, 122B‑A10B) mit Unsloth. Unterstützung umfasst sowohl Vision als auch Text‑Feinabstimmung. Qwen3.5‑35B‑A3B - bf16 LoRA funktioniert auf 74GB VRAM.

• Unsloth macht Qwen3.5 Training 1,5× schneller und verwendet 50% weniger VRAM als FA2‑Setups.

• Qwen3.5 bf16 LoRA VRAM‑Verbrauch: 0.8B: 3GB • 2B: 5GB • 4B: 10GB • 9B: 22GB • 27B: 56GB

• Feinabstimmen 0.8B, 2B und 4B bf16 LoRA über unsere kostenlosen Google Colab‑Notebooks:

Qwen3.5-0.8B	Qwen3.5-2B	Qwen3.5-4B

• Wenn Sie möchten die Fähigkeit zum Schlussfolgern bewahren, können Sie reasoning‑artige Beispiele mit direkten Antworten mischen (mindestens 75% reasoning beibehalten). Andernfalls können Sie es vollständig weglassen.

• Vollständige Feinabstimmung (FFT) funktioniert ebenfalls. Beachten Sie, dass dies 4× mehr VRAM verwendet.

• Qwen3.5 ist leistungsstark für mehrsprachige Feinabstimmung, da es 201 Sprachen unterstützt.

• Nach der Feinabstimmung können Sie exportieren nach GGUF (für llama.cpp/Ollama/LM Studio/etc.) oder vLLM

• Verstärkendes Lernen (RL) für Qwen3.5 VLM RL funktioniert ebenfalls über Unsloth‑Inference.

• Wir haben A100 Colab‑Notebooks für Qwen3.5‑27B und Qwen3.5‑35B‑A3B.

Wenn Sie eine ältere Version verwenden (oder lokal feinabstimmen), aktualisieren Sie zuerst:

pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo

Bitte verwenden Sie transformers v5 für Qwen3.5. Ältere Versionen funktionieren nicht. Unsloth verwendet standardmäßig jetzt automatisch transformers v5 (außer in Colab‑Umgebungen).

Wenn das Training langsamer als üblich erscheint, liegt das daran, dass Qwen3.5 benutzerdefinierte Mamba‑Triton‑Kerne verwendet. Das Kompilieren dieser Kerne kann länger dauern als üblich, insbesondere auf T4‑GPUs.

Es wird nicht empfohlen, QLoRA (4‑bit) Training auf den Qwen3.5‑Modellen durchzuführen, egal ob MoE oder dicht, aufgrund höher als normaler Quantisierungsunterschiede.

MoE‑Feinabstimmung (35B, 122B)

Für MoE‑Modelle wie Qwen3.5‑35B‑A3B / 122B‑A10B / 397B‑A17B:

• können Sie unser Qwen3.5‑35B‑A3B (A100) Feinabstimmungs‑Notebook

• Unterstützt unser jüngstes ~12× schnelleres MoE‑Training‑Update mit >35% weniger VRAM & ~6× längerer Kontextlänge

• Am besten bf16‑Setups verwenden (z. B. LoRA oder vollständige Feinabstimmung) (MoE QLoRA 4‑bit wird aufgrund von BitsandBytes‑Einschränkungen nicht empfohlen).

• Unsloths MoE‑Kerne sind standardmäßig aktiviert und können verschiedene Backends nutzen; Sie können mit UNSLOTH_MOE_BACKEND.

• umschalten.

• Router‑Layer‑Feinabstimmung ist standardmäßig aus Stabilitätsgründen deaktiviert. Qwen3.5‑122B‑A10B - bf16 LoRA funktioniert auf 256GB VRAM. Wenn Sie mehrere GPUs verwenden, fügen Sie device_map = "balanced" hinzu oder folgen Sie unserem.

multiGPU‑Leitfaden

Schnellstart Unten ist ein minimales SFT‑Rezept (funktioniert für „nur Text“ Feinabstimmung). Siehe auch unser Vision‑Feinabstimmungs

Abschnitt.Qwen3.5 ist „Causal Language Model with Vision Encoder“ (ein vereinheitlichter VLM), stellen Sie also sicher, dass die üblichen Vision‑Abhängigkeiten installiert sind (, torchvisionpillow

) falls erforderlich, und halten Sie Transformers auf dem neuesten Stand. Verwenden Sie die aktuellste Transformers‑Version für Qwen3.5. Wenn SieGRPO durchführen möchten, funktioniert es in Unsloth, wenn Sie schnelle vLLM‑Inference deaktivieren und stattdessen Unsloth‑Inference verwenden. Folgen Sie unseren Vision RL

Notebook‑Beispielen.
from unsloth import FastLanguageModel
import torch
from datasets import load_dataset

from trl import SFTTrainer, SFTConfig

max_seq_length = 2048  # klein anfangen; nach erfolgreichem Test hochskalieren
# Beispiel‑Dataset (mit Ihrem ersetzen). Benötigt eine "text"‑Spalte.
url = "https://huggingface.co/datasets/laion/OIG/resolve/main/unified_chip2.jsonl"

dataset = load_dataset("json", data_files={"train": url}, split="train")
    model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "Qwen/Qwen3.5-27B",
    max_seq_length = max_seq_length,
    load_in_4bit = False,     # MoE QLoRA nicht empfohlen, dense 27B ist in Ordnung
    load_in_16bit = True,     # bf16/16‑Bit LoRA
)

full_finetuning = False,
    model = FastLanguageModel.get_peft_model(
    model,
    r = 16,
        target_modules = [
        "q_proj", "k_proj", "v_proj", "o_proj",
    ],
    "gate_proj", "up_proj", "down_proj",
    lora_alpha = 16,
    lora_dropout = 0,
    bias = "none",
    # "unsloth" Checkpointing ist für sehr langen Kontext + geringeren VRAM gedacht
    use_gradient_checkpointing = "unsloth",
    model_name = "Qwen/Qwen3.5-27B",
)

random_state = 3407,
    trainer = SFTTrainer(
    model = model,
    train_dataset = dataset,
    tokenizer = tokenizer,
        model_name = "Qwen/Qwen3.5-27B",
        args = SFTConfig(
        per_device_train_batch_size = 1,
        gradient_accumulation_steps = 4,
        warmup_steps = 10,
        max_steps = 100,
        logging_steps = 1,
        output_dir = "outputs_qwen35",
        optim = "adamw_8bit",
        seed = 3407,
    ),
)

dataset_num_proc = 1,

trainer.train()

• Wenn Sie OOM haben: Verringern Sie per_device_train_batch_size 1 auf und/oder reduzieren Sie.

• max_seq_length Behalten Sieuse_gradient_checkpointing ="unsloth"

eingeschaltet (es ist dafür ausgelegt, VRAM‑Nutzung zu reduzieren und die Kontextlänge zu verlängern).

Loader‑Beispiel für MoE (bf16 LoRA):
from unsloth import FastLanguageModel
import os

from unsloth import FastModel
    model, tokenizer = FastModel.from_pretrained(
    model_name = "unsloth/Qwen3.5-35B-A3B",
    max_seq_length = max_seq_length,
    load_in_4bit = False,     # MoE QLoRA nicht empfohlen, dense 27B ist in Ordnung
    load_in_16bit = True,     # bf16/16‑Bit LoRA
)

max_seq_length = 2048,

Sobald geladen, fügen Sie LoRA‑Adapter hinzu und trainieren ähnlich wie im SFT‑Beispiel oben.

Vision‑Feinabstimmung Unten ist ein minimales SFT‑Rezept (funktioniert für „nur Text“ Feinabstimmung). Siehe auch unser Unsloth unterstützt

Qwen3.5-0.8B	Qwen3.5-2B	Qwen3.5-4B	Qwen3.5-9B

• für die multimodalen Qwen3.5‑Modelle. Verwenden Sie die untenstehenden Qwen3.5‑Notebooks und ändern Sie die jeweiligen Modellnamen zu Ihrem gewünschten Qwen3.5‑Modell. Qwen3‑VL GRPO/GSPO RL‑Notebook

(Modellname z. B. in Qwen3.5‑4B ändern)

Deaktivieren von Vision / Nur‑Text Feinabstimmung:

Um Vision‑Modelle feinabzustimmen, erlauben wir jetzt, auszuwählen, welche Teile des Modells feinabgestimmt werden sollen. Sie können nur die Vision‑Layer, oder die Sprach‑Layer, oder die Attention / MLP‑Layer feinabstimmen! Standardmäßig sind alle aktiviert!
    model = FastLanguageModel.get_peft_model(
    model = FastVisionModel.get_peft_model(
    finetune_vision_layers     = True, # False, wenn Vision‑Layer nicht feinabgestimmt werden
    finetune_language_layers   = True, # False, wenn Sprach‑Layer nicht feinabgestimmt werden
    finetune_attention_modules = True, # False, wenn Attention‑Layer nicht feinabgestimmt werden

    finetune_mlp_modules       = True, # False, wenn MLP‑Layer nicht feinabgestimmt werden
    r = 16,                           # Je größer, desto höher die Genauigkeit, kann aber overfitten
    lora_alpha = 16,
    lora_dropout = 0,
    use_gradient_checkpointing = "unsloth",
    lora_alpha = 16,                  # Empfohlen: alpha == r zumindest
    use_rslora = False,               # Wir unterstützen rank‑stabilisiertes LoRA
    loftq_config = None,              # Und LoftQ
    target_modules = "all-linear",   # Jetzt optional! Kann bei Bedarf eine Liste angeben
        modules_to_save=[
        "lm_head",
    ],
)

"embed_tokens", Um Qwen3.5 mit mehreren Bildern feinabzustimmen oder zu trainieren, sehen Sie unseren.

Multi‑Image‑Vision‑Leitfaden

Verstärkendes Lernen (RL) Derzeit können Sie Qwen3.5 RL mit Unsloth ausführen, obwohl es von vLLM nicht unterstützt wird, indem Sie setzen fast_inference=False

Notebook‑Beispielen.

dataset = load_dataset("json", data_files={"train": url}, split="train")
    beim Laden des Modells:
    model_name="unsloth/Qwen3.5-4B",
)

fast_inference=False,

Notebooks folgen in Kürze...

Speichern / Export des feinabgestimmten Modells Sie können unsere spezifischen Inferenz‑/Bereitstellungsanleitungen für, vLLM, llama.cpp, llama‑server, Ollama LM Studio oder.

SGLang

Ansehen.

Speichern als GGUF
Unsloth unterstützt das direkte Speichern in GGUF:
model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q4_k_m")

model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q8_0")

model.save_pretrained_gguf("directory", tokenizer, quantization_method = "f16")
Oder GGUFs zu Hugging Face pushen:

model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q4_k_m") model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q8_0") Wenn das exportierte Modell in einer anderen Laufzeit schlechter funktioniert, markiert Unsloth die häufigste Ursache:

falsche Chat‑Vorlage / EOS‑Token zur Inferenzzeit

(Sie müssen dieselbe Chat‑Vorlage verwenden, mit der Sie trainiert haben). 0.16.0 Speichern für vLLM 0.170 vLLM‑Version

unterstützt Qwen3.5 nicht. Warten Sie auf

oder versuchen Sie die Nightly‑Version.
Um für vLLM in 16‑Bit zu speichern, verwenden Sie:
model.save_pretrained_merged("finetuned_model", tokenizer, save_method = "merged_16bit")

## ODER um auf HuggingFace hochzuladen:

model.push_to_hub_merged("hf/model", tokenizer, save_method = "merged_16bit", token = "")
Um nur die LoRA‑Adapter zu speichern, verwenden Sie entweder:

model.save_pretrained("finetuned_lora")

tokenizer.save_pretrained("finetuned_lora")
Oder verwenden Sie unsere eingebaute Funktion:
model.save_pretrained_merged("finetuned_model", tokenizer, save_method = "lora")

## ODER um auf HuggingFace hochzuladen

🖥️Inference & DeploymentGGUF & llama.cpp

vLLMFehlerbehebung bei der Inferenz