Zum Inhalt springen
For the complete documentation index, see llms.txt. This page is also available as Markdown.

Qwen3.5 Fine-Tuning-Leitfaden

Erfahre, wie du Qwen3.5-LLMs mit Unsloth feinabstimmst.

Sie können jetzt feinabstimmen Qwen3.5 Modellfamilie (0.8B, 2B, 4B, 9B, 27B, 35B‑A3B, 122B‑A10B) mit Unsloth. Die Unterstützung umfasst sowohl Vision, Text und RL Fine-Tuning. Qwen3.5‑35B‑A3B - bf16 LoRA funktioniert mit 74 GB VRAM.

  • Unsloth macht das Training von Qwen3.5 1,5× schneller und verwendet 50 % weniger VRAM als FA2-Setups.

  • VRAM-Verbrauch von Qwen3.5 bf16 LoRA: 0,8B: 3 GB • 2B: 5 GB • 4B: 10 GB • 9B: 22 GB • 27B: 56 GB

  • Feinabstimmen 0,8B, 2B und 4B bf16 LoRA über unseren kostenlosen Google-Colab-Notebooks:

  • Wenn du Reasoning beibehalten Fähigkeit können Sie Beispiele im Reasoning-Stil mit direkten Antworten mischen (halten Sie mindestens 75 % Reasoning ein). Andernfalls können Sie es vollständig ausgeben.

  • Vollständiges Feintuning (FFT) funktioniert ebenfalls. Beachten Sie, dass es 4x mehr VRAM verwenden wird.

  • Qwen3.5 ist leistungsstark für mehrsprachiges Fine-Tuning, da es 201 Sprachen unterstützt.

  • Nach dem Fine-Tuning kannst du exportieren nach GGUF (für llama.cpp/Ollama/etc.) oder vLLM

  • Verstärkendes Lernen (RL) für Qwen3.5 VLM-RL funktioniert auch über die Unsloth-Inferenz.

  • Wir haben A100 Colab-Notebooks für Qwen3.5‑27B und Qwen3.5‑35B‑A3B.

Wenn Sie eine ältere Version verwenden (oder lokal feinabstimmen), aktualisieren Sie zuerst:

Unsloth Studio:

Unsloth codebasiert:

pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo

MoE-Fine-Tuning (35B, 122B)

Für MoE-Modelle wie Qwen3.5‑35B‑A3B / 122B‑A10B / 397B‑A17B:

  • Sie können unser Qwen3.5‑35B‑A3B (A100) Fine-Tuning-Notebook

  • Unterstützt unser jüngstes ~12x schnelleres MoE-Trainings-Update mit >35 % weniger VRAM & ~6x längerem Kontext

  • Am besten bf16-Setups verwenden (z. B. LoRA oder vollständiges Fine-Tuning) (MoE QLoRA 4‑Bit wird aufgrund von BitsandBytes-Einschränkungen nicht empfohlen).

  • Unsloths MoE-Kernel sind standardmäßig aktiviert und können verschiedene Backends verwenden; Sie können wechseln mit UNSLOTH_MOE_BACKEND.

  • Das Fine-Tuning der Router-Schicht ist aus Stabilitätsgründen standardmäßig deaktiviert.

  • Qwen3.5‑122B‑A10B - bf16 LoRA funktioniert mit 256 GB VRAM. Wenn Sie Multi-GPUs verwenden, fügen Sie device_map = "balanced" hinzu oder folgen Sie unserem Multi-GPU-Leitfaden.

Schnellstart

🦥 Unsloth Studio-Leitfaden

Qwen3.5 kann ausgeführt und feinabgestimmt werden in Unsloth Studio, unserer neuen Open-Source-Web-UI für lokale KI. Mit Unsloth Studio können Sie Modelle lokal auf macOS, Windows, Linux und:

1

Unsloth installieren

Führen Sie dies in Ihrem Terminal aus:

macOS, Linux, WSL:

Windows PowerShell:

2

Unsloth starten

macOS, Linux, WSL und Windows:

Dann öffnen Sie http://localhost:8888 in Ihrem Browser.

3

Trainieren Sie Qwen3.5

Beim ersten Start musst du ein Passwort erstellen, um dein Konto zu sichern, und dich später erneut anmelden. Dann siehst du einen kurzen Einrichtungsassistenten, um ein Modell, einen Datensatz und grundlegende Einstellungen auszuwählen. Du kannst ihn jederzeit überspringen.

Suchen Sie in der Suchleiste nach Qwen3.5 und wählen Sie das gewünschte Modell und den Datensatz aus. Passen Sie anschließend Ihre Hyperparameter und die Kontextlänge nach Wunsch an.

4

Trainingsfortschritt überwachen

Nachdem du auf Training starten geklickt hast, kannst du den Trainingsfortschritt des Modells überwachen und beobachten. Der Trainings-Loss sollte stetig sinken. Sobald der Vorgang abgeschlossen ist, wird das Modell automatisch gespeichert.

5

Exportiere dein feinabgestimmtes Modell

Sobald du fertig bist, kannst du das Modell mit Unsloth Studio in GGUF-, Safetensor- usw. Formate exportieren.

Unsloth Core (codebasiert):

Unten ist ein minimales SFT-Rezept (funktioniert für „nur-Text“-Fine-Tuning). Siehe auch unseren Vision-Fine-Tuning Abschnitt.

Qwen3.5 ist ein „Causal Language Model mit Vision Encoder“ (es ist ein einheitliches VLM), stellen Sie also sicher, dass die üblichen Vision-Abhängigkeiten installiert sind (torchvision, pillow) falls nötig, und halten Sie Transformers auf dem neuesten Stand. Verwenden Sie die neueste Transformers-Version für Qwen3.5.

Wenn du GRPO, funktioniert es in Unsloth, wenn du die schnelle vLLM-Inferenz deaktivierst und stattdessen die Unsloth-Inferenz verwendest. Folge unseren Vision-RL Notebook-Beispielen.

Wenn dir der Speicher ausgeht:

  • Reduziere per_device_train_batch_size zu 1 und/oder reduziere max_seq_length.

  • Behalte use_gradient_checkpointing="unsloth" aktiviert (es ist dafür ausgelegt, den VRAM-Verbrauch zu reduzieren und die Kontextlänge zu erweitern).

Ladebeispiel für MoE (bf16 LoRA):

Sobald es geladen ist, fügst du LoRA-Adapter hinzu und trainierst ähnlich wie im obigen SFT-Beispiel.

Vision-Feintuning

Unsloth unterstützt Vision-Fine-Tuning für die multimodalen Qwen3.5-Modelle. Verwenden Sie die untenstehenden Qwen3.5-Notebooks und ändern Sie die jeweiligen Modellnamen in Ihr gewünschtes Qwen3.5-Modell.

Vision deaktivieren / Nur-Text-Fine-Tuning:

Um Vision-Modelle feinabzustimmen, können Sie jetzt auswählen, welche Teile des Modells Sie feinabstimmen möchten. Sie können nur die Vision-Schichten, nur die Sprachschichten oder die Attention-/MLP-Schichten feinabstimmen! Standardmäßig sind alle aktiviert!

Um Qwen3.5 mit mehreren Bildern feinabzustimmen oder zu trainieren, sehen Sie unseren Leitfaden für Multi-Bild-Vision.

Reinforcement Learning (RL)

Sie können Qwen3.5 jetzt mit RL, GSPO, GRPO usw. mit unserem kostenlosen Notebook:

Sie können Qwen3.5-RL mit Unsloth ausführen, obwohl es von vLLM nicht unterstützt wird, indem Sie fast_inference=False beim Laden des Modells setzt:

Speichern / Export des feinabgestimmten Modells

Du kannst unsere speziellen Inferenz- / Bereitstellungsanleitungen für Unsloth Studio, llama.cpp, vLLM, llama-server, Ollama.

Als GGUF speichern

Unsloth unterstützt das direkte Speichern als GGUF:

Oder GGUFs zu Hugging Face hochladen:

Wenn sich das exportierte Modell in einer anderen Laufzeitumgebung schlechter verhält, markiert Unsloth die häufigste Ursache: falsche Chatvorlage / EOS-Token zur Inferenzzeit (du musst dieselbe Chatvorlage verwenden, mit der du trainiert hast).

In vLLM speichern

Um für vLLM in 16-Bit zu speichern, verwenden Sie:

Um nur die LoRA-Adapter zu speichern, verwenden Sie entweder:

Oder verwenden Sie unsere integrierte Funktion:

Für weitere Details lies unsere Inferenzanleitungen:

Zuletzt aktualisiert

War das hilfreich?