> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/qwen3.5/fine-tune.md). # Qwen3.5 Fine-Tuning-Leitfaden Du kannst jetzt feinabstimmen [Qwen3.5](/docs/de/modelle/qwen3.5.md) Modellfamilie (0,8B, 2B, 4B, 9B, 27B, 35B‑A3B, 122B‑A10B) mit [**Unsloth**](https://github.com/unslothai/unsloth). Die Unterstützung umfasst sowohl [Vision](/docs/de/modelle/qwen3.5/fine-tune.md#vision-fine-tuning), Text und [RL](#reinforcement-learning-rl) Feinabstimmung. **Qwen3.5‑35B‑A3B** - bf16 LoRA funktioniert auf **74 GB VRAM.** * Unsloth macht das Training von Qwen3.5 **1,5× schneller** und verwendet **50 % weniger VRAM** als FA2-Setups. * VRAM-Nutzung von Qwen3.5 bf16 LoRA: **0.8B**: 3 GB • **2B**: 5 GB • **4B**: 10 GB • **9B**: 22 GB • **27B**: 56 GB * Feinabstimmen **0.8B**, **2B** und **4B** bf16 LoRA über unsere **kostenlose** **Google-Colab-Notebooks**: | [Qwen3.5-**0.8B**](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_5_\(0_8B\)_Vision.ipynb) | [Qwen3.5-**2B**](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_5_\(2B\)_Vision.ipynb) | [Qwen3.5-**4B**](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_5_\(4B\)_Vision.ipynb) | [Qwen3.5-4B **GRPO**](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_5_\(4B\)_Vision_GRPO.ipynb) | | --------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------- | * Wenn du **Schlussfolgerungsfähigkeit beibehalten** möchtest, kannst du Beispiele im Denkstil mit direkten Antworten mischen (halte mindestens 75 % Denkanteil ein). Andernfalls kannst du es vollständig ausgeben. * **Vollständige Feinabstimmung (FFT)** funktioniert ebenfalls. Beachte, dass es 4x mehr VRAM verwendet. * Qwen3.5 ist leistungsstark für mehrsprachiges Fine-Tuning, da es 201 Sprachen unterstützt. * Nach dem Fine-Tuning kannst du exportieren nach [GGUF](#saving-export-your-fine-tuned-model) (für llama.cpp/Ollama/usw.) oder [vLLM](#saving-export-your-fine-tuned-model) * [Bestärkendes Lernen](/docs/de/erste-schritte/reinforcement-learning-rl-guide.md) (RL) für Qwen3.5 [VLM-RL](/docs/de/erste-schritte/reinforcement-learning-rl-guide/vision-reinforcement-learning-vlm-rl.md) funktioniert auch über Unsloth-Inferenz. * Wir haben **A100** Colab-Notebooks für [Qwen3.5‑27B](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen_3_5_27B_A100\(80GB\).ipynb) und [Qwen3.5‑35B‑A3B](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_5_MoE.ipynb). Wenn du eine ältere Version verwendest (oder lokal feinabstimmst), aktualisiere zuerst: {% columns %} {% column width="50%" %} Unsloth Studio: {% code expandable="true" %} ```bash unsloth studio update ``` {% endcode %} {% endcolumn %} {% column width="50%" %} Unsloth codebasiert: ```bash pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo ``` {% endcolumn %} {% endcolumns %} {% hint style="warning" %} **Bitte verwende `transformers v5` für Qwen3.5. Ältere Versionen funktionieren nicht. Unsloth verwendet jetzt standardmäßig automatisch transformers v5 (außer in Colab-Umgebungen).** Wenn das Training **langsamer als gewöhnlich**ist, liegt das daran, dass Qwen3.5 benutzerdefinierte Mamba-Triton-Kernel verwendet. Das Kompilieren dieser Kernel kann länger als normal dauern, besonders auf T4-GPUs. Es wird nicht empfohlen, QLoRA-(4-Bit)-Training auf den Qwen3.5-Modellen durchzuführen, unabhängig davon, ob MoE oder dicht, aufgrund stärker als normaler Quantisierungsunterschiede. {% endhint %} ### MoE-Feinabstimmung (35B, 122B) Für MoE-Modelle wie **Qwen3.5‑35B‑A3B / 122B‑A10B / 397B‑A17B**: * Du kannst unser [Qwen3.5‑35B‑A3B (A100)](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_5_MoE.ipynb) Feinabstimmungs-Notebook * Unterstützt unser jüngstes etwa 12x schnelleres [MoE-Training-Update](/docs/de/grundlagen/faster-moe.md) mit >35 % weniger VRAM und etwa 6x längerem Kontext * **Am besten bf16-Setups verwenden (z. B. LoRA oder vollständige Feinabstimmung)** (MoE QLoRA 4-Bit wird aufgrund von BitsandBytes-Einschränkungen nicht empfohlen). * Die MoE-Kernel von Unsloth sind standardmäßig aktiviert und können verschiedene Backends verwenden; du kannst mit `UNSLOTH_MOE_BACKEND`. * Die Feinabstimmung der Router-Schicht ist aus Stabilitätsgründen standardmäßig deaktiviert. * Qwen3.5‑122B‑A10B - bf16 LoRA funktioniert mit 256 GB VRAM. Wenn du mehrere GPUs verwendest, füge `device_map = "balanced"` oder folge unserem [Multi-GPU-Leitfaden](/docs/de/grundlagen/multi-gpu-training-with-unsloth.md). ### Schnellstart #### 🦥 Unsloth Studio-Anleitung Qwen3.5 kann in [Unsloth Studio](/docs/de/neu/studio.md)unserer neuen Open-Source-Web-UI für lokale KI ausgeführt und feinabgestimmt werden. Mit Unsloth Studio können Sie Modelle lokal auf **MacOS, Windows**, Linux und: {% columns %} {% column %} * [LLMs trainieren](/docs/de/neu/studio.md#no-code-training) 2x schneller mit 70 % weniger VRAM * Suchen, herunterladen, [GGUFs ausführen](/docs/de/neu/studio.md#run-models-locally) und Safetensor-Modelle * [**Selbstheilende** Tool-Aufrufe](/docs/de/neu/studio.md#execute-code--heal-tool-calling) + **Websuche** * [**Code-Ausführung**](/docs/de/neu/studio.md#run-models-locally) (Python, Bash) * [Automatische Inferenz](https://unsloth.ai/docs/desktop#feature-deep-dive) Parametertuning (Temp, Top-P usw.) * Schnelle CPU- + GPU-Inferenz über llama.cpp {% endcolumn %} {% column %}
{% endcolumn %} {% endcolumns %} {% stepper %} {% step %} #### Unsloth installieren Führen Sie dies in Ihrem Terminal aus: **macOS, Linux, WSL:** ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` **Windows PowerShell:** ```bash irm https://unsloth.ai/install.ps1 | iex ``` {% hint style="success" %} **Die Installation wird schnell sein und dauert ca. 1–2 Minuten.** {% endhint %} {% endstep %} {% step %} #### Unsloth starten **MacOS, Linux, WSL und Windows:** ```bash unsloth studio -H 0.0.0.0 -p 8888 ``` **Dann öffnen Sie `http://localhost:8888` in Ihrem Browser.** {% endstep %} {% step %} #### Trainiere Qwen3.5 Beim ersten Start müssen Sie ein Passwort erstellen, um Ihr Konto zu sichern, und sich später erneut anmelden. Sie sehen dann einen kurzen Einrichtungsassistenten, um ein Modell, einen Datensatz und grundlegende Einstellungen auszuwählen. Sie können ihn jederzeit überspringen. Suche in der Suchleiste nach Qwen3.5 und wähle dein gewünschtes Modell und Dataset aus. Passe anschließend deine Hyperparameter und die Kontextlänge nach Wunsch an.
{% endstep %} {% step %} #### Trainingsfortschritt überwachen Nachdem du auf Training starten geklickt hast, kannst du den Trainingsfortschritt des Modells überwachen und beobachten. Der Trainingsverlust sollte stetig sinken.\ Sobald der Vorgang abgeschlossen ist, wird das Modell automatisch gespeichert.
{% endstep %} {% step %} #### Exportiere dein feinabgestimmtes Modell Sobald fertig, ermöglicht dir Unsloth Studio, das Modell in GGUF-, safetensor- usw. Formate zu exportieren.
{% endstep %} {% endstepper %} #### Unsloth-Core-(codebasiert)-Leitfaden: Nachfolgend ist ein minimales SFT-Rezept (funktioniert für „nur Text“-Feinabstimmung). Siehe auch unsere [Vision-Feinabstimmung](/docs/de/grundlagen/vision-fine-tuning.md) Sektion. {% hint style="info" %} Qwen3.5 ist ein „Causal Language Model with Vision Encoder“ (es ist ein einheitliches VLM), stelle also sicher, dass die üblichen Vision-Abhängigkeiten installiert sind (`torchvision`, `pillow`) falls nötig, und halte Transformers auf dem neuesten Stand. Verwende die neueste Transformers-Version für Qwen3.5. **Wenn du** [**GRPO**](/docs/de/erste-schritte/reinforcement-learning-rl-guide.md)**, funktioniert es in Unsloth, wenn du die schnelle vLLM-Inferenz deaktivierst und stattdessen Unsloth-Inferenz verwendest. Folge unserem** [**Vision-RL**](/docs/de/erste-schritte/reinforcement-learning-rl-guide/vision-reinforcement-learning-vlm-rl.md) **Notebook-Beispielen.** {% endhint %} {% code expandable="true" %} ```python from unsloth import FastLanguageModel import torch from datasets import load_dataset from trl import SFTTrainer, SFTConfig max_seq_length = 2048 # klein anfangen; erhöhen, nachdem es funktioniert # Beispiel-Dataset (ersetze es durch dein eigenes). Benötigt eine "text"-Spalte. url = "https://huggingface.co/datasets/laion/OIG/resolve/main/unified_chip2.jsonl" dataset = load_dataset("json", data_files={"train": url}, split="train") model, tokenizer = FastLanguageModel.from_pretrained( model_name = "Qwen/Qwen3.5-27B", max_seq_length = max_seq_length, load_in_4bit = False, # MoE QLoRA nicht empfohlen, dichtes 27B ist in Ordnung load_in_16bit = True, # bf16/16-Bit LoRA full_finetuning = False, ) model = FastLanguageModel.get_peft_model( model, r = 16, target_modules = [ "q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj", ], lora_alpha = 16, lora_dropout = 0, bias = "none", # "unsloth"-Checkpointing ist für sehr langen Kontext + weniger VRAM gedacht use_gradient_checkpointing = "unsloth", random_state = 3407, max_seq_length = max_seq_length, ) trainer = SFTTrainer( model = model, train_dataset = dataset, tokenizer = tokenizer, args = SFTConfig( max_seq_length = max_seq_length, per_device_train_batch_size = 1, gradient_accumulation_steps = 4, warmup_steps = 10, max_steps = 100, logging_steps = 1, output_dir = "outputs_qwen35", optim = "adamw_8bit", seed = 3407, dataset_num_proc = 1, ), ) trainer.train() ``` {% endcode %} {% hint style="info" %} Wenn dir der Speicher ausgeht: * Reduziere `per_device_train_batch_size` zu **1** und/oder reduziere `max_seq_length`. * Lasse `use_`[`gradient_checkpointing`](/docs/de/blog/500k-context-length-fine-tuning.md#unsloth-gradient-checkpointing-enhancements)`="unsloth"` aktiv (es ist darauf ausgelegt, den VRAM-Verbrauch zu reduzieren und die Kontextlänge zu erhöhen). {% endhint %} **Ladebeispiel für MoE (bf16 LoRA):** ```python import os import torch from unsloth import FastModel model, tokenizer = FastModel.from_pretrained( model_name = "unsloth/Qwen3.5-35B-A3B", max_seq_length = 2048, load_in_4bit = False, # MoE QLoRA nicht empfohlen, dichtes 27B ist in Ordnung load_in_16bit = True, # bf16/16-Bit LoRA full_finetuning = False, ) ``` Sobald es geladen ist, fügst du LoRA-Adapter hinzu und trainierst ähnlich wie im obigen SFT-Beispiel. ### Vision-Feinabstimmung Unsloth unterstützt [Vision-Feinabstimmung](/docs/de/grundlagen/vision-fine-tuning.md) für die multimodalen Qwen3.5-Modelle. Verwende die folgenden Qwen3.5-Notebooks und ändere die jeweiligen Modellnamen in dein gewünschtes Qwen3.5-Modell. | [Qwen3.5-**0.8B**](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_5_\(0_8B\)_Vision.ipynb) | [Qwen3.5-**2B**](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_5_\(2B\)_Vision.ipynb) | [Qwen3.5-**4B**](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_5_\(4B\)_Vision.ipynb) | Qwen3.5-**9B** | | --------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------- | -------------- | * [Qwen3-VL GRPO/GSPO-RL-Notebook](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_VL_\(8B\)-Vision-GRPO.ipynb) (ändere den Modellnamen zu Qwen3.5-4B usw.) **Vision / nur Text-Fine-Tuning deaktivieren:** Um Vision-Modelle feinabzustimmen, kannst du jetzt auswählen, welche Teile des Modells du feinabstimmen möchtest. Du kannst nur die Vision-Schichten, die Sprachschichten oder die Attention-/MLP-Schichten feinabstimmen! Standardmäßig sind alle aktiviert! {% code expandable="true" %} ```python model = FastVisionModel.get_peft_model( model, finetune_vision_layers = True, # False, wenn die Vision-Schichten nicht feinabgestimmt werden sollen finetune_language_layers = True, # False, wenn die Sprachschichten nicht feinabgestimmt werden sollen finetune_attention_modules = True, # False, wenn die Attention-Schichten nicht feinabgestimmt werden sollen finetune_mlp_modules = True, # False, wenn die MLP-Schichten nicht feinabgestimmt werden sollen r = 16, # Je größer, desto höher die Genauigkeit, aber möglicherweise Overfitting lora_alpha = 16, # Empfohlen: alpha == r mindestens lora_dropout = 0, bias = "none", random_state = 3407, use_rslora = False, # Wir unterstützen rankstabilisiertes LoRA loftq_config = None, # Und LoftQ target_modules = "all-linear", # Jetzt optional! Bei Bedarf kann eine Liste angegeben werden modules_to_save=[ "lm_head", "embed_tokens", ], ) ``` {% endcode %} Um Qwen3.5 mit mehreren Bildern feinabzustimmen oder zu trainieren, sieh dir unseren [**Leitfaden für Multi-Bild-Vision**](/docs/de/grundlagen/vision-fine-tuning.md#multi-image-training)**.** ### Bestärkendes Lernen (RL) Du kannst Qwen3.5 jetzt mit RL, GSPO, GRPO usw. trainieren mit [unserem kostenlosen Notebook](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_5_\(4B\)_Vision_GRPO.ipynb): {% embed url="" %} Du kannst Qwen3.5-RL mit Unsloth ausführen, obwohl es von vLLM nicht unterstützt wird, indem du `fast_inference=False` beim Laden des Modells setzt: ```python from unsloth import FastLanguageModel model, tokenizer = FastLanguageModel.from_pretrained( model_name="unsloth/Qwen3.5-4B", fast_inference=False, ) ``` ### Feinabgestimmtes Modell speichern / exportieren Du kannst unsere speziellen Inferenz-/Bereitstellungsleitfäden ansehen für [Unsloth Studio](/docs/de/neu/studio/export.md), [llama.cpp](/docs/de/grundlagen/inference-and-deployment/saving-to-gguf.md), [vLLM](/docs/de/grundlagen/inference-and-deployment/vllm-guide.md), [llama-server](/docs/de/grundlagen/inference-and-deployment/llama-server-and-openai-endpoint.md), [Ollama](/docs/de/grundlagen/inference-and-deployment/saving-to-ollama.md). #### Als GGUF speichern Unsloth unterstützt das direkte Speichern als GGUF: ```python model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q4_k_m") model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q8_0") model.save_pretrained_gguf("directory", tokenizer, quantization_method = "f16") ``` Oder GGUFs zu Hugging Face hochladen: ```python model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q4_k_m") model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q8_0") ``` Wenn sich das exportierte Modell in einer anderen Laufzeitumgebung schlechter verhält, kennzeichnet Unsloth die häufigste Ursache: **falsches Chat-Template / EOS-Token zur Inferenzzeit** (du musst dasselbe Chat-Template verwenden, mit dem du trainiert hast). #### Für vLLM speichern {% hint style="warning" %} vLLM-Version `0.16.0` unterstützt Qwen3.5 nicht. Warte, bis `0.170` oder probiere die Nightly-Version. {% endhint %} Um für vLLM in 16-Bit zu speichern, verwende: {% code overflow="wrap" %} ```python model.save_pretrained_merged("finetuned_model", tokenizer, save_method = "merged_16bit") ## ODER um zu Hugging Face hochzuladen: model.push_to_hub_merged("hf/model", tokenizer, save_method = "merged_16bit", token = "") ``` {% endcode %} Um nur die LoRA-Adapter zu speichern, verwende entweder: ```python model.save_pretrained("finetuned_lora") tokenizer.save_pretrained("finetuned_lora") ``` Oder verwende unsere eingebaute Funktion: {% code overflow="wrap" %} ```python model.save_pretrained_merged("finetuned_model", tokenizer, save_method = "lora") ## ODER um zu Hugging Face hochzuladen model.push_to_hub_merged("hf/model", tokenizer, save_method = "lora", token = "") ``` {% endcode %} Für weitere Details lies unsere Inferenzleitfäden: {% columns %} {% column width="50%" %} {% content-ref url="/pages/03532de69dfe0230fe5114e809721d8b7dd74ca6" %} [Inferenz & Bereitstellung](/docs/de/grundlagen/inference-and-deployment.md) {% endcontent-ref %} {% content-ref url="/pages/9cfeafb2cc359999e3a7f6ba6ffa5468e4752653" %} [GGUF & llama.cpp](/docs/de/grundlagen/inference-and-deployment/saving-to-gguf.md) {% endcontent-ref %} {% endcolumn %} {% column width="50%" %} {% content-ref url="/pages/13c9d0063a9732a68734b74792f3e30153873bf4" %} [Model Export](/docs/de/neu/studio/export.md) {% endcontent-ref %} {% content-ref url="/pages/af094159d1c157db0d9afc00bd98b849fcdb8f0c" %} [vLLM](/docs/de/grundlagen/inference-and-deployment/vllm-guide.md) {% endcontent-ref %} {% endcolumn %} {% endcolumns %} --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://unsloth.ai/docs/de/modelle/qwen3.5/fine-tune.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.