> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/qwen3.8/train.md). # Qwen3.8 Fine-Tuning-Leitfaden Erfahre, wie du Qwen3.8-27B mit Unsloth feinabstimmst. Qwen3.8-27B kann jetzt per Feinabstimmung und Reinforcement Learning (RL) über [Unsloth](https://github.com/unslothai/unsloth). Es ist ein dichtes, einheitliches Vision-Sprachmodell mit 27B, nativer Unterstützung für Text, Bilder und Videos, Denksteuerungen und einem Kontextfenster von 262K. * Unsloth trainiert Qwen3.8 **ca. 1,5× schneller** mit **ca. 50 % weniger VRAM** als FA2-Setups (kein Genauigkeitsverlust) * Qwen3.8-27B feinabstimmen über unsere **kostenlosen** **Kaggle-Notebooks**: | [**Dialogorientiert**](https://www.kaggle.com/notebooks/welcome?src=https://github.com/unslothai/notebooks/blob/main/nb/Kaggle-Qwen3.8_\(27B\)-Conversational.ipynb\&accelerator=nvidiaTeslaT4) (du kannst Vision aktivieren) | [**RL GRPO**](https://www.kaggle.com/notebooks/welcome?src=https://github.com/unslothai/notebooks/blob/main/nb/Kaggle-Muse_Glimmer_\(30B\)-GRPO.ipynb\&accelerator=nvidiaTeslaT4) | | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | * **QLoRA funktioniert mit 24 GB** und LoRA benötigt >36 GB * Du kannst Qwen3.8 auch mit [Reinforcement Learning](#reinforcement-learning-rl) (RL) kostenlos oder mit 24 GB VRAM trainieren. * **Vollständiges Fine-Tuning (FFT)** funktioniert ebenfalls, aber es verwendet 4× mehr VRAM. * Unsloth nutzt **Flash-Linear-Attention-Kernels** für effizientes Qwen3.8-Training * Verwende [`Qwen3.8-27B-unsloth-bnb-4bit`](https://huggingface.co/unsloth/Qwen3.8-27B-unsloth-bnb-4bit) für 4-Bit-QLoRA, dann **exportieren** zu NVFP4, FP8, GGUF usw. * Wenn du die Denkfähigkeit erhalten möchtest, mische Beispiele im Denkstil mit direkten Antworten und halte mindestens 75 % Denkdaten vor. Bitte verwende die neueste Transformers v5. Qwen3.8 verwendet die `qwen3_5` Architektur. Der erste Durchlauf kann länger dauern, während die Gated-DeltaNet-Kernels kompiliert werden. {% hint style="success" %} Für kostenloses Qwen3.8-27B-Feintuning über [Unsloth](https://github.com/unslothai/unsloth), stellen wir mehrere Kaggle-Notebooks bereit, die **30 Stunden kostenlose GPU-Nutzung mit 2× Tesla-T4-GPUs bieten**. Kaggle ist ein Google-Produkt, ähnlich wie Google Colab, und bietet eine bequeme Möglichkeit, Finetuning-Workflows auszuführen, ohne eigene GPU-Hardware zu benötigen. {% endhint %} ### 🦥 Unsloth-Leitfaden {% columns %} {% column %} Qwen3.8 kann in [Unsloth](/docs/de/neu/studio.md) Desktop, unserer neuen Open-Source-Web-UI für lokale KI, ausgeführt und feinabgestimmt werden. Mit Unsloth Studio kannst du Modelle lokal auf **MacOS, Windows**, Linux ausführen und NVIDIA-GPUs trainieren. Unterstützung für Intel-, MLX- und AMD-Training kommt noch diesen Monat. {% endcolumn %} {% column %}
{% endcolumn %} {% endcolumns %} {% stepper %} {% step %} #### Unsloth installieren Der einfachste Einstieg ist das Herunterladen der [Unsloth-Desktop-App](/docs/de/desktop.md). Funktioniert auf [macOS](/docs/de/erste-schritte/install/mac.md), [Windows](/docs/de/erste-schritte/install/windows-installation.md), und [Linux](/docs/de/erste-schritte/install/linux.md). Unsloth herunterladen * :apple: [Für macOS herunterladen](https://unsloth.ai/download/mac) * :windows: [Für Windows herunterladen](https://unsloth.ai/download/windows) * :linux: [Für Linux herunterladen](https://unsloth.ai/download/linux) Oder, wenn du lieber manuell installieren möchtest: MacOS, Linux, WSL: ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` Windows PowerShell: ```bash irm https://unsloth.ai/install.ps1 | iex ``` {% endstep %} {% step %} #### Qwen3.8 trainieren Gehe zum Reiter Trainieren, suche dann in der Suchleiste nach Qwen3.8-27B und wähle dein gewünschtes Modell und Datensatz aus. Passe anschließend deine Hyperparameter und die Kontextlänge nach Wunsch an.
{% endstep %} {% step %} #### Trainingsfortschritt überwachen Nachdem du auf Training starten geklickt hast, kannst du den Trainingsfortschritt des Modells beobachten und überwachen. Der Trainingsverlust sollte stetig abnehmen.\ Sobald fertig, wird das Modell automatisch gespeichert. {% endstep %} {% step %} #### Dein feinabgestimmtes Modell exportieren Sobald fertig, ermöglicht dir Unsloth Studio, das Modell in GGUF-, Safetensor- usw. Formate zu exportieren. {% endstep %} {% step %} #### Feinabgestimmtes Modell mit Originalmodell vergleichen Klicke auf `Vergleichsmodus` um den LoRA-Adapter und das Originalmodell zu vergleichen. {% endstep %} {% endstepper %} ### SFT-Rezept Unten findest du ein minimales SFT-Rezept für reines Text-Feintuning. Dein Datensatz benötigt eine `Text` Spalte, die bereits mit der Qwen-Chatvorlage gerendert wurde. ```python from unsloth import FastModel from datasets import load_dataset from trl import SFTTrainer, SFTConfig max_seq_length = 2048 dataset = load_dataset( "json", data_files = "train.jsonl", split = "train", ) model, tokenizer = FastModel.from_pretrained( model_name = "unsloth/Qwen3.8-27B-unsloth-bnb-4bit", max_seq_length = max_seq_length, load_in_4bit = True, full_finetuning = False, offload_embedding = True, ) model = FastModel.get_peft_model( model, finetune_vision_layers = False, finetune_language_layers = True, finetune_attention_modules = True, finetune_mlp_modules = True, r = 16, lora_alpha = 16, lora_dropout = 0, bias = "none", use_gradient_checkpointing = "unsloth", random_state = 3407, use_rslora = False, loftq_config = None, ) trainer = SFTTrainer( model = model, tokenizer = tokenizer, train_dataset = dataset, args = SFTConfig( dataset_text_field = "text", max_seq_length = max_seq_length, per_device_train_batch_size = 1, gradient_accumulation_steps = 4, warmup_steps = 10, max_steps = 100, learning_rate = 2e-4, logging_steps = 1, optim = "adamw_8bit", output_dir = "outputs_qwen38", seed = 3407, dataset_num_proc = 1, report_to = "none", ), ) trainer.train() ``` `offload_embedding=True` ist optional und reduziert den belegten VRAM, indem das große, nicht gemeinsam genutzte Eingabe-Embedding im RAM gehalten wird. Unsloth deaktiviert es auf nicht unterstützten Plattformen automatisch. Wenn du OOM bekommst, reduziere `max_seq_length` und behalte die Batchgröße 1 mit `"unsloth"` Gradient Checkpointing. ### Vision-Feintuning Qwen3.8 unterstützt native Eingaben für Bilder und Videos. Für multimodales Training aktiviere die Vision-Schichten und verwende einen konversationellen Vision-Datensatz mit `UnslothVisionDataCollator`. ```python model = FastModel.get_peft_model( model, finetune_vision_layers = True, finetune_language_layers = True, finetune_attention_modules = True, finetune_mlp_modules = True, r = 16, lora_alpha = 16, lora_dropout = 0, bias = "none", use_gradient_checkpointing = "unsloth", random_state = 3407, use_rslora = False, loftq_config = None, ) ``` Setze `finetune_vision_layers=False` wenn dein Datensatz nur aus Text besteht. ### Reinforcement Learning (RL) Qwen3.8 verwendet dieselbe `qwen3_5` Architektur, verwende also den Qwen3.5-Unsloth-RL-Pfad und deaktiviere die schnelle vLLM-Inferenz: ```python from unsloth import FastModel model, tokenizer = FastModel.from_pretrained( model_name = "unsloth/Qwen3.8-27B-unsloth-bnb-4bit", max_seq_length = 2048, load_in_4bit = True, fast_inference = False, ) ``` ### Speichern / exportieren des feinabgestimmten Modells Verwende bei der Bereitstellung dieselbe Chatvorlage und denselben EOS-Token, die du beim Training verwendet hast. **Als GGUF speichern** ```python model.save_pretrained_gguf( "qwen38_gguf", tokenizer, quantization_method = "q4_k_m", ) # model.push_to_hub_gguf( # "hf_username/qwen38_gguf", # tokenizer, # quantization_method = "q4_k_m", # ) ``` **Als vLLM speichern** ```python model.save_pretrained_merged( "qwen38_finetuned", tokenizer, save_method = "merged_16bit", ) ``` Zum Speichern nur der LoRA-Adapter: ```python model.save_pretrained("qwen38_lora") tokenizer.save_pretrained("qwen38_lora") ``` --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://unsloth.ai/docs/de/modelle/qwen3.8/train.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.