🌠Qwen3-VL: Anleitung zum Ausführen

Lerne, Qwen3-VL lokal mit Unsloth feinabzustimmen und auszuführen.

Qwen3-VL sind Qwens neue Vision-Modelle mit Instruct- und Thinking- Versionen. Die Modelle 2B, 4B, 8B und 32B sind dicht, während 30B und 235B MoE sind. Das 235B Thinking LLM liefert modernste Vision- und Coding-Leistung, die mit GPT-5 (high) und Gemini 2.5 Pro konkurriert. Qwen3-VL verfügt über Vision-, Video- und OCR-Fähigkeiten sowie 256K Kontext (kann auf 1M erweitert werden). Unsloth unterstützt Qwen3-VL Fine-Tuning und RL. Trainiere Qwen3-VL (8B) kostenlos mit unseren Notebooks.

Qwen3-VL ausführenQwen3-VL fine-tunen

🖥️ Qwen3-VL ausführen

Um das Modell in llama.cpp, vLLM, Ollama usw. auszuführen, sind hier die empfohlenen Einstellungen:

⚙️ Empfohlene Einstellungen

Qwen empfiehlt diese Einstellungen für beide Modelle (sie unterscheiden sich leicht zwischen Instruct und Thinking):

Instruct-Einstellungen:	Thinking-Einstellungen:
Temperature = 0.7	Temperature = 1.0
Top_P = 0.8	Top_P = 0.95
presence_penalty = 1.5	presence_penalty = 0.0
Ausgabelänge = 32768 (bis zu 256K)	Ausgabelänge = 40960 (bis zu 256K)
Top_K = 20	Top_K = 20

Qwen3-VL verwendete für seine Benchmark-Werte außerdem die folgenden Einstellungen, wie auf GitHub.

Instruct-Einstellungen:

export greedy='false'
export seed=3407
export top_p=0.8
export top_k=20
export temperature=0.7
export repetition_penalty=1.0
export presence_penalty=1.5
export out_seq_length=32768

Thinking-Einstellungen:

export greedy='false'
export seed=1234
export top_p=0.95
export top_k=20
export temperature=1.0
export repetition_penalty=1.0
export presence_penalty=0.0
export out_seq_length=40960

🐛Fehlerbehebungen für Chat-Vorlagen

Bei Unsloth legen wir den größten Wert auf Genauigkeit, daher haben wir untersucht, warum nach dem 2. Durchlauf der Thinking-Modelle llama.cpp abstürzen würde, wie unten zu sehen ist:

Der Fehlercode:

terminate called after throwing an instance of 'std::runtime_error'
  what():  Value is not callable: null at row 63, column 78:
            {%- if '</think>' in content %}
                {%- set reasoning_content = ((content.split('</think>')|first).rstrip('\n').split('<think>')|last).lstrip('\n') %}
                                                                             ^

Wir haben die Thinking-Chatvorlage für die VL-Modelle erfolgreich behoben, daher haben wir alle Thinking-Quants und Unsloths Quants erneut hochgeladen. Sie sollten jetzt alle nach der 2. Unterhaltung funktionieren - andere Quants lassen sich nach der 2. Unterhaltung nicht laden.

Qwen3-VL Unsloth-Uploads:

Qwen3-VL wird ab dem 30. Oktober 2025 nun von llama.cpp für GGUFs unterstützt, sodass du sie lokal ausführen kannst!

Dynamische GGUFs (zum Ausführen)	4-Bit BnB Unsloth Dynamic	16-Bit Vollpräzision
2B-Instruct 2B-Thinking 4B-Instruct 4B-Thinking 8B-Instruct 8B-Thinking 30B-Instruct 30B-Thinking 32B-Instruct 32B-Thinking 235B-A22B-Instruct 235B-A22B-Thinking	2B-Instruct 2B-Thinking 4B-Instruct 4B-Thinking 8B-Instruct 8B-Thinking 32B-Instruct 32B-Thinking	2B-Instruct 4B-Instruct 4B-Thinking 8B-Instruct 8B-Thinking 30B-Instruct 30B-Thinking 32B-Instruct 32B-Thinking 235B-A22B-Thinking 235B-A22B-Instruct

📖 Llama.cpp: Anleitung zum Ausführen von Qwen3-VL

1. Hole dir das neueste llama.cpp auf GitHub hier. Du kannst auch den Build-Anweisungen unten folgen. Ändere -DGGML_CUDA=ON zu -DGGML_CUDA=OFF wenn du keine GPU hast oder nur CPU-Inferenz möchtest. Für Apple Mac / Metal-Geräte, setze -DGGML_CUDA=OFF und fahre dann wie gewohnt fort - Metal-Unterstützung ist standardmäßig aktiviert.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first
cp llama.cpp/build/bin/llama-* llama.cpp

1. Lass uns zuerst ein Bild holen! Du kannst auch Bilder hochladen. Wir werden verwenden https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/images/unsloth%20made%20with%20love.png, das einfach unser Mini-Logo ist und zeigt, wie Finetunes mit Unsloth erstellt werden:

1. Laden wir dieses Bild herunter

wget https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/images/unsloth%20made%20with%20love.png -O unsloth.png

1. Lass uns das 2. Bild holen unter https://files.worldwildlife.org/wwfcmsprod/images/Sloth_Sitting_iStock_3_12_2014/story_full_width/8l7pbjmj29_iStock_000011145477Large_mini__1_.jpg

wget https://files.worldwildlife.org/wwfcmsprod/images/Sloth_Sitting_iStock_3_12_2014/story_full_width/8l7pbjmj29_iStock_000011145477Large_mini__1_.jpg -O picture.png

1. Dann nutzen wir die automatische Modell-Download-Funktion von llama.cpp, probiere dies für das 8B Instruct-Modell aus:

./llama.cpp/llama-mtmd-cli \
    -hf unsloth/Qwen3-VL-8B-Instruct-GGUF:UD-Q4_K_XL \
    --n-gpu-layers 99 \
    --jinja \
    --top-p 0.8 \
    --top-k 20 \
    --temp 0.7 \
    --min-p 0.0 \
    --flash-attn on \
    --presence-penalty 1.5 \
    --ctx-size 8192

1. Sobald du drin bist, wirst du den folgenden Bildschirm sehen:

1. Lade das Bild über /image PATH also /image unsloth.png und drücke dann ENTER

1. Wenn du ENTER drückst, wird es sagen "unsloth.png image loaded"

1. Jetzt stellen wir eine Frage wie "Was ist dieses Bild?":

1. Lade jetzt Bild 2 über /image picture.png und drücke dann ENTER und frage "Was ist dieses Bild?"

1. Und schließlich fragen wir, wie beide Bilder miteinander verbunden sind (es funktioniert!)

Die beiden Bilder sind direkt miteinander verbunden, weil sie beide das **Dreizehenfaultier** zeigen, das das zentrale Motiv des Projekts "made with unsloth" ist.

- Das erste Bild ist das **offizielle Logo** des Projekts "made with unsloth". Es zeigt eine stilisierte, cartoonhafte Dreizehenfaultier-Figur in einem grünen Kreis, mit dem Text "made with unsloth" daneben. Dies ist die visuelle Identität des Projekts.
- Das zweite Bild ist eine **Fotografie** eines echten Dreizehenfaultiers in seinem natürlichen Lebensraum. Dieses Foto zeigt das äußere Erscheinungsbild und Verhalten des Tiers in freier Wildbahn.

Die Beziehung zwischen den beiden Bildern besteht darin, dass das Logo (Bild 1) eine digitale Darstellung oder ein Symbol ist, das zur Bewerbung des Projekts "made with unsloth" verwendet wird, während die Fotografie (Bild 2) eine reale Darstellung des tatsächlichen Dreizehenfaultiers ist. Das Projekt verwendet wahrscheinlich die Figur aus dem Logo als Symbol oder Maskottchen, und die Fotografie dient dazu, zu veranschaulichen, wie das Dreizehenfaultier in seiner natürlichen Umgebung aussieht.

1. Du kannst das Modell auch über (nach der Installation von pip install huggingface_hub hf_transfer ) von HuggingFace herunterladen, snapshot_download was für große Model-Downloads nützlich ist, da der automatische Downloader von llama.cpp hinterherhinken könnte. Du kannst Q4_K_M oder andere quantisierte Versionen wählen.

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id   = "unsloth/Qwen3-VL-8B-Instruct-GGUF", # Oder "unsloth/Qwen3-VL-8B-Thinking-GGUF"
    local_dir = "unsloth/Qwen3-VL-8B-Instruct-GGUF", # Oder "unsloth/Qwen3-VL-8B-Thinking-GGUF"
    allow_patterns = ["*UD-Q4_K_XL*", "*mmproj-F16*"],
)

1. Führe das Modell aus und probiere einen beliebigen Prompt aus. Für Instruct:

./llama.cpp/llama-mtmd-cli \
    --model unsloth/Qwen3-VL-8B-Instruct-GGUF/Qwen3-VL-8B-Instruct-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Qwen3-VL-8B-Instruct-GGUF/mmproj-F16.gguf \
    --n-gpu-layers 99 \
    --jinja \
    --top-p 0.8 \
    --top-k 20 \
    --temp 0.7 \
    --min-p 0.0 \
    --flash-attn on \
    --presence-penalty 1.5 \
    --ctx-size 8192

1. Für Thinking:

./llama.cpp/llama-mtmd-cli \
    --model unsloth/Qwen3-VL-8B-Thinking-GGUF/Qwen3-VL-8B-Thinking-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Qwen3-VL-8B-Thinking-GGUF/mmproj-F16.gguf \
    --n-gpu-layers 99 \
    --jinja \
    --top-p 0.95 \
    --top-k 20 \
    --temp 1.0 \
    --min-p 0.0 \
    --flash-attn on \
    --presence-penalty 0.0 \
    --ctx-size 8192

🪄Qwen3-VL-235B-A22B und Qwen3-VL-30B-A3B ausführen

Für Qwen3-VL-235B-A22B werden wir llama.cpp für optimierte Inferenz und eine Vielzahl von Optionen verwenden.

1. Wir folgen ähnlichen Schritten wie oben, aber diesmal müssen wir auch zusätzliche Schritte durchführen, weil das Modell so groß ist.

2. Lade das Modell über (nach der Installation von pip install huggingface_hub hf_transfer ). Du kannst UD-Q2_K_XL oder andere quantisierte Versionen wählen..

   # !pip install huggingface_hub hf_transfer
   import os
   os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
   from huggingface_hub import snapshot_download
   snapshot_download(
       repo_id = "unsloth/Qwen3-VL-235B-A22B-Instruct-GGUF",
       local_dir = "unsloth/Qwen3-VL-235B-A22B-Instruct-GGUF",
       allow_patterns = ["*UD-Q2_K_XL*", "*mmproj-F16*"],
   )

3. Führe das Modell aus und probiere einen Prompt aus. Stelle die richtigen Parameter für Thinking vs. Instruct ein.

Instruct:

./llama.cpp/llama-mtmd-cli \
    --model unsloth/Qwen3-VL-235B-A22B-Instruct-GGUF/UD-Q2_K_XL/Qwen3-VL-235B-A22B-Instruct-UD-Q2_K_XL-00001-of-00002.gguf \
    --mmproj unsloth/Qwen3-VL-235B-A22B-Instruct-GGUF/mmproj-F16.gguf
    --jinja \
    --top-p 0.8 \
    --top-k 20 \
    --temp 0.7 \
    --min-p 0.0 \
    --flash-attn on \
    --presence-penalty 1.5 \
    --ctx-size 8192 \

Thinking:

./llama.cpp/llama-mtmd-cli \
    --model unsloth/Qwen3-VL-235B-A22B-Thinking-GGUF/UD-Q2_K_XL/Qwen3-VL-235B-A22B-Thinking-UD-Q2_K_XL-00001-of-00002.gguf \
    --mmproj unsloth/Qwen3-VL-235B-A22B-Thinking-GGUF/mmproj-F16.gguf \
    --n-gpu-layers 99 \
    --jinja \
    --top-p 0.95 \
    --top-k 20 \
    --temp 1.0 \
    --min-p 0.0 \
    --flash-attn on \
    --presence-penalty 0.0 \
    --ctx-size 8192 \
    -ot ".ffn_.*_exps.=CPU"

1. Bearbeite, --ctx-size 16384 für die Kontextlänge, --n-gpu-layers 99 für GPU-Offloading für wie viele Layer. Versuche, ihn anzupassen, wenn deiner GPU der Speicher ausgeht. Entferne ihn auch, wenn du nur CPU-Inferenz hast.

Verwende --fit on eingeführt am 15. Dez. 2025 für maximale Nutzung deiner GPU und CPU.

Optional kannst du -ot ".ffn_.*_exps.=CPU" verwenden, um alle MoE-Layer auf die CPU auszulagern! Dadurch lassen sich effektiv alle nicht-MoE-Layer auf 1 GPU unterbringen, was die Generierungsgeschwindigkeit verbessert. Du kannst den Regex-Ausdruck anpassen, um mehr Layer unterzubringen, wenn du mehr GPU-Kapazität hast.

🐋 Docker: Qwen3-VL ausführen

Wenn du bereits Docker Desktop hast, führe den folgenden Befehl aus, um Unsloths Modelle von Hugging Face zu verwenden, und fertig:

docker model pull hf.co/unsloth/Qwen3-VL-8B-Instruct-GGUF:UD-Q4_K_XL

Oder du kannst die von Docker hochgeladenen Qwen3-VL-Modelle ausführen:

docker model run ai/qwen3-vl

🦥 Qwen3-VL fine-tunen

Unsloth unterstützt Fine-Tuning und Reinforcement Learning (RL) für Qwen3-VL, einschließlich der größeren Modelle 32B und 235B. Dazu gehört auch Unterstützung für Fine-Tuning von Video und Objekterkennung. Wie üblich macht Unsloth das Training von Qwen3-VL-Modellen 1,7x schneller, mit 60 % weniger VRAM und 8x längeren Kontexten ohne Genauigkeitsverlust. Wir haben zwei Trainings-Notebooks für Qwen3-VL (8B) erstellt, die du kostenlos auf Colab trainieren kannst:

• Normales SFT-Fine-Tuning-Notebook

• GRPO/GSPO RL-Notebook

Das Speichern von Qwen3-VL als GGUF funktioniert jetzt, da llama.cpp es gerade unterstützt hat!

Wenn du ein anderes Qwen3-VL-Modell verwenden möchtest, ändere einfach das 8B-Modell zu dem 2B-, 32B- usw. Modell.

Das Ziel des GRPO-Notebooks ist es, ein Vision-Language-Modell mit einem Bildinput wie unten gezeigt mathematische Probleme per RL lösen zu lassen:

Diese Qwen3-VL-Unterstützung integriert außerdem unser neuestes Update für noch speichereffizienteres und schnelleres RL, einschließlich unserer Standby-Funktion, die im Vergleich zu anderen Implementierungen einzigartig die Geschwindigkeitsverschlechterung begrenzt. Mehr darüber, wie man Vision-LLMs mit RL trainiert, kannst du in unserem VLM GRPO-Leitfaden.

Training mit mehreren Bildern

Um Qwen3-VL mit mehreren Bildern feinzujustieren oder zu trainieren, ist die einfachste Änderung,

ds_converted = ds.map(
    convert_to_conversation,
)

durch folgendes zu ersetzen:

ds_converted = [convert_to_converation(sample) for sample in dataset]

Die Verwendung von map aktiviert Dataset-Standardisierung und Arrow-Verarbeitungsregeln, die streng und komplizierter zu definieren sein können.