🌠Qwen3-VL: Anleitung zum Ausführen

Erfahre, wie du Qwen3-VL lokal mit Unsloth feinabstimmst und ausführst.

Qwen3-VL ist Qwens neues Vision-Modell mit instruct und thinking Versionen. Die 2B-, 4B-, 8B- und 32B-Modelle sind dicht (dense), während 30B und 235B MoE sind. Das 235B thinking LLM liefert SOTA-Vision- und Coding-Leistung, die mit GPT-5 (high) und Gemini 2.5 Pro konkurriert. Qwen3-VL verfügt über Vision-, Video- und OCR-Fähigkeiten sowie 256K Kontext (kann auf 1M erweitert werden). Unsloth unterstützt Qwen3-VL Fine-Tuning und RL. Trainiere Qwen3-VL (8B) kostenlos mit unseren Notebooks.

Qwen3-VL ausführenQwen3-VL fine-tunen

🖥️ Qwen3-VL ausführen

Um das Modell in llama.cpp, vLLM, Ollama etc. auszuführen, sind hier die empfohlenen Einstellungen:

⚙️ Empfohlene Einstellungen

Qwen empfiehlt diese Einstellungen für beide Modelle (sie unterscheiden sich etwas für Instruct vs Thinking):

Instruct-Einstellungen:	Thinking-Einstellungen:
Temperature = 0.7	Temperature = 1.0
Top_P = 0.8	Top_P = 0.95
presence_penalty = 1.5	presence_penalty = 0.0
Ausgabelänge = 32768 (bis zu 256K)	Ausgabelänge = 40960 (bis zu 256K)
Top_K = 20	Top_K = 20

Qwen3-VL verwendete auch die folgenden Einstellungen für ihre Benchmark-Zahlen, wie erwähnt auf GitHub.

Instruct-Einstellungen:

export greedy='false'
export seed=3407
export top_p=0.8
export top_k=20
export temperature=0.7
export repetition_penalty=1.0
export presence_penalty=1.5
export out_seq_length=32768

Thinking-Einstellungen:

export greedy='false'
export seed=1234
export top_p=0.95
export top_k=20
export temperature=1.0
export repetition_penalty=1.0
export presence_penalty=0.0
export out_seq_length=40960

🐛Fehlerbehebungen an Chat-Template

Bei Unsloth legen wir am meisten Wert auf Genauigkeit, daher haben wir untersucht, warum nach der zweiten Runde mit den Thinking-Modellen llama.cpp abbrechen würde, wie unten zu sehen ist:

Der Fehlercode:

terminate called after throwing an instance of 'std::runtime_error'
  what():  Value is not callable: null at row 63, column 78:
            {%- if '</think>' in content %}
                {%- set reasoning_content = ((content.split('</think>')|first).rstrip('\n').split('<think>')|last).lstrip('\n') %}
                                                                             ^

Wir haben das Thinking-Chat-Template für die VL-Modelle erfolgreich repariert, daher haben wir alle Thinking-Quants und Unsloths Quants erneut hochgeladen. Sie sollten jetzt alle nach der zweiten Unterhaltung funktionieren - andere Quants werden nach der zweiten Unterhaltung beim Laden fehlschlagen.

Qwen3-VL Unsloth Uploads:

Qwen3-VL wird seit dem 30. Oktober 2025 von llama.cpp für GGUFs unterstützt, sodass du sie lokal ausführen kannst!

Dynamische GGUFs (zum Ausführen)	4-Bit BnB Unsloth Dynamisch	16-Bit Volle Genauigkeit
2B-Instruct 2B-Thinking 4B-Instruct 4B-Thinking 8B-Instruct 8B-Thinking 30B-Instruct 30B-Thinking 32B-Instruct 32B-Thinking 235B-A22B-Instruct 235B-A22B-Thinking	2B-Instruct 2B-Thinking 4B-Instruct 4B-Thinking 8B-Instruct 8B-Thinking 32B-Instruct 32B-Thinking	2B-Instruct 4B-Instruct 4B-Thinking 8B-Instruct 8B-Thinking 30B-Instruct 30B-Thinking 32B-Instruct 32B-Thinking 235B-A22B-Thinking 235B-A22B-Instruct

📖 Llama.cpp: Qwen3-VL Tutorial ausführen

1. Hole dir das neueste llama.cpp auf GitHub hier. Du kannst auch den unten stehenden Build-Anweisungen folgen. Ändere -DGGML_CUDA=ON zu -DGGML_CUDA=OFF wenn du keine GPU hast oder einfach nur CPU-Inferenz möchtest. Für Apple Mac / Metal-Geräte, setze -DGGML_CUDA=OFF und fahre dann wie gewohnt fort - Metal-Unterstützung ist standardmäßig eingeschaltet.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first
cp llama.cpp/build/bin/llama-* llama.cpp

1. Lass uns zuerst ein Bild bekommen! Du kannst auch Bilder hochladen. Wir verwenden https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/images/unsloth%20made%20with%20love.png, das nur unser Mini-Logo ist, das zeigt, wie Finetunes mit Unsloth erstellt werden:

1. Lass uns dieses Bild herunterladen

wget https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/images/unsloth%20made%20with%20love.png -O unsloth.png

1. Lass uns das zweite Bild hier holen https://files.worldwildlife.org/wwfcmsprod/images/Sloth_Sitting_iStock_3_12_2014/story_full_width/8l7pbjmj29_iStock_000011145477Large_mini__1_.jpg

wget https://files.worldwildlife.org/wwfcmsprod/images/Sloth_Sitting_iStock_3_12_2014/story_full_width/8l7pbjmj29_iStock_000011145477Large_mini__1_.jpg -O picture.png

1. Dann nutze die automatische Modell-Download-Funktion von llama.cpp, probiere dies für das 8B Instruct-Modell:

./llama.cpp/llama-mtmd-cli \
    -hf unsloth/Qwen3-VL-8B-Instruct-GGUF:UD-Q4_K_XL \
    --n-gpu-layers 99 \
    --jinja \
    --top-p 0.8 \
    --top-k 20 \
    --temp 0.7 \
    --min-p 0.0 \
    --flash-attn on \
    --presence-penalty 1.5 \
    --ctx-size 8192

1. Sobald du drin bist, siehst du den folgenden Bildschirm:

1. Lade das Bild hoch via /image PATH z.B. /image unsloth.png dann drücke ENTER

1. Wenn du ENTER drückst, wird angezeigt "unsloth.png image loaded"

1. Nun lass uns eine Frage stellen wie "What is this image?":

1. Jetzt lade Bild 2 via /image picture.png dann drücke ENTER und frage "What is this image?"

1. Und schließlich lass uns fragen, wie beide Bilder zusammenhängen (es funktioniert!)

Die beiden Bilder hängen direkt zusammen, weil beide das Baumfaultier als zentrales Motiv zeigen, welches das zentrale Thema des "made with unsloth"-Projekts ist.

- Das erste Bild ist das offizielle Logo des "made with unsloth"-Projekts. Es zeigt eine stilisierte, cartoonartige Baumfaultier-Figur in einem grünen Kreis, mit dem Text "made with unsloth" daneben. Dies ist die visuelle Identität des Projekts.
- Das zweite Bild ist eine Fotografie eines echten Baumfaultiers in seinem natürlichen Lebensraum. Dieses Foto zeigt das Aussehen und Verhalten des Tieres in der Wildnis.

Die Beziehung zwischen den beiden Bildern ist, dass das Logo (Bild 1) eine digitale Darstellung oder ein Symbol zur Bewerbung des "made with unsloth"-Projekts ist, während die Fotografie (Bild 2) eine reale Darstellung des tatsächlichen Baumfaultiers ist. Das Projekt verwendet wahrscheinlich die Figur aus dem Logo als Icon oder Maskottchen, und das Foto dient dazu, zu veranschaulichen, wie das Baumfaultier in seiner natürlichen Umgebung aussieht.

1. Du kannst das Modell auch herunterladen via (nach Installation von pip install huggingface_hub hf_transfer ) HuggingFace's snapshot_download was nützlich für große Modelldownloads ist, da der Auto-Downloader von llama.cpp verzögern könnte. Du kannst Q4_K_M oder andere quantisierte Versionen wählen.

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id   = "unsloth/Qwen3-VL-8B-Instruct-GGUF", # Oder "unsloth/Qwen3-VL-8B-Thinking-GGUF"
    local_dir = "unsloth/Qwen3-VL-8B-Instruct-GGUF", # Oder "unsloth/Qwen3-VL-8B-Thinking-GGUF"
    allow_patterns = ["*UD-Q4_K_XL*", "*mmproj-F16*"],
)

1. Führe das Modell aus und probiere beliebige Prompts. Für Instruct:

./llama.cpp/llama-mtmd-cli \
    --model unsloth/Qwen3-VL-8B-Instruct-GGUF/Qwen3-VL-8B-Instruct-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Qwen3-VL-8B-Instruct-GGUF/mmproj-F16.gguf \
    --n-gpu-layers 99 \
    --jinja \
    --top-p 0.8 \
    --top-k 20 \
    --temp 0.7 \
    --min-p 0.0 \
    --flash-attn on \
    --presence-penalty 1.5 \
    --ctx-size 8192

1. Für Thinking:

./llama.cpp/llama-mtmd-cli \
    --model unsloth/Qwen3-VL-8B-Thinking-GGUF/Qwen3-VL-8B-Thinking-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Qwen3-VL-8B-Thinking-GGUF/mmproj-F16.gguf \
    --n-gpu-layers 99 \
    --jinja \
    --top-p 0.95 \
    --top-k 20 \
    --temp 1.0 \
    --min-p 0.0 \
    --flash-attn on \
    --presence-penalty 0.0 \
    --ctx-size 8192

🪄Qwen3-VL-235B-A22B und Qwen3-VL-30B-A3B ausführen

Für Qwen3-VL-235B-A22B werden wir llama.cpp für optimierte Inferenz und eine Vielzahl von Optionen verwenden.

1. Wir folgen ähnlichen Schritten wie oben, jedoch müssen wir dieses Mal zusätzliche Schritte durchführen, weil das Modell so groß ist.

2. Lade das Modell herunter via (nach Installation von pip install huggingface_hub hf_transfer ). Du kannst UD-Q2_K_XL oder andere quantisierte Versionen wählen.

   # !pip install huggingface_hub hf_transfer
   import os
   os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
   from huggingface_hub import snapshot_download
   snapshot_download(
       repo_id = "unsloth/Qwen3-VL-235B-A22B-Instruct-GGUF",
       local_dir = "unsloth/Qwen3-VL-235B-A22B-Instruct-GGUF",
       allow_patterns = ["*UD-Q2_K_XL*", "*mmproj-F16*"],
   )

3. Führe das Modell aus und probiere ein Prompt. Setze die korrekten Parameter für Thinking vs. Instruct.

Instruct:

./llama.cpp/llama-mtmd-cli \
    --model unsloth/Qwen3-VL-235B-A22B-Instruct-GGUF/UD-Q2_K_XL/Qwen3-VL-235B-A22B-Instruct-UD-Q2_K_XL-00001-of-00002.gguf \
    --mmproj unsloth/Qwen3-VL-235B-A22B-Instruct-GGUF/mmproj-F16.gguf
    --jinja \
    --top-p 0.8 \
    --top-k 20 \
    --temp 0.7 \
    --min-p 0.0 \
    --flash-attn on \
    --presence-penalty 1.5 \
    --ctx-size 8192 \

Thinking:

./llama.cpp/llama-mtmd-cli \
    --model unsloth/Qwen3-VL-235B-A22B-Thinking-GGUF/UD-Q2_K_XL/Qwen3-VL-235B-A22B-Thinking-UD-Q2_K_XL-00001-of-00002.gguf \
    --mmproj unsloth/Qwen3-VL-235B-A22B-Thinking-GGUF/mmproj-F16.gguf \
    --n-gpu-layers 99 \
    --jinja \
    --top-p 0.95 \
    --top-k 20 \
    --temp 1.0 \
    --min-p 0.0 \
    --flash-attn on \
    --presence-penalty 0.0 \
    --ctx-size 8192 \
    -ot ".ffn_.*_exps.=CPU"

1. Bearbeite, --ctx-size 16384 für Kontextlänge, --n-gpu-layers 99 für GPU-Offloading, wie viele Schichten. Versuche, dies anzupassen, wenn deine GPU nicht genug Speicher hat. Entferne es auch, wenn du nur CPU-Inferenz hast.

Verwende --fit on eingeführt am 15. Dez. 2025 für maximale Nutzung von GPU und CPU.

Optional, nutze -ot ".ffn_.*_exps.=CPU" um alle MoE-Schichten auf die CPU auszulagern! Dies ermöglicht effektiv, alle Nicht-MoE-Schichten auf 1 GPU zu platzieren und verbessert die Generationsgeschwindigkeit. Du kannst den Regex-Ausdruck anpassen, um mehr Schichten zu verlagern, wenn du mehr GPU-Kapazität hast.

🐋 Docker: Qwen3-VL ausführen

Wenn du bereits Docker Desktop hast, führe den folgenden Befehl aus, um Unsloths Modelle von Hugging Face auszuführen, und du bist fertig:

docker model pull hf.co/unsloth/Qwen3-VL-8B-Instruct-GGUF:UD-Q4_K_XL

Oder du kannst Dockers hochgeladene Qwen3-VL-Modelle ausführen:

docker model run ai/qwen3-vl

🦥 Qwen3-VL fine-tunen

Unsloth unterstützt Fine-Tuning und Reinforcement Learning (RL) für Qwen3-VL einschließlich der größeren 32B- und 235B-Modelle. Dies umfasst Unterstützung für Fine-Tuning für Video- und Objekterkennung. Wie üblich macht Unsloth Qwen3-VL-Modelle 1,7x schneller mit 60 % weniger VRAM und 8x längeren Kontextlängen ohne Genauigkeitsverlust. Wir haben zwei Qwen3-VL (8B) Trainings-Notebooks erstellt, die du kostenlos auf Colab trainieren kannst:

• Normales SFT-Fine-Tuning-Notebook

• GRPO/GSPO RL-Notebook

Das Speichern von Qwen3-VL als GGUF funktioniert jetzt, da llama.cpp es gerade unterstützt!

Wenn du ein anderes Qwen3-VL-Modell verwenden möchtest, ändere einfach das 8B-Modell auf das 2B-, 32B- usw. Modell.

Ziel des GRPO-Notebooks ist es, ein Vision-Language-Modell mittels RL dazu zu bringen, Mathematikaufgaben anhand eines Bildinputs wie unten zu lösen:

Diese Qwen3-VL-Unterstützung integriert auch unser neuestes Update für noch speichereffizienteres + schnelleres RL einschließlich unseres Standby-Features, das einzigartig die Geschwindigkeitsverschlechterung im Vergleich zu anderen Implementierungen begrenzt. Du kannst mehr darüber lesen, wie man Vision-LLMs mit RL trainiert, in unserem VLM GRPO Guide.

Multi-Image-Training

Um Qwen3-VL mit mehreren Bildern zu fine-tunen oder zu trainieren, ist die einfachste Änderung,

ds_converted = ds.map(
    convert_to_conversation,
)

zu ersetzen durch:

ds_converted = [convert_to_converation(sample) for sample in dataset]

Die Verwendung von map löst die Standardisierung des Datensatzes und Arrow-Verarbeitungsregeln aus, die streng sein können und komplizierter zu definieren sind.