🌠Qwen3-2507: Leitfaden zum lokalen Ausführen

Führe Qwen3-30B-A3B-2507 und die 235B-A22B-Thinking- und Instruct-Versionen lokal auf deinem Gerät aus!

Qwen veröffentlichte 2507-Updates (Juli 2025) für ihre Qwen3 4B-, 30B- und 235B-Modelle und führte sowohl „Thinking“- als auch „Non-Thinking“-Varianten ein. Die Non-Thinking-Qwen3-30B-A3B-Instruct-2507' und 'Qwen3-235B-A22B-Instruct-2507' verfügt über ein Kontextfenster von 256K, verbessertes Befolgen von Anweisungen, mehrsprachige Fähigkeiten und Ausrichtung.

Die Thinking-Modelle 'Qwen3-30B-A3B-Thinking-2507' und 'Qwen3-235B-A22B-Thinking-2507' glänzen beim Schlussfolgern, wobei das 235B in Logik, Mathematik, Wissenschaft, Programmierung und fortgeschrittenen akademischen Aufgaben SOTA-Ergebnisse erzielt.

Unsloth unterstützt jetzt auch Fine-Tuning und Bestärkendes Lernen (RL) von Qwen3-2507-Modellen — 2x schneller, mit 70 % weniger VRAM und 8x längeren Kontextlängen

30B-A3B ausführen235B-A22B ausführenQwen3-2507 feinabstimmen

Unsloth Dynamic 2.0 GGUFs:

Modell	GGUFs zum Ausführen:
Qwen3-4B-2507	Instruct • Thinking
Qwen3-30B-A3B-2507	Instruct • Thinking
Qwen3-235B-A22B-2507	Instruct • Thinking

⚙️Best Practices

Die Einstellungen für das Thinking- und das Instruct-Modell sind unterschiedlich. Das Thinking-Modell verwendet temperature = 0.6, das Instruct-Modell verwendet jedoch temperature = 0.7 Das Thinking-Modell verwendet top_p = 0.95, das Instruct-Modell verwendet jedoch top_p = 0.8

Um optimale Leistung zu erzielen, empfiehlt Qwen diese Einstellungen:

Einstellungen für das Instruct-Modell:	Einstellungen für das Thinking-Modell:
Temperatur = 0.7	Temperatur = 0.6
Min_P = 0.00 (llama.cpps Standard ist 0.1)	Min_P = 0.00 (llama.cpps Standard ist 0.1)
Top_P = 0.80	Top_P = 0.95
TopK = 20	TopK = 20
presence_penalty = 0.0 bis 2.0 (der Standard von llama.cpp deaktiviert es, aber um Wiederholungen zu reduzieren, können Sie es verwenden)	presence_penalty = 0.0 bis 2.0 (der Standard von llama.cpp deaktiviert es, aber um Wiederholungen zu reduzieren, können Sie es verwenden)

Ausreichende Ausgabelänge: Verwenden Sie eine Ausgabelänge von 32,768 Tokens für die meisten Abfragen, was für die meisten Abfragen ausreichend ist.

Chat-Vorlage für beide Thinking-Modelle (Thinking hat <think></think>) und Instruct ist unten:

<|im_start|>user
Hallo!<|im_end|>
<|im_start|>assistant
Was ist 1+1?<|im_end|>
<|im_start|>user
2<|im_end|>
<|im_start|>assistant

📖 Tutorials zum Ausführen von Qwen3-30B-A3B-2507

Unten finden Sie Anleitungen für die Thinking und Instruct Versionen des Modells.

Instruct: Qwen3-30B-A3B-Instruct-2507

Da dies ein Nicht-Thinking-Modell ist, muss thinking=False nicht gesetzt werden, und das Modell erzeugt keine <think> </think> Blöcke.

⚙️Best Practices

Um optimale Leistung zu erzielen, empfiehlt Qwen die folgenden Einstellungen:

• Wir empfehlen die Verwendung von temperature=0.7, top_p=0.8, top_k=20 und min_p=0.0 presence_penalty zwischen 0 und 2, falls das Framework dies unterstützt, um endlose Wiederholungen zu reduzieren.

• temperature = 0.7

• top_k = 20

• min_p = 0.00 (llama.cpps Standard ist 0.1)

• top_p = 0.80

• presence_penalty = 0.0 bis 2.0 (der Standard von llama.cpp deaktiviert es, aber um Wiederholungen zu reduzieren, können Sie es verwenden) Probieren Sie zum Beispiel 1.0 aus.

• Unterstützt nativ bis zu 262,144 Kontext, aber Sie können es auf 32,768 Tokens einstellen, um weniger RAM zu verbrauchen

🦙 Ollama: Tutorial zum Ausführen von Qwen3-30B-A3B-Instruct-2507

1. Installieren ollama falls Sie das nicht schon getan haben! Sie können nur Modelle bis zu 32B Größe ausführen.

apt-get update
apt-get install pciutils -y
curl -fsSL https://ollama.com/install.sh | sh

1. Führen Sie das Modell aus! Beachten Sie, dass Sie ollama servein einem anderen Terminal aufrufen können, falls es fehlschlägt! Wir enthalten alle unsere Korrekturen und vorgeschlagenen Parameter (Temperatur usw.) in params in unserem Hugging-Face-Upload!

ollama run hf.co/unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:UD-Q4_K_XL

✨ Llama.cpp: Tutorial zum Ausführen von Qwen3-30B-A3B-Instruct-2507

1. Erhalten Sie das neueste llama.cpp standardmäßig GitHub hier. Sie können auch die Build-Anweisungen unten befolgen. Ändern Sie -DGGML_CUDA=ON auf -DGGML_CUDA=OFF wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. Für Apple Mac / Metal-Geräte, setzen Sie -DGGML_CUDA=OFF und fahren Sie dann wie üblich fort - Metal-Unterstützung ist standardmäßig aktiviert.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

1. Sie können direkt von HuggingFace herunterladen über:

   ./llama.cpp/llama-cli \
       -hf unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:Q4_K_XL \
       --jinja -ngl 99 --ctx-size 32768 \
       --temp 0.7 --min-p 0.0 --top-p 0.80 --top-k 20 --presence-penalty 1.0

2. Laden Sie das Modell herunter über (nach der Installation von pip install huggingface_hub hf_transfer ). Sie können UD_Q4_K_XL oder andere quantisierte Versionen wählen.

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF",
    local_dir = "unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

Thinking: Qwen3-30B-A3B-Thinking-2507

Dieses Modell unterstützt nativ nur den Thinking-Modus und ein Kontextfenster von 256K. Die Standard-Chat-Vorlage fügt <think> automatisch hinzu, sodass Sie möglicherweise nur einen schließenden </think> Tag in der Ausgabe sehen.

⚙️Best Practices

Um optimale Leistung zu erzielen, empfiehlt Qwen die folgenden Einstellungen:

• Wir empfehlen die Verwendung von temperature=0.6, top_p=0.95, top_k=20 und min_p=0.0 presence_penalty zwischen 0 und 2, falls das Framework dies unterstützt, um endlose Wiederholungen zu reduzieren.

• temperature = 0.6

• top_k = 20

• min_p = 0.00 (llama.cpps Standard ist 0.1)

• top_p = 0.95

• presence_penalty = 0.0 bis 2.0 (der Standard von llama.cpp deaktiviert es, aber um Wiederholungen zu reduzieren, können Sie es verwenden) Probieren Sie zum Beispiel 1.0 aus.

• Unterstützt nativ bis zu 262,144 Kontext, aber Sie können es auf 32,768 Tokens einstellen, um weniger RAM zu verbrauchen

🦙 Ollama: Tutorial zum Ausführen von Qwen3-30B-A3B-Instruct-2507

1. Installieren ollama falls Sie das nicht schon getan haben! Sie können nur Modelle bis zu 32B Größe ausführen. Um die vollständigen 235B-A22B-Modelle auszuführen, siehe hier.

apt-get update
apt-get install pciutils -y
curl -fsSL https://ollama.com/install.sh | sh

1. Führen Sie das Modell aus! Beachten Sie, dass Sie ollama servein einem anderen Terminal aufrufen können, falls es fehlschlägt! Wir enthalten alle unsere Korrekturen und vorgeschlagenen Parameter (Temperatur usw.) in params in unserem Hugging-Face-Upload!

ollama run hf.co/unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF:UD-Q4_K_XL

✨ Llama.cpp: Tutorial zum Ausführen von Qwen3-30B-A3B-Instruct-2507

1. Erhalten Sie das neueste llama.cpp standardmäßig GitHub hier. Sie können auch die Build-Anweisungen unten befolgen. Ändern Sie -DGGML_CUDA=ON auf -DGGML_CUDA=OFF wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. Für Apple Mac / Metal-Geräte, setzen Sie -DGGML_CUDA=OFF und fahren Sie dann wie üblich fort - Metal-Unterstützung ist standardmäßig aktiviert.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

1. Sie können direkt von Hugging Face herunterladen über:

   ./llama.cpp/llama-cli \
       -hf unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF:Q4_K_XL \
       --jinja -ngl 99 --ctx-size 32768 \
       --temp 0.6 --min-p 0.0 --top-p 0.95 --top-k 20 --presence-penalty 1.0

2. Laden Sie das Modell herunter über (nach der Installation von pip install huggingface_hub hf_transfer ). Sie können UD_Q4_K_XL oder andere quantisierte Versionen wählen.

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF",
    local_dir = "unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

📖 Ausführen Qwen3-235B-A22B-2507 Tutorials

Unten finden Sie Anleitungen für die Thinking und Instruct Versionen des Modells.

Thinking: Qwen3-235B-A22B-Thinking-2507

Dieses Modell unterstützt nativ nur den Thinking-Modus und ein Kontextfenster von 256K. Die Standard-Chat-Vorlage fügt <think> automatisch hinzu, sodass Sie möglicherweise nur einen schließenden </think> Tag in der Ausgabe sehen.

⚙️ Best Practices

Um optimale Leistung zu erzielen, empfiehlt Qwen für das Thinking-Modell diese Einstellungen:

• temperature = 0.6

• top_k = 20

• min_p = 0.00 (llama.cpps Standard ist 0.1)

• top_p = 0.95

• presence_penalty = 0.0 bis 2.0 (der Standard von llama.cpp deaktiviert es, aber um Wiederholungen zu reduzieren, können Sie es verwenden) Probieren Sie zum Beispiel 1.0 aus.

• Ausreichende Ausgabelänge: Verwenden Sie eine Ausgabelänge von 32,768 Tokens für die meisten Abfragen, was für die meisten Abfragen ausreichend ist.

✨Führen Sie Qwen3-235B-A22B-Thinking via llama.cpp aus:

Für Qwen3-235B-A22B werden wir speziell Llama.cpp für optimierte Inferenz und eine Vielzahl von Optionen verwenden.

Wenn Sie eine vollpräzise unquantisierte Versionmöchten, verwenden Sie unsere Q8_K_XL, Q8_0 oder BF16 Versionen!

1. Erhalten Sie das neueste llama.cpp standardmäßig GitHub hier. Sie können auch die Build-Anweisungen unten befolgen. Ändern Sie -DGGML_CUDA=ON auf -DGGML_CUDA=OFF wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. Für Apple Mac / Metal-Geräte, setzen Sie -DGGML_CUDA=OFF und fahren Sie dann wie üblich fort - Metal-Unterstützung ist standardmäßig aktiviert.

   apt-get update
   apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
   git clone https://github.com/ggml-org/llama.cpp
   cmake llama.cpp -B llama.cpp/build \
       -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
   cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
   cp llama.cpp/build/bin/llama-* llama.cpp

2. Sie können llama.cpp direkt verwenden, um das Modell herunterzuladen, aber ich empfehle normalerweise die Verwendung von huggingface_hub Um llama.cpp direkt zu verwenden, tun Sie Folgendes:

   ./llama.cpp/llama-cli \
       -hf unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF:Q2_K_XL \
       --ctx-size 16384 \
       --n-gpu-layers 99 \\
       -ot ".ffn_.*_exps.=CPU" \
       --temp 0.6 \
       --min-p 0.0 \
       --top-p 0.95 \
       --top-k 20 \
       --presence-penalty 1.0

3. Laden Sie das Modell herunter über (nach der Installation von pip install huggingface_hub hf_transfer ). Sie können UD-Q2_K_XL oder andere quantisierte Versionen wählen..

   # !pip install huggingface_hub hf_transfer
   import os
   os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0" # Kann manchmal die Rate begrenzen, daher auf 0 setzen, um zu deaktivieren
   from huggingface_hub import snapshot_download
   snapshot_download(
       repo_id = "unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF",
       local_dir = "unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF",
       allow_patterns = ["*UD-Q2_K_XL*"],
   )

4. Führen Sie das Modell aus und probieren Sie irgendeinen Prompt aus.

5. Bearbeiten Sie --threads -1 für die Anzahl der CPU-Threads, --ctx-size 262114 für die Kontextlänge, --n-gpu-layers 99 für GPU-Offloading, wie viele Schichten. Versuchen Sie, dies anzupassen, wenn Ihrem GPU der Speicher ausgeht. Entfernen Sie es auch, wenn Sie nur CPU-Inferenz haben.

Verwenden Sie -ot ".ffn_.*_exps.=CPU" um alle MoE-Schichten auf die CPU auszulagern! Dadurch können Sie effektiv alle Nicht-MoE-Schichten auf 1 GPU unterbringen und die Generierungsgeschwindigkeit verbessern. Sie können den Regex-Ausdruck anpassen, um mehr Schichten unterzubringen, wenn Sie mehr GPU-Kapazität haben.

./llama.cpp/llama-cli \
    --model unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF/UD-Q2_K_XL/Qwen3-235B-A22B-Thinking-2507-UD-Q2_K_XL-00001-of-00002.gguf \
    --ctx-size 16384 \
    --n-gpu-layers 99 \\
    -ot ".ffn_.*_exps.=CPU" \
    --seed 3407 \\
    --temp 0.6 \
    --min-p 0.0 \
    --top-p 0.95 \
    --top-k 20
    --presence-penalty 1.0

Instruct: Qwen3-235B-A22B-Instruct-2507

Da dies ein Nicht-Thinking-Modell ist, muss thinking=False nicht gesetzt werden, und das Modell erzeugt keine <think> </think> Blöcke.

⚙️Best Practices

Um optimale Leistung zu erzielen, empfehlen wir die folgenden Einstellungen:

1. Sampling-Parameter: Wir empfehlen die Verwendung von temperature=0.7, top_p=0.8, top_k=20 und min_p=0. presence_penalty zwischen 0 und 2, falls das Framework dies unterstützt, um endlose Wiederholungen zu reduzieren.

2. Ausreichende Ausgabelänge: Wir empfehlen, eine Ausgabelänge von 16,384 Tokens für die meisten Abfragen zu verwenden, was für Instruct-Modelle ausreichend ist.

3. Ausgabeformat standardisieren: Wir empfehlen, Prompts zu verwenden, um Modell-Ausgaben beim Benchmarking zu standardisieren.

• Matheaufgaben: Fügen Sie Bitte schrittweise herleiten und die endgültige Antwort in \boxed{} setzen. im Prompt ein.

• Multiple-Choice-Fragen: Fügen Sie die folgende JSON-Struktur zum Prompt hinzu, um Antworten zu standardisieren: "Bitte geben Sie Ihre Wahl im `answer`-Feld nur mit dem Buchstaben der Wahl an, z. B. `"answer": "C".

✨Führen Sie Qwen3-235B-A22B-Instruct via llama.cpp aus:

Für Qwen3-235B-A22B werden wir speziell Llama.cpp für optimierte Inferenz und eine Vielzahl von Optionen verwenden.

Wenn Sie eine vollpräzise unquantisierte Versionmöchten, verwenden Sie unsere Q8_K_XL, Q8_0 oder BF16 Versionen!

1. Holen Sie sich die neueste llama.cpp auf GitHub hier. Sie können auch die Build-Anweisungen unten befolgen. Ändern Sie -DGGML_CUDA=ON auf -DGGML_CUDA=OFF wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. Für Apple Mac / Metal-Geräte, setzen Sie -DGGML_CUDA=OFF und fahren Sie dann wie üblich fort - Metal-Unterstützung ist standardmäßig aktiviert.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2. Sie können llama.cpp direkt verwenden, um das Modell herunterzuladen, aber ich empfehle normalerweise die Verwendung von huggingface_hub Um llama.cpp direkt zu verwenden, tun Sie Folgendes:\

./llama.cpp/llama-cli \
    -hf unsloth/Qwen3-235B-A22B-Instruct-2507-GGUF:Q2_K_XL \
    --ctx-size 16384 \
    --n-gpu-layers 99 \\
    -ot ".ffn_.*_exps.=CPU" \
    --temp 0.7 \
    --min-p 0.0 \
    --top-p 0.8 \
    --top-k 20 \
    --repeat-penalty 1.0

3. Laden Sie das Modell herunter über (nach der Installation von pip install huggingface_hub hf_transfer ). Sie können UD-Q2_K_XL oder andere quantisierte Versionen wählen..

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0" # Kann manchmal die Rate begrenzen, daher auf 0 setzen, um zu deaktivieren
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Qwen3-235B-A22B-Instruct-2507-GGUF",
    local_dir = "unsloth/Qwen3-235B-A22B-Instruct-2507-GGUF",
    allow_patterns = ["*UD-Q2_K_XL*"],
)

4. Führen Sie das Modell aus und probieren Sie irgendeinen Prompt aus. 5. Bearbeiten Sie --threads -1 für die Anzahl der CPU-Threads, --ctx-size 262114 für die Kontextlänge, --n-gpu-layers 99 für GPU-Offloading, wie viele Schichten. Versuchen Sie, dies anzupassen, wenn Ihrem GPU der Speicher ausgeht. Entfernen Sie es auch, wenn Sie nur CPU-Inferenz haben.

Verwenden Sie -ot ".ffn_.*_exps.=CPU" um alle MoE-Schichten auf die CPU auszulagern! Dadurch können Sie effektiv alle Nicht-MoE-Schichten auf 1 GPU unterbringen und die Generierungsgeschwindigkeit verbessern. Sie können den Regex-Ausdruck anpassen, um mehr Schichten unterzubringen, wenn Sie mehr GPU-Kapazität haben.

./llama.cpp/llama-cli \
    --model unsloth/Qwen3-235B-A22B-Instruct-2507-GGUF/UD-Q2_K_XL/Qwen3-235B-A22B-Instruct-2507-UD-Q2_K_XL-00001-of-00002.gguf \
    --ctx-size 16384 \
    --n-gpu-layers 99 \\
    -ot ".ffn_.*_exps.=CPU" \
    --temp 0.7 \
    --min-p 0.0 \
    --top-p 0.8 \
    --top-k 20

🛠️ Verbesserung der Generierungsgeschwindigkeit

Wenn Sie mehr VRAM haben, können Sie versuchen, mehr MoE-Schichten auszulagern oder ganze Schichten auszulagern.

Normalerweise -ot ".ffn_.*_exps.=CPU" lagert alle MoE-Schichten auf die CPU aus! Dadurch können Sie effektiv alle Nicht-MoE-Schichten auf 1 GPU unterbringen und die Generierungsgeschwindigkeit verbessern. Sie können den Regex-Ausdruck anpassen, um mehr Schichten unterzubringen, wenn Sie mehr GPU-Kapazität haben.

Wenn Sie etwas mehr GPU-Speicher haben, versuchen Sie -ot ".ffn_(up|down)_exps.=CPU" Dies lagert die Up- und Down-Projektions-MoE-Schichten aus.

Versuchen Sie -ot ".ffn_(up)_exps.=CPU" wenn Sie noch mehr GPU-Speicher haben. Dies lagert nur die Up-Projektions-MoE-Schichten aus.

Sie können auch den Regex anpassen, zum Beispiel -ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU" bedeutet, Gate-, Up- und Down-MoE-Schichten auszulagern, jedoch nur ab der 6. Schicht aufwärts.

Der neueste llama.cpp-Version führt außerdem einen High-Throughput-Modus ein. Verwenden Sie llama-parallel. Lesen Sie hier mehr darüber hier. Sie können auch den KV-Cache auf 4 Bit quantisieren um beispielsweise die VRAM-/RAM-Bewegung zu reduzieren, was den Generierungsprozess ebenfalls beschleunigen kann. Der nächste Abschnitt spricht über die KV-Cache-Quantisierung.

📐So passt langer Kontext hinein

Um längeren Kontext unterzubringen, können Sie KV-Cache-Quantisierung verwenden, um die K- und V-Caches auf niedrigere Bits zu quantisieren. Dies kann auch die Generierungsgeschwindigkeit aufgrund reduzierter RAM-/VRAM-Datenbewegung erhöhen. Die erlaubten Optionen für die K-Quantisierung (Standard ist f16) umfassen die folgenden.

--cache-type-k f32, f16, bf16, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1

Sie sollten die _1 Varianten für etwas höhere Genauigkeit verwenden, obwohl sie etwas langsamer sind. Z. B. q4_1, q5_1 Probieren Sie also --cache-type-k q4_1

Sie können auch den V-Cache quantisieren, aber dafür müssen Sie llama.cpp mit Flash Attention kompilieren Unterstützung über -DGGML_CUDA_FA_ALL_QUANTS=ON, und verwendet --flash-attn aktivieren. Nach der Installation von Flash Attention können Sie dann --cache-type-v q4_1

🦥 Fine-Tuning von Qwen3-2507 mit Unsloth

Unsloth macht Qwen3 und Qwen3-2507-Fine-Tuning 2x schneller, verwendet 70 % weniger VRAM und unterstützt 8x längere Kontextlängen. Da Qwen3-2507 nur in einer 30B-Variante veröffentlicht wurde, bedeutet dies, dass Sie etwa eine 40GB A100-GPU benötigen, um das Modell mit QLoRA (4-Bit) feinabzustimmen.

Für ein Notebook benötigen Sie, da das Modell nicht in Colabs kostenlose 16GB-GPUs passt, eine 40GB A100. Sie können unser Conversational-Notebook verwenden, aber den Datensatz durch einen Ihrer Wahl ersetzen. Diesmal müssen Sie das Reasoning nicht in Ihren Datensatz kombinieren, da das Modell kein Reasoning hat.

• Qwen3 (14B) Reasoning- + Conversational-Notebook

Wenn du eine ältere Version von Unsloth hast und/oder lokal feinabstimmst, installiere die neueste Version von Unsloth:

pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo

Fine-Tuning von Qwen3-2507-MOE-Modellen

Die Fine-Tuning-Unterstützung umfasst MOE-Modelle: 30B-A3B und 235B-A22B. Qwen3-30B-A3B läuft mit Unsloth auf 30GB VRAM. Beim Fine-Tuning von MoE ist es wahrscheinlich keine gute Idee, die Router-Schicht feinabzustimmen, daher haben wir sie standardmäßig deaktiviert.

Qwen3-2507-4B-Notebooks für: Thinking und Instruct

Das 30B-A3B passt in 30GB VRAM, aber Ihnen könnten RAM oder Speicherplatz fehlen, da das vollständige 16-Bit-Modell heruntergeladen und für das QLoRA-Fine-Tuning unterwegs in 4-Bit konvertiert werden muss. Dies liegt an Problemen beim direkten Import von 4-Bit-BnB-MOE-Modellen. Das betrifft nur MOE-Modelle.

Wenn Sie die MOE-Modelle feinabstimmen, verwenden Sie bitte FastModel und nicht FastLanguageModel

from unsloth import FastModel
import torch
model, tokenizer = FastModel.from_pretrained(
    model_name = "unsloth/Qwen3-30B-A3B-Instruct-2507",
    max_seq_length = 2048, # Wählen Sie beliebig für langen Kontext!
    load_in_4bit = True,  # 4-Bit-Quantisierung zur Reduzierung des Speicherverbrauchs
    load_in_8bit = False, # [NEU!] Etwas genauer, benötigt 2x Speicher
    full_finetuning = False, # [NEU!] Wir haben jetzt vollständiges Fine-Tuning!
    # token = "hf_...", # verwenden Sie einen, wenn Sie gesperrte Modelle verwenden
)