> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/tutorials/qwen3-how-to-run-and-fine-tune/qwen3-2507.md). # Qwen3-2507: Leitfaden zum lokalen Ausführen Führe die lokalen Versionen Qwen3-30B-A3B-2507 und 235B-A22B Thinking und Instruct auf deinem Gerät aus! Qwen veröffentlichte 2507 (Juli 2025) Updates für ihre [Qwen3](/docs/de/modelle/tutorials/qwen3-how-to-run-and-fine-tune.md) 4B-, 30B- und 235B-Modelle und führte sowohl "thinking"- als auch "non-thinking"-Varianten ein. Das non-thinking '**Qwen3-30B-A3B-Instruct-2507**' und '**Qwen3-235B-A22B-Instruct-2507'** verfügt über ein 256K-Kontextfenster, verbesserte Befolgung von Anweisungen, mehrsprachige Fähigkeiten und Alignment. Die Thinking-Modelle '**Qwen3-30B-A3B-Thinking-2507**' und '**Qwen3-235B-A22B-Thinking-2507**' glänzen beim Schlussfolgern, wobei das 235B in Logik, Mathematik, Naturwissenschaften, Programmierung und fortgeschrittenen akademischen Aufgaben SOTA-Ergebnisse erzielt. [Unsloth](https://github.com/unslothai/unsloth) unterstützt jetzt auch Fine-Tuning und [Reinforcement Learning (RL)](/docs/de/loslegen/reinforcement-learning-rl-guide.md) der Qwen3-2507-Modelle — 2x schneller, mit 70 % weniger VRAM und 8x längeren Kontextlängen 30B-A3B ausführen235B-A22B ausführenQwen3-2507 feinabstimmen **Unsloth** [**Dynamic 2.0**](/docs/de/grundlagen/dynamic-3.0-ggufs.md) **GGUFs:** | Modell | GGUFs zum Ausführen: | | ------------------------ | ---------------------------------------------------------------------------------------------------------------------------------------------------------------- | | Qwen3-**4B-2507** | [Anweisung](https://huggingface.co/unsloth/Qwen3-4B-Instruct-2507-GGUF) • [Nachdenken](https://huggingface.co/unsloth/Qwen3-4B-Thinking-2507-GGUF) | | Qwen3-**30B-A3B**-2507 | [Anweisung](#llama.cpp-run-qwen3-30b-a3b-instruct-2507-tutorial) • [Nachdenken](https://huggingface.co/unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF) | | Qwen3-**235B-A22B**-2507 | [Anweisung](https://huggingface.co/unsloth/Qwen3-235B-A22B-Instruct-2507-GGUF) • [Nachdenken](https://huggingface.co/unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF) | ## ⚙️Best Practices {% hint style="success" %} Die Einstellungen für die Thinking- und Instruct-Modelle sind unterschiedlich.\ Das Thinking-Modell verwendet temperature = 0.6, aber das Instruct-Modell verwendet temperature = 0.7\ Das Thinking-Modell verwendet top\_p = 0.95, aber das Instruct-Modell verwendet top\_p = 0.8 {% endhint %} Um eine optimale Leistung zu erzielen, empfiehlt Qwen diese Einstellungen: | Instruct-Modell-Einstellungen: | Thinking-Modell-Einstellungen: | | -------------------------------------------------------------------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------------------- | | `Temperature = 0.7` | `Temperature = 0.6` | | `Min_P = 0.00` (llama.cpps Standardwert ist 0.1) | `Min_P = 0.00` (llama.cpps Standardwert ist 0.1) | | `Top_P = 0.80` | `Top_P = 0.95` | | `TopK = 20` | `TopK = 20` | | `presence_penalty = 0.0 bis 2.0` (Der Standardwert von llama.cpp schaltet es aus, aber um Wiederholungen zu reduzieren, können Sie dies verwenden) | `presence_penalty = 0.0 bis 2.0` (Der Standardwert von llama.cpp schaltet es aus, aber um Wiederholungen zu reduzieren, können Sie dies verwenden) | **Ausreichende Ausgabelänge**: Verwenden Sie eine Ausgabelänge von `32,768` Tokens für die meisten Anfragen, was für die meisten Anfragen ausreichend ist. Chat-Vorlage für sowohl Thinking (Thinking hat ``) und Instruct ist unten: ``` <|im_start|>user Hey dort!<|im_end|> <|im_start|>assistant Was ist 1+1?<|im_end|> <|im_start|>user 2<|im_end|> <|im_start|>assistant ``` ## 📖 Qwen3-30B-A3B-2507-Tutorials ausführen Nachfolgend finden Sie Anleitungen für die [Nachdenken](#thinking-qwen3-30b-a3b-thinking-2507) und [Anweisung](#instruct-qwen3-30b-a3b-instruct-2507) Versionen des Modells. ### Instruct: Qwen3-30B-A3B-Instruct-2507 Da dies ein Non-Thinking-Modell ist, besteht keine Notwendigkeit, `thinking=False` und das Modell erzeugt keine ` ` Blöcke. #### ⚙️Best Practices Um eine optimale Leistung zu erzielen, empfiehlt Qwen die folgenden Einstellungen: * Wir empfehlen die Verwendung von `temperature=0.7, top_p=0.8, top_k=20 und min_p=0.0` `presence_penalty` zwischen 0 und 2, wenn das Framework dies unterstützt, um endlose Wiederholungen zu reduzieren. * **`temperature = 0.7`** * `top_k = 20` * `min_p = 0.00` (llama.cpps Standardwert ist 0.1) * **`top_p = 0.80`** * `presence_penalty = 0.0 bis 2.0` (Der Standardwert von llama.cpp schaltet es aus, aber um Wiederholungen zu reduzieren, können Sie dies verwenden) Probieren Sie zum Beispiel 1.0 aus. * Unterstützt nativ bis zu `262,144` Kontext, aber Sie können es auf `32,768` Tokens für eine geringere RAM-Nutzung #### 🦙 Ollama: Qwen3-30B-A3B-Instruct-2507-Tutorial ausführen 1. Installieren `ollama` falls du es noch nicht getan hast! Du kannst nur Modelle bis zu einer Größe von 32B ausführen. ```bash apt-get update apt-get install pciutils -y curl -fsSL https://ollama.com/install.sh | sh ``` 2. Führen Sie das Modell aus! Beachten Sie, dass Sie `ollama serve`in einem anderen Terminal aufrufen können, falls es fehlschlägt! Wir enthalten alle unsere Korrekturen und empfohlenen Parameter (Temperatur usw.) in `params` in unserem Hugging-Face-Upload! ```bash ollama run hf.co/unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:UD-Q4_K_XL ``` #### :sparkles: Llama.cpp: Qwen3-30B-A3B-Instruct-2507-Tutorial ausführen 1. Holen Sie sich die neueste `llama.cpp` auf [hier auf GitHub](https://github.com/ggml-org/llama.cpp). Sie können auch die folgenden Build-Anweisungen befolgen. Ändern Sie `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. **Für Apple-Mac-/Metal-Geräte**, setzen Sie `-DGGML_CUDA=OFF` und fahren Sie dann wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert. ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` 2. Du kannst direkt von HuggingFace ziehen über: ```bash ./llama.cpp/llama-cli \\ -hf unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:Q4_K_XL \ --jinja -ngl 99 --ctx-size 32768 \\ --temp 0.7 --min-p 0.0 --top-p 0.80 --top-k 20 --presence-penalty 1.0 ``` 3. Lade das Modell über (nach der Installation von `pip install huggingface_hub hf_transfer` ). Du kannst UD\_Q4\_K\_XL oder andere quantisierte Versionen wählen. ```python # !pip install huggingface_hub hf_transfer import os os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1" from huggingface_hub import snapshot_download snapshot_download( repo_id = "unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF", local_dir = "unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF", allow_patterns = ["*UD-Q4_K_XL*"], ) ``` ### Thinking: Qwen3-30B-A3B-Thinking-2507 Dieses Modell unterstützt nativ nur den Denkmodus und ein 256K-Kontextfenster. Die Standard-Chatvorlage fügt `` automatisch hinzu, sodass Sie im Output möglicherweise nur ein schließendes `` Tag sehen. #### ⚙️Best Practices Um eine optimale Leistung zu erzielen, empfiehlt Qwen die folgenden Einstellungen: * Wir empfehlen die Verwendung von `temperature=0.6, top_p=0.95, top_k=20 und min_p=0.0` `presence_penalty` zwischen 0 und 2, wenn das Framework dies unterstützt, um endlose Wiederholungen zu reduzieren. * **`temperature = 0.6`** * `top_k = 20` * `min_p = 0.00` (llama.cpps Standardwert ist 0.1) * **`top_p = 0.95`** * `presence_penalty = 0.0 bis 2.0` (Der Standardwert von llama.cpp schaltet es aus, aber um Wiederholungen zu reduzieren, können Sie dies verwenden) Probieren Sie zum Beispiel 1.0 aus. * Unterstützt nativ bis zu `262,144` Kontext, aber Sie können es auf `32,768` Tokens für eine geringere RAM-Nutzung #### 🦙 Ollama: Qwen3-30B-A3B-Instruct-2507-Tutorial ausführen 1. Installieren `ollama` falls du es noch nicht getan hast! Du kannst nur Modelle bis zu einer Größe von 32B ausführen. Um die vollständigen 235B-A22B-Modelle auszuführen, [sehen Sie hier](#run-qwen3-235b-a22b-instruct-2507). ```bash apt-get update apt-get install pciutils -y curl -fsSL https://ollama.com/install.sh | sh ``` 2. Führen Sie das Modell aus! Beachten Sie, dass Sie `ollama serve`in einem anderen Terminal aufrufen können, falls es fehlschlägt! Wir enthalten alle unsere Korrekturen und empfohlenen Parameter (Temperatur usw.) in `params` in unserem Hugging-Face-Upload! ```bash ollama run hf.co/unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF:UD-Q4_K_XL ``` #### :sparkles: Llama.cpp: Qwen3-30B-A3B-Instruct-2507-Tutorial ausführen 1. Holen Sie sich die neueste `llama.cpp` auf [hier auf GitHub](https://github.com/ggml-org/llama.cpp). Sie können auch die folgenden Build-Anweisungen befolgen. Ändern Sie `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. **Für Apple-Mac-/Metal-Geräte**, setzen Sie `-DGGML_CUDA=OFF` und fahren Sie dann wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert. ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` 2. Sie können direkt von Hugging Face abrufen über: ```bash ./llama.cpp/llama-cli \\ -hf unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF:Q4_K_XL \ --jinja -ngl 99 --ctx-size 32768 \\ --temp 0.6 --min-p 0.0 --top-p 0.95 --top-k 20 --presence-penalty 1.0 ``` 3. Lade das Modell über (nach der Installation von `pip install huggingface_hub hf_transfer` ). Du kannst UD\_Q4\_K\_XL oder andere quantisierte Versionen wählen. ```python # !pip install huggingface_hub hf_transfer import os os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1" from huggingface_hub import snapshot_download snapshot_download( repo_id = "unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF", local_dir = "unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF", allow_patterns = ["*UD-Q4_K_XL*"], ) ``` ## 📖 Ausführen **Qwen3-235B-A22B-2507** Tutorials Nachfolgend finden Sie Anleitungen für die [Nachdenken](#run-qwen3-235b-a22b-thinking-via-llama.cpp) und [Anweisung](#run-qwen3-235b-a22b-instruct-via-llama.cpp) Versionen des Modells. ### Thinking: Qwen3-**235B-A22B**-Thinking-2507 Dieses Modell unterstützt nativ nur den Denkmodus und ein 256K-Kontextfenster. Die Standard-Chatvorlage fügt `` automatisch hinzu, sodass Sie im Output möglicherweise nur ein schließendes `` Tag sehen. #### :gear: Bewährte Verfahren Für optimale Leistung empfiehlt Qwen für das Thinking-Modell diese Einstellungen: * **`temperature = 0.6`** * `top_k = 20` * `min_p = 0.00` (llama.cpps Standardwert ist 0.1) * `top_p = 0.95` * `presence_penalty = 0.0 bis 2.0` (Der Standardwert von llama.cpp schaltet es aus, aber um Wiederholungen zu reduzieren, können Sie dies verwenden) Probieren Sie zum Beispiel 1.0 aus. * **Ausreichende Ausgabelänge**: Verwenden Sie eine Ausgabelänge von `32,768` Tokens für die meisten Anfragen, was für die meisten Anfragen ausreichend ist. #### :sparkles:Qwen3-235B-A22B-Thinking via llama.cpp ausführen: Für Qwen3-235B-A22B verwenden wir speziell Llama.cpp für optimierte Inferenz und eine Vielzahl von Optionen. {% hint style="success" %} Wenn Sie eine **vollständige unquantisierte Version in voller Präzision**, verwenden Sie unsere `Q8_K_XL, Q8_0` oder `BF16` Versionen! {% endhint %} 1. Holen Sie sich die neueste `llama.cpp` auf [hier auf GitHub](https://github.com/ggml-org/llama.cpp). Sie können auch die folgenden Build-Anweisungen befolgen. Ändern Sie `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. **Für Apple-Mac-/Metal-Geräte**, setzen Sie `-DGGML_CUDA=OFF` und fahren Sie dann wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert. ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` 2. Sie können llama.cpp direkt verwenden, um das Modell herunterzuladen, aber ich empfehle normalerweise `huggingface_hub` Um llama.cpp direkt zu verwenden, gehen Sie so vor: ```bash ./llama.cpp/llama-cli \\ -hf unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF:Q2_K_XL \ --ctx-size 16384 \\ --n-gpu-layers 99 \\ -ot ".ffn_.*_exps.=CPU" \\ --temp 0.6 \ --min-p 0.0 \\ --top-p 0.95 \\ --top-k 20 \\ --presence-penalty 1.0 ``` 3. Lade das Modell über (nach der Installation von `pip install huggingface_hub hf_transfer` ). Ihr könnt UD-Q2\_K\_XL oder andere quantisierte Versionen wählen.. ```python # !pip install huggingface_hub hf_transfer import os os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0" # Kann manchmal zu Rate-Limits führen, daher auf 0 setzen, um zu deaktivieren from huggingface_hub import snapshot_download snapshot_download( repo_id = "unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF", local_dir = "unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF", allow_patterns = ["*UD-Q2_K_XL*"], ) ``` 4. Führe das Modell aus und probiere einen Prompt aus. 5. Bearbeiten `--threads -1` für die Anzahl der CPU-Threads, `--ctx-size` 262114 für die Kontextlänge, `--n-gpu-layers 99` für GPU-Offloading auf wie viele Layer. Versuche, ihn anzupassen, wenn deiner GPU der Speicher ausgeht. Entferne ihn auch, wenn du nur CPU-Inferenz hast. {% hint style="success" %} Verwenden Sie `-ot ".ffn_.*_exps.=CPU"` um alle MoE-Layer auf die CPU auszulagern! Dadurch können Sie effektiv alle Nicht-MoE-Layer auf 1 GPU unterbringen, was die Generierungsgeschwindigkeit verbessert. Sie können den Regex-Ausdruck anpassen, um mehr Layer unterzubringen, wenn Sie mehr GPU-Kapazität haben. {% endhint %} {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \\ --model unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF/UD-Q2_K_XL/Qwen3-235B-A22B-Thinking-2507-UD-Q2_K_XL-00001-of-00002.gguf \ --ctx-size 16384 \\ --n-gpu-layers 99 \\ -ot ".ffn_.*_exps.=CPU" \\ --seed 3407 \\ --temp 0.6 \ --min-p 0.0 \\ --top-p 0.95 \\ --top-k 20 --presence-penalty 1.0 ``` {% endcode %} ### Instruct: Qwen3-**235B-A22B**-Instruct-2507 Da dies ein Non-Thinking-Modell ist, besteht keine Notwendigkeit, `thinking=False` und das Modell erzeugt keine ` ` Blöcke. #### ⚙️Best Practices Für optimale Leistung empfehlen wir die folgenden Einstellungen: **1. Sampling-Parameter**: Wir empfehlen die Verwendung von `temperature=0.7, top_p=0.8, top_k=20 und min_p=0.` `presence_penalty` zwischen 0 und 2, wenn das Framework dies unterstützt, um endlose Wiederholungen zu reduzieren. 2\. **Ausreichende Ausgabelänge**: Wir empfehlen eine Ausgabelänge von `16,384` Tokens für die meisten Anfragen, was für Instruct-Modelle ausreichend ist. 3\. **Ausgabeformat standardisieren:** Wir empfehlen, Prompts zu verwenden, um die Modellausgaben beim Benchmarking zu standardisieren. * **Mathematikaufgaben**: Füge `Bitte denke Schritt für Schritt nach und setze deine endgültige Antwort in \boxed{}.` in den Prompt ein. * **Multiple-Choice-Fragen**: Füge die folgende JSON-Struktur dem Prompt hinzu, um Antworten zu standardisieren: "Bitte zeige deine Wahl im \`answer\`-Feld nur mit dem Buchstaben der Wahl an, z. B. \`\\"answer\\": \\"C\\". #### :sparkles:Qwen3-235B-A22B-Instruct via llama.cpp ausführen: Für Qwen3-235B-A22B verwenden wir speziell Llama.cpp für optimierte Inferenz und eine Vielzahl von Optionen. {% hint style="info" %} Wenn Sie eine **vollständige unquantisierte Version in voller Präzision**, verwenden Sie unsere `Q8_K_XL, Q8_0` oder `BF16` Versionen! {% endhint %} 1. Beschaffe die neueste llama.cpp auf [GitHub](https://github.com/ggml-org/llama.cpp) hier. Du kannst auch den folgenden Build-Anweisungen folgen. Ändere `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. **Für Apple-Mac-/Metal-Geräte**, setzen Sie `-DGGML_CUDA=OFF` und fahren Sie dann wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert. ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` 2\. Du kannst llama.cpp direkt verwenden, um das Modell herunterzuladen, aber ich empfehle normalerweise die Verwendung von `huggingface_hub` Um llama.cpp direkt zu verwenden, mache Folgendes:\\ ```bash ./llama.cpp/llama-cli \\ -hf unsloth/Qwen3-235B-A22B-Instruct-2507-GGUF:Q2_K_XL \ --ctx-size 16384 \\ --n-gpu-layers 99 \\ -ot ".ffn_.*_exps.=CPU" \\ --temp 0.7 \ --min-p 0.0 \\ --top-p 0.8 \\ --top-k 20 \\ --repeat-penalty 1.0 ``` 3\. Lade das Modell über herunter (nach der Installation von `pip install huggingface_hub hf_transfer` ). Ihr könnt UD-Q2\_K\_XL oder andere quantisierte Versionen wählen.. ```python # !pip install huggingface_hub hf_transfer import os os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0" # Kann manchmal zu Rate-Limits führen, daher auf 0 setzen, um zu deaktivieren from huggingface_hub import snapshot_download snapshot_download( repo_id = "unsloth/Qwen3-235B-A22B-Instruct-2507-GGUF", local_dir = "unsloth/Qwen3-235B-A22B-Instruct-2507-GGUF", allow_patterns = ["*UD-Q2_K_XL*"], ) ``` 4\. Führe das Modell aus und probiere einen beliebigen Prompt aus. 5. Bearbeite `--threads -1` für die Anzahl der CPU-Threads, `--ctx-size` 262114 für die Kontextlänge, `--n-gpu-layers 99` für GPU-Offloading auf wie viele Layer. Versuche, ihn anzupassen, wenn deiner GPU der Speicher ausgeht. Entferne ihn auch, wenn du nur CPU-Inferenz hast. {% hint style="success" %} Verwenden Sie `-ot ".ffn_.*_exps.=CPU"` um alle MoE-Layer auf die CPU auszulagern! Dadurch können Sie effektiv alle Nicht-MoE-Layer auf 1 GPU unterbringen, was die Generierungsgeschwindigkeit verbessert. Sie können den Regex-Ausdruck anpassen, um mehr Layer unterzubringen, wenn Sie mehr GPU-Kapazität haben. {% endhint %} {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \\ --model unsloth/Qwen3-235B-A22B-Instruct-2507-GGUF/UD-Q2_K_XL/Qwen3-235B-A22B-Instruct-2507-UD-Q2_K_XL-00001-of-00002.gguf \ --ctx-size 16384 \\ --n-gpu-layers 99 \\ -ot ".ffn_.*_exps.=CPU" \\ --temp 0.7 \ --min-p 0.0 \\ --top-p 0.8 \\ --top-k 20 ``` {% endcode %} ### 🛠️ Verbesserung der Generierungsgeschwindigkeit Wenn Sie mehr VRAM haben, können Sie versuchen, mehr MoE-Layer oder ganze Layer selbst auszulagern. Normalerweise `-ot ".ffn_.*_exps.=CPU"` lagert alle MoE-Layer auf die CPU aus! Dadurch können Sie effektiv alle Nicht-MoE-Layer auf 1 GPU unterbringen, was die Generierungsgeschwindigkeit verbessert. Sie können den Regex-Ausdruck anpassen, um mehr Layer unterzubringen, wenn Sie mehr GPU-Kapazität haben. Wenn Sie etwas mehr GPU-Speicher haben, versuchen Sie `-ot ".ffn_(up|down)_exps.=CPU"` Dadurch werden Up- und Down-Projektions-MoE-Layer ausgelagert. Versuchen Sie `-ot ".ffn_(up)_exps.=CPU"` wenn Sie noch mehr GPU-Speicher haben. Dadurch werden nur Up-Projektions-MoE-Layer ausgelagert. Sie können den Regex auch anpassen, zum Beispiel `-ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU"` bedeutet, Gate-, Up- und Down-MoE-Layer auszulagern, aber nur ab dem 6. Layer aufwärts. Der [neueste llama.cpp-Version](https://github.com/ggml-org/llama.cpp/pull/14363) führt außerdem den High-Throughput-Modus ein. Verwenden Sie `llama-parallel`. Lesen Sie mehr darüber [hier](https://github.com/ggml-org/llama.cpp/tree/master/examples/parallel). Sie können auch **den KV-Cache auf 4 Bit quantisieren** zum Beispiel, um die VRAM-/RAM-Bewegung zu reduzieren, was den Generierungsprozess ebenfalls beschleunigen kann. Der [nächste Abschnitt](#how-to-fit-long-context-256k-to-1m) spricht über die Quantisierung des KV-Caches. ### 📐Wie man langen Kontext unterbringt Um längeren Kontext unterzubringen, können Sie **KV-Cache-Quantisierung** verwenden, um die K- und V-Caches auf niedrigere Bits zu quantisieren. Dies kann auch die Generierungsgeschwindigkeit erhöhen, da weniger RAM-/VRAM-Datenbewegung nötig ist. Die erlaubten Optionen für die K-Quantisierung (Standard ist `f16`) sind die folgenden. `--cache-type-k f32, f16, bf16, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1` Sie sollten die `_1` Varianten für etwas höhere Genauigkeit verwenden, obwohl sie etwas langsamer ist. Zum Beispiel `q4_1, q5_1` Probieren Sie also `--cache-type-k q4_1` Sie können auch den V-Cache quantisieren, aber dafür müssen Sie **llama.cpp mit Flash-Attention-Unterstützung kompilieren** über `-DGGML_CUDA_FA_ALL_QUANTS=ON`, und `--flash-attn` um es zu aktivieren. Nach der Installation von Flash Attention können Sie dann `--cache-type-v q4_1` ## 🦥 Fine-Tuning von Qwen3-2507 mit Unsloth Unsloth macht [Qwen3](/docs/de/modelle/tutorials/qwen3-how-to-run-and-fine-tune.md#fine-tuning-qwen3-with-unsloth) und das Fine-Tuning von Qwen3-2507 2x schneller, verbraucht 70 % weniger VRAM und unterstützt 8x längere Kontextlängen. Da Qwen3-2507 nur in einer 30B-Variante veröffentlicht wurde, bedeutet das, dass du etwa eine 40GB-A100-GPU benötigst, um das Modell mit QLoRA (4-bit) feinabzustimmen. Für ein Notebook gilt: Da das Modell nicht auf Colabs kostenlose 16GB-GPUs passt, musst du eine 40GB A100 verwenden. Du kannst unser Conversational-Notebook verwenden, aber den Datensatz durch einen deiner Wahl ersetzen. Diesmal musst du dem Datensatz kein kombiniertes Reasoning hinzufügen, da das Modell kein Reasoning hat. * [Qwen3 (14B) Reasoning + Conversational-Notebook](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_\(14B\)-Reasoning-Conversational.ipynb) Wenn du eine alte Version von Unsloth hast und/oder lokal feinabstimmst, installiere die neueste Version von Unsloth: ```bash pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo ``` ### Fine-Tuning von Qwen3-2507-MOE-Modellen Die Fine-Tuning-Unterstützung umfasst MOE-Modelle: 30B-A3B und 235B-A22B. Qwen3-30B-A3B funktioniert mit Unsloth auf 30GB VRAM. Beim Fine-Tuning von MoEs ist es wahrscheinlich keine gute Idee, die Router-Schicht feinabzustimmen, daher haben wir sie standardmäßig deaktiviert. **Qwen3-2507-4B-Notebooks für:** [Nachdenken](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_\(4B\)-Thinking.ipynb) und [Anweisung](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_\(4B\)-Instruct.ipynb) Das 30B-A3B passt in 30GB VRAM, aber dir könnten RAM oder Speicherplatz fehlen, da das vollständige 16-Bit-Modell für das QLoRA-Fine-Tuning heruntergeladen und unterwegs in 4-Bit konvertiert werden muss. Das liegt an Problemen beim direkten Import von 4-Bit-BnB-MOE-Modellen. Das betrifft nur MOE-Modelle. {% hint style="warning" %} Wenn du die MOE-Modelle feinabstimmst, verwende bitte `FastModel` und nicht `FastLanguageModel` {% endhint %} ```python from unsloth import FastModel import torch model, tokenizer = FastModel.from_pretrained( model_name = "unsloth/Qwen3-30B-A3B-Instruct-2507", max_seq_length = 2048, # Wähle beliebig für langen Kontext! load_in_4bit = True, # 4 bit quantization to reduce memory load_in_8bit = False, # [NEU!] Etwas genauer, benötigt doppelt so viel Speicher full_finetuning = False, # [NEW!] We have full finetuning now! # token = "hf_...", # verwende einen, wenn du gesperrte Modelle nutzt ) ```
--- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/de/modelle/tutorials/qwen3-how-to-run-and-fine-tune/qwen3-2507.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.