> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/tutorials/qwen3-next.md). # Qwen3-Next: Leitfaden zum lokalen Ausführen Führe die lokalen Versionen Qwen3-Next-80B-A3B-Instruct und Thinking auf deinem Gerät aus! Qwen veröffentlichte Qwen3-Next im Sept. 2025, bei denen es sich um 80B-MoEs mit den Modellvarianten Thinking und Instruct von [Qwen3](/docs/de/modelle/tutorials/qwen3-how-to-run-and-fine-tune.md). Mit 256K Kontext wurde Qwen3-Next mit einer brandneuen Architektur (Hybrid aus MoEs & Gated DeltaNet + Gated Attention) entworfen, die speziell für schnelle Inferenz bei längeren Kontextlängen optimiert ist. Qwen3-Next hat eine 10-mal schnellere Inferenz als Qwen3-32B. Qwen3-Next Instruct ausführenQwen3-Next Thinking ausführen Qwen3-Next-80B-A3B Dynamische GGUFs: [**Anweisung**](https://huggingface.co/unsloth/Qwen3-Next-80B-A3B-Instruct-GGUF) **•** [**Nachdenken**](https://huggingface.co/unsloth/Qwen3-Next-80B-A3B-Thinking-GGUF) ### ⚙️ Gebrauchsanleitung {% hint style="success" %} NEU seit dem 6. Dez. 2025: Unsloth Qwen3-Next jetzt mit iMatrix aktualisiert, für verbesserte Leistung. Das Denkmodell verwendet `temperature = 0.6`, aber das Instruct-Modell verwendet `temperature = 0.7`\ Das Denkmodell verwendet `top_p = 0.95`, aber das Instruct-Modell verwendet `top_p = 0.8` {% endhint %} Um eine optimale Leistung zu erzielen, empfiehlt Qwen diese Einstellungen: | Instruct: | Thinking: | | -------------------------------------------------------------------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------------------- | | `Temperature = 0.7` | `Temperature = 0.6` | | `Min_P = 0.00` (llama.cpps Standardwert ist 0.1) | `Min_P = 0.00` (llama.cpps Standardwert ist 0.1) | | `Top_P = 0.80` | `Top_P = 0.95` | | `TopK = 20` | `TopK = 20` | | `presence_penalty = 0.0 bis 2.0` (Der Standardwert von llama.cpp schaltet es aus, aber um Wiederholungen zu reduzieren, können Sie dies verwenden) | `presence_penalty = 0.0 bis 2.0` (Der Standardwert von llama.cpp schaltet es aus, aber um Wiederholungen zu reduzieren, können Sie dies verwenden) | **Ausreichende Ausgabelänge**: Verwenden Sie eine Ausgabelänge von `32,768` Tokens für die meisten Anfragen für die Thinking-Variante und `16,384` für die Instruct-Variante. Bei Bedarf können Sie die maximale Ausgabegröße für das Denkmodell erhöhen. Chat-Vorlage für sowohl Thinking (Thinking hat ``) und Instruct ist unten: ``` <|im_start|>user Hey dort!<|im_end|> <|im_start|>assistant Was ist 1+1?<|im_end|> <|im_start|>user 2<|im_end|> <|im_start|>assistant ``` ## 📖 Qwen3-Next-Tutorials ausführen Nachfolgend finden Sie Anleitungen für die [Nachdenken](#thinking-qwen3-next-80b-a3b-thinking) und [Anweisung](#instruct-qwen3-next-80b-a3b-instruct) Versionen des Modells. ### Instruct: Qwen3-Next-80B-A3B-Instruct Da dies kein Denkmodell ist, erzeugt das Modell keine ` ` Blöcke. #### ⚙️Best Practices Um eine optimale Leistung zu erzielen, empfiehlt Qwen die folgenden Einstellungen: * Wir empfehlen die Verwendung von `temperature=0.7, top_p=0.8, top_k=20 und min_p=0.0` `presence_penalty` zwischen 0 und 2, wenn das Framework dies unterstützt, um endlose Wiederholungen zu reduzieren. * **`temperature = 0.7`** * `top_k = 20` * `min_p = 0.00` (llama.cpps Standardwert ist 0.1) * **`top_p = 0.80`** * `presence_penalty = 0.0 bis 2.0` (Der Standardwert von llama.cpp schaltet es aus, aber um Wiederholungen zu reduzieren, können Sie dies verwenden) Probieren Sie zum Beispiel 1.0 aus. * Unterstützt nativ bis zu `262,144` Kontext, aber Sie können es auf `32,768` Tokens für eine geringere RAM-Nutzung #### :sparkles: Llama.cpp: Qwen3-Next-80B-A3B-Instruct-Tutorial ausführen 1. Holen Sie sich die neueste `llama.cpp` auf [hier auf GitHub](https://github.com/ggml-org/llama.cpp). Sie können auch die folgenden Build-Anweisungen befolgen. Ändern Sie `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. **Für Apple-Mac-/Metal-Geräte**, setzen Sie `-DGGML_CUDA=OFF` und fahren Sie dann wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert. ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` 2. Du kannst direkt von HuggingFace ziehen über: ```bash ./llama.cpp/llama-cli \\ -hf unsloth/Qwen3-Next-80B-A3B-Instruct-GGUF:Q4_K_XL \\ --jinja -ngl 99 --ctx-size 32768 \\ --temp 0.7 --min-p 0.0 --top-p 0.80 --top-k 20 --presence-penalty 1.0 ``` 3. Lade das Modell über (nach der Installation von `pip install huggingface_hub hf_transfer` ). Sie können `UD_Q4_K_XL` oder anderen quantisierten Versionen. ```python # !pip install huggingface_hub hf_transfer import os os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1" from huggingface_hub import snapshot_download snapshot_download( repo_id = "unsloth/Qwen3-Next-80B-A3B-Instruct-GGUF", local_dir = "Qwen3-Next-80B-A3B-Instruct-GGUF", allow_patterns = ["*UD-Q4_K_XL*"], ) ``` ### Thinking: Qwen3-Next-80B-A3B-Thinking Dieses Modell unterstützt nativ nur den Denkmodus und ein 256K-Kontextfenster. Die Standard-Chatvorlage fügt `` automatisch hinzu, sodass Sie im Output möglicherweise nur ein schließendes `` Tag sehen. #### ⚙️Best Practices Um eine optimale Leistung zu erzielen, empfiehlt Qwen die folgenden Einstellungen: * Wir empfehlen die Verwendung von `temperature=0.6, top_p=0.95, top_k=20 und min_p=0.0` `presence_penalty` zwischen 0 und 2, wenn das Framework dies unterstützt, um endlose Wiederholungen zu reduzieren. * **`temperature = 0.6`** * `top_k = 20` * `min_p = 0.00` (llama.cpps Standardwert ist 0.1) * **`top_p = 0.95`** * `presence_penalty = 0.0 bis 2.0` (Der Standardwert von llama.cpp schaltet es aus, aber um Wiederholungen zu reduzieren, können Sie dies verwenden) Probieren Sie zum Beispiel 1.0 aus. * Unterstützt nativ bis zu `262,144` Kontext, aber Sie können es auf `32,768` Tokens für eine geringere RAM-Nutzung #### :sparkles: Llama.cpp: Qwen3-Next-80B-A3B-Thinking-Tutorial ausführen 1. Holen Sie sich die neueste `llama.cpp` auf [hier auf GitHub](https://github.com/ggml-org/llama.cpp). Sie können auch die folgenden Build-Anweisungen befolgen. Ändern Sie `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` 2. Sie können direkt von Hugging Face abrufen über: ```bash ./llama.cpp/llama-cli \\ -hf unsloth/Qwen3-Next-80B-A3B-Thinking-GGUF:Q4_K_XL \\ --jinja -ngl 99 --ctx-size 32768 \\ --temp 0.6 --min-p 0.0 --top-p 0.95 --top-k 20 --presence-penalty 1.0 ``` 3. Lade das Modell über (nach der Installation von `pip install huggingface_hub hf_transfer` ). Sie können `UD_Q4_K_XL` oder anderen quantisierten Versionen. ```python # !pip install huggingface_hub hf_transfer import os os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1" from huggingface_hub import snapshot_download snapshot_download( repo_id = "unsloth/Qwen3-Next-80B-A3B-Thinking-GGUF", local_dir = "Qwen3-Next-80B-A3B-Thinking-GGUF", allow_patterns = ["*UD-Q4_K_XL*"], ) ``` ### 🛠️ Verbesserung der Generierungsgeschwindigkeit Wenn Sie mehr VRAM haben, können Sie versuchen, mehr MoE-Layer oder ganze Layer selbst auszulagern. Normalerweise `-ot ".ffn_.*_exps.=CPU"` lagert alle MoE-Layer auf die CPU aus! Dadurch können Sie effektiv alle Nicht-MoE-Layer auf 1 GPU unterbringen, was die Generierungsgeschwindigkeit verbessert. Sie können den Regex-Ausdruck anpassen, um mehr Layer unterzubringen, wenn Sie mehr GPU-Kapazität haben. Wenn Sie etwas mehr GPU-Speicher haben, versuchen Sie `-ot ".ffn_(up|down)_exps.=CPU"` Dadurch werden Up- und Down-Projektions-MoE-Layer ausgelagert. Versuchen Sie `-ot ".ffn_(up)_exps.=CPU"` wenn Sie noch mehr GPU-Speicher haben. Dadurch werden nur Up-Projektions-MoE-Layer ausgelagert. Sie können den Regex auch anpassen, zum Beispiel `-ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU"` bedeutet, Gate-, Up- und Down-MoE-Layer auszulagern, aber nur ab dem 6. Layer aufwärts. Der [neueste llama.cpp-Version](https://github.com/ggml-org/llama.cpp/pull/14363) führt außerdem den High-Throughput-Modus ein. Verwenden Sie `llama-parallel`. Lesen Sie mehr darüber [hier](https://github.com/ggml-org/llama.cpp/tree/master/examples/parallel). Sie können auch **den KV-Cache auf 4 Bit quantisieren** zum Beispiel, um die VRAM-/RAM-Bewegung zu reduzieren, was den Generierungsprozess ebenfalls beschleunigen kann. Der [nächste Abschnitt](#how-to-fit-long-context-256k-to-1m) spricht über die Quantisierung des KV-Caches. ### 📐Wie man langen Kontext unterbringt Um längeren Kontext unterzubringen, können Sie **KV-Cache-Quantisierung** verwenden, um die K- und V-Caches auf niedrigere Bits zu quantisieren. Dies kann auch die Generierungsgeschwindigkeit erhöhen, da weniger RAM-/VRAM-Datenbewegung nötig ist. Die erlaubten Optionen für die K-Quantisierung (Standard ist `f16`) sind die folgenden. `--cache-type-k f32, f16, bf16, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1` Sie sollten die `_1` Varianten für etwas höhere Genauigkeit verwenden, obwohl sie etwas langsamer ist. Zum Beispiel `q4_1, q5_1` Probieren Sie also `--cache-type-k q4_1` Sie können auch den V-Cache quantisieren, aber dafür müssen Sie **llama.cpp mit Flash-Attention-Unterstützung kompilieren** über `-DGGML_CUDA_FA_ALL_QUANTS=ON`, und `--flash-attn` um es zu aktivieren. Nach der Installation von Flash Attention können Sie dann `--cache-type-v q4_1`
--- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/de/modelle/tutorials/qwen3-next.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.