> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/tutorials/qwen3-coder-how-to-run-locally.md). # Qwen3-Coder: Wie man lokal ausführt Führe Qwen3-Coder-30B-A3B-Instruct und 480B-A35B lokal mit Unsloth Dynamic Quants aus. Qwen3-Coder ist Qwens neue Serie von Coding-Agent-Modellen, verfügbar in 30B (**Qwen3-Coder-Flash**) und 480B Parametern. **Qwen3-480B-A35B-Instruct** erreicht SOTA-Coding-Performance und konkurriert mit Claude Sonnet-4, GPT-4.1 und [Kimi K2](/docs/de/modelle/tutorials/kimi-k2-thinking-how-to-run-locally.md), mit 61,8 % auf Aider Polygot und Unterstützung für einen Token-Kontext von 256K (erweiterbar auf 1M). Wir haben Qwen3-Coder außerdem mit nativem **1M Kontextlänge** veröffentlicht, erweitert durch YaRN und in Vollpräzision als 8-Bit- und 16-Bit-Versionen. [Unsloth](https://github.com/unslothai/unsloth) unterstützt jetzt auch Fine-Tuning und [RL](/docs/de/loslegen/reinforcement-learning-rl-guide.md) von Qwen3-Coder. {% hint style="success" %} [**AKTUALISIERUNG:** Wir haben das Tool-Calling für Qwen3-Coder behoben! ](#tool-calling-fixes)Ihr könnt Tool-Calling jetzt nahtlos in llama.cpp, Ollama, LMStudio, Open WebUI, Jan usw. verwenden. Dieses Problem war universell und betraf alle Uploads (nicht nur Unsloth), und wir haben unsere Korrekturen mit dem Qwen-Team besprochen! [Mehr lesen](#tool-calling-fixes) {% endhint %} 30B-A3B ausführen480B-A35B ausführen {% hint style="success" %} **Funktioniert** [**Unsloth Dynamic Quants**](/docs/de/grundlagen/dynamic-3.0-ggufs.md) **?** Ja, und sehr gut. In Tests von Drittanbietern auf dem Aider-Polyglot-Benchmark hat die **UD-Q4\_K\_XL (276GB)** dynamische Quantisierung fast den **vollen bf16 (960GB)** Qwen3-Coder-Modell erreicht und 60,9 % gegenüber 61,8 % erzielt. [Mehr Details hier.](https://huggingface.co/unsloth/Qwen3-Coder-480B-A35B-Instruct-GGUF/discussions/8) {% endhint %} #### **Qwen3 Coder - Unsloth Dynamic 2.0 GGUFs**: | Dynamic 2.0 GGUF (zum Ausführen) | 1M-Kontext Dynamic 2.0 GGUF | | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | | | ## 🖥️ **Qwen3-Coder ausführen** Nachfolgend finden Sie Anleitungen für die [**30B-A3B**](#run-qwen3-coder-30b-a3b-instruct) und [**480B-A35B**](#run-qwen3-coder-480b-a35b-instruct) Varianten des Modells. ### :gear: Empfohlene Einstellungen Qwen empfiehlt für beide Modelle diese Inferenz-Einstellungen: `temperature=0.7`, `top_p=0.8`, `top_k=20`, `repetition_penalty=1.05` * **Temperatur von 0,7** * Top\_K von 20 * Min\_P von 0,00 (optional, aber 0,01 funktioniert gut, der Standard von llama.cpp ist 0,1) * Top\_P von 0,8 * **Wiederholungsstrafe von 1,05** * Chat-Vorlage: ``` <|im_start|>user Hey dort!<|im_end|> <|im_start|>assistant Was ist 1+1?<|im_end|> <|im_start|>user 2<|im_end|> <|im_start|>assistant ``` * Empfohlene Kontextausgabe: 65.536 Token (kann erhöht werden). Details hier. **Chat-Vorlage/Prompt-Format mit nicht gerenderten Zeilenumbrüchen** {% code overflow="wrap" %} ``` <|im_start|>user\nHey there!<|im_end|>\n<|im_start|>assistant\nWhat is 1+1?<|im_end|>\n<|im_start|>user\n2<|im_end|>\n<|im_start|>assistant\n ``` {% endcode %} **Chat-Vorlage für Tool-Calling** (Die aktuelle Temperatur für San Francisco abrufen). Mehr Details hier zur Formatierung von Tool-Aufrufen. ``` <|im_start|>user Wie hoch ist die Temperatur in San Francisco jetzt? Und morgen?<|im_end|> <|im_start|>assistant \n\n\nSan Francisco, CA, USA \n\n<|im_end|> <|im_start|>user {"temperature": 26.1, "location": "San Francisco, CA, USA", "unit": "celsius"} \n<|im_end|> ``` {% hint style="info" %} Zur Erinnerung: Dieses Modell unterstützt nur den Non-Thinking-Modus und erzeugt keine `` Blöcke in seiner Ausgabe. Gleichzeitig ist die Angabe von `enable_thinking=False` nicht mehr erforderlich. {% endhint %} ### Qwen3-Coder-30B-A3B-Instruct ausführen: Um Inferenzgeschwindigkeiten von über 6 Tokens pro Sekunde für unsere dynamische 4-Bit-Quantisierung zu erreichen, sollten Sie mindestens **18 GB einheitlicher Speicher** (kombinierte VRAM und RAM) oder **18 GB Systemspeicher** allein. Als Faustregel sollte euer verfügbarer Speicher der Größe des verwendeten Modells entsprechen oder sie übersteigen. Z. B. erfordert die UD\_Q8\_K\_XL-Quantisierung (volle Präzision) mit 32,5 GB mindestens **33 GB einheitlicher Speicher** (VRAM + RAM) oder **33 GB RAM** für optimale Leistung. **HINWEIS:** Das Modell kann mit weniger Speicher als seiner Gesamtgröße ausgeführt werden, aber das verlangsamt die Inferenz. Maximaler Speicher wird nur für die schnellsten Geschwindigkeiten benötigt. Da dies ein Non-Thinking-Modell ist, besteht keine Notwendigkeit, `thinking=False` und das Modell erzeugt keine ` ` Blöcke. {% hint style="info" %} Befolgen Sie die [**oben genannten Best Practices**](#recommended-settings). Sie sind dieselben wie beim 480B-Modell. {% endhint %} #### 🦙 Ollama: Anleitung zum Ausführen von Qwen3-Coder-30B-A3B-Instruct 1. Installieren `ollama` falls du es noch nicht getan hast! Du kannst nur Modelle bis zu einer Größe von 32B ausführen. ```bash apt-get update apt-get install pciutils -y curl -fsSL https://ollama.com/install.sh | sh ``` 2. Führen Sie das Modell aus! Beachten Sie, dass Sie `ollama serve`in einem anderen Terminal aufrufen können, falls es fehlschlägt! Wir enthalten alle unsere Korrekturen und empfohlenen Parameter (Temperatur usw.) in `params` in unserem Hugging-Face-Upload! ```bash ollama run hf.co/unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:UD-Q4_K_XL ``` #### :sparkles: Llama.cpp: Anleitung zum Ausführen von Qwen3-Coder-30B-A3B-Instruct 1. Holen Sie sich die neueste `llama.cpp` auf [hier auf GitHub](https://github.com/ggml-org/llama.cpp). Sie können auch die folgenden Build-Anweisungen befolgen. Ändern Sie `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. **Für Apple-Mac-/Metal-Geräte**, setzen Sie `-DGGML_CUDA=OFF` und fahren Sie dann wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert. ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` 2. Du kannst direkt von HuggingFace ziehen über: ```bash ./llama.cpp/llama-cli \\ -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q4_K_XL \\ --jinja -ngl 99 --ctx-size 32768 \\ --temp 0.7 --min-p 0.0 --top-p 0.80 --top-k 20 --repeat-penalty 1.05 ``` 3. Lade das Modell über (nach der Installation von `pip install huggingface_hub hf_transfer` ). Ihr könnt UD\_Q4\_K\_XL oder andere quantisierte Versionen wählen. Falls Downloads hängen bleiben, siehe [Hugging Face Hub, XET-Debugging](/docs/de/grundlagen/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) ```python # !pip install huggingface_hub hf_transfer import os os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1" from huggingface_hub import snapshot_download snapshot_download( repo_id = "unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF", local_dir = "unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF", allow_patterns = ["*UD-Q4_K_XL*"], ) ``` ### Qwen3-Coder-480B-A35B-Instruct ausführen: Um Inferenzgeschwindigkeiten von über 6 Tokens pro Sekunde für unsere 1-Bit-Quantisierung zu erreichen, empfehlen wir mindestens **150 GB einheitlicher Speicher** (kombinierte VRAM und RAM) oder **150 GB Systemspeicher** allein. Als Faustregel sollte euer verfügbarer Speicher der Größe des verwendeten Modells entsprechen oder sie übersteigen. Z. B. erfordert die Q2\_K\_XL-Quantisierung mit 180 GB mindestens **180GB einheitlichen Speicher** (VRAM + RAM) oder **180GB RAM** für optimale Leistung. **HINWEIS:** Das Modell kann mit weniger Speicher als seiner Gesamtgröße ausgeführt werden, aber das verlangsamt die Inferenz. Maximaler Speicher wird nur für die schnellsten Geschwindigkeiten benötigt. {% hint style="info" %} Befolgen Sie die [**oben genannten Best Practices**](#recommended-settings). Sie sind dieselben wie beim 30B-Modell. {% endhint %} #### 📖 Llama.cpp: Anleitung zum Ausführen von Qwen3-Coder-480B-A35B-Instruct Für Coder-480B-A35B werden wir speziell Llama.cpp für optimierte Inferenz und eine Vielzahl von Optionen verwenden. {% hint style="success" %} Wenn Sie eine **vollständige unquantisierte Version in voller Präzision**, verwenden Sie unsere `Q8_K_XL, Q8_0` oder `BF16` Versionen! {% endhint %} 1. Holen Sie sich die neueste `llama.cpp` auf [hier auf GitHub](https://github.com/ggml-org/llama.cpp). Sie können auch die folgenden Build-Anweisungen befolgen. Ändern Sie `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` 2. Sie können llama.cpp direkt verwenden, um das Modell herunterzuladen, aber ich empfehle normalerweise `huggingface_hub` Um llama.cpp direkt zu verwenden, gehen Sie so vor: ```bash ./llama.cpp/llama-cli \\ -hf unsloth/Qwen3-Coder-480B-A35B-Instruct-GGUF:Q2_K_XL \\ --ctx-size 16384 \\ --n-gpu-layers 99 \\ -ot ".ffn_.*_exps.=CPU" \\ --temp 0.7 \ --min-p 0.0 \\ --top-p 0.8 \\ --top-k 20 \\ --repeat-penalty 1.05 ``` 3. Oder laden Sie das Modell über (nach der Installation von `pip install huggingface_hub hf_transfer` ). Ihr könnt UD-Q2\_K\_XL oder andere quantisierte Versionen wählen.. ```python # !pip install huggingface_hub hf_transfer import os os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0" # Kann manchmal zu Rate-Limits führen, daher auf 0 setzen, um zu deaktivieren from huggingface_hub import snapshot_download snapshot_download( repo_id = "unsloth/Qwen3-Coder-480B-A35B-Instruct-GGUF", local_dir = "unsloth/Qwen3-Coder-480B-A35B-Instruct-GGUF", allow_patterns = ["*UD-Q2_K_XL*"], ) ``` 4. Führen Sie das Modell im Konversationsmodus aus und probieren Sie irgendeine Eingabeaufforderung aus. 5. Bearbeiten `--threads -1` für die Anzahl der CPU-Threads, `--ctx-size` 262114 für die Kontextlänge, `--n-gpu-layers 99` für GPU-Offloading auf wie viele Layer. Versuche, ihn anzupassen, wenn deiner GPU der Speicher ausgeht. Entferne ihn auch, wenn du nur CPU-Inferenz hast. {% hint style="success" %} Verwenden Sie `-ot ".ffn_.*_exps.=CPU"` um alle MoE-Schichten auf die CPU auszulagern! Dadurch können Sie effektiv alle Nicht-MoE-Schichten auf 1 GPU unterbringen und die Generierungsgeschwindigkeit verbessern. Sie können den Regex-Ausdruck anpassen, um mehr Schichten auszulagern, wenn Sie mehr GPU-Kapazität haben. Weitere Optionen werden [hier](#improving-generation-speed). {% endhint %} {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \\ --model unsloth/Qwen3-Coder-480B-A35B-Instruct-GGUF/UD-Q2_K_XL/Qwen3-Coder-480B-A35B-Instruct-UD-Q2_K_XL-00001-of-00004.gguf \\ --ctx-size 16384 \\ --n-gpu-layers 99 \\ -ot ".ffn_.*_exps.=CPU" \\ --temp 0.7 \ --min-p 0.0 \\ --top-p 0.8 \\ --top-k 20 \\ --repeat-penalty 1.05 ``` {% endcode %} {% hint style="success" %} Vergesst auch das neue Qwen3-Update nicht. Führt [**Qwen3-235B-A22B-Instruct-2507**](/docs/de/modelle/tutorials/qwen3-next.md) lokal mit llama.cpp aus. {% endhint %} #### :tools: Die Generierungsgeschwindigkeit verbessern Wenn Sie mehr VRAM haben, können Sie versuchen, mehr MoE-Layer oder ganze Layer selbst auszulagern. Normalerweise `-ot ".ffn_.*_exps.=CPU"` lagert alle MoE-Layer auf die CPU aus! Dadurch können Sie effektiv alle Nicht-MoE-Layer auf 1 GPU unterbringen, was die Generierungsgeschwindigkeit verbessert. Sie können den Regex-Ausdruck anpassen, um mehr Layer unterzubringen, wenn Sie mehr GPU-Kapazität haben. Wenn Sie etwas mehr GPU-Speicher haben, versuchen Sie `-ot ".ffn_(up|down)_exps.=CPU"` Dadurch werden Up- und Down-Projektions-MoE-Layer ausgelagert. Versuchen Sie `-ot ".ffn_(up)_exps.=CPU"` wenn Sie noch mehr GPU-Speicher haben. Dadurch werden nur Up-Projektions-MoE-Layer ausgelagert. Sie können den Regex auch anpassen, zum Beispiel `-ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU"` bedeutet, Gate-, Up- und Down-MoE-Layer auszulagern, aber nur ab dem 6. Layer aufwärts. Der [neueste llama.cpp-Version](https://github.com/ggml-org/llama.cpp/pull/14363) führt außerdem den High-Throughput-Modus ein. Verwenden Sie `llama-parallel`. Lesen Sie mehr darüber [hier](https://github.com/ggml-org/llama.cpp/tree/master/examples/parallel). Sie können auch **den KV-Cache auf 4 Bit quantisieren** zum Beispiel, um VRAM-/RAM-Bewegungen zu reduzieren, was den Generierungsprozess ebenfalls beschleunigen kann. #### :triangular\_ruler:Wie man langen Kontext unterbringt (256K bis 1M) Um längeren Kontext unterzubringen, können Sie **KV-Cache-Quantisierung** verwenden, um die K- und V-Caches auf niedrigere Bits zu quantisieren. Dies kann auch die Generierungsgeschwindigkeit erhöhen, da weniger RAM-/VRAM-Datenbewegung nötig ist. Die erlaubten Optionen für die K-Quantisierung (Standard ist `f16`) sind die folgenden. `--cache-type-k f32, f16, bf16, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1` Sie sollten die `_1` Varianten für etwas höhere Genauigkeit verwenden, obwohl sie etwas langsamer ist. Zum Beispiel `q4_1, q5_1` Sie können auch den V-Cache quantisieren, aber dafür müssen Sie **llama.cpp mit Flash-Attention-Unterstützung kompilieren** über `-DGGML_CUDA_FA_ALL_QUANTS=ON`, und `--flash-attn` um es zu aktivieren. Wir haben außerdem GGUFs mit einer Kontextlänge von 1 Million über YaRN-Skalierung hochgeladen [hier](https://huggingface.co/unsloth/Qwen3-Coder-480B-A35B-Instruct-1M-GGUF). ## :toolbox: Behebungen für Tool-Calling Wir haben es geschafft, Tool-Calling zu beheben mit `llama.cpp --jinja` speziell für die Bereitstellung über `llama-server`! Wenn ihr unsere 30B-A3B-Quants herunterladet, müsst ihr euch keine Sorgen machen, da diese unsere Korrekturen bereits enthalten. Für das 480B-A35B-Modell bitte: 1. Ladet die erste Datei unter für UD-Q2\_K\_XL herunter und ersetzt eure aktuelle Datei 2. Verwenden Sie `snapshot_download` wie üblich wie in , wodurch die alten Dateien automatisch überschrieben werden 3. Verwendet die neue Chat-Vorlage über `--chat-template-file`. Siehe [GGUF-Chat-Vorlage](https://huggingface.co/unsloth/Qwen3-Coder-480B-A35B-Instruct-GGUF?chat_template=default) oder [chat\_template.jinja](https://huggingface.co/unsloth/Qwen3-Coder-480B-A35B-Instruct/raw/main/chat_template.jinja) 4. Zusätzlich haben wir auch eine einzelne 150-GB-UD-IQ1\_M-Datei erstellt (damit Ollama funktioniert) unter Das sollte Probleme wie dieses beheben: ### Tool-Calling verwenden Um die Prompts für Tool-Calling zu formatieren, zeigen wir das an einem Beispiel. Ich habe eine Python-Funktion namens `get_current_temperature` die eine Funktion ist, die die aktuelle Temperatur für einen Ort abrufen sollte. Vorerst haben wir eine Platzhalterfunktion erstellt, die immer 21,6 Grad Celsius zurückgibt. Ihr solltet dies in eine echte Funktion ändern!! {% code overflow="wrap" %} ```python def get_current_temperature(location: str, unit: str = "celsius"): """Aktuelle Temperatur an einem Ort abrufen. Argumente: location: Der Ort, für den die Temperatur abgerufen werden soll, im Format "Stadt, Bundesstaat, Land". unit: Die Einheit, in der die Temperatur zurückgegeben werden soll. Standard ist "celsius". (Auswahl: ["celsius", "fahrenheit"])","t_e8f0ffdb":"die Temperatur, den Ort und die Einheit in einem Dict","t_d8224bd6":"return {","t_9147ea1e":"\"temperature\": 26.1, # VORKONFIGURIERT -> ihr ändert das!","t_6c77d3f3":"\"location\": location,","t_85549e6b":"\"unit\": unit,","t_39ec0acc":"Dann verwendet den Tokenizer, um den gesamten Prompt zu erstellen:","t_5a5fe8d4":"tokenizer = AutoTokenizer.from_pretrained(\"unsloth/Qwen3-Coder-480B-A35B-Instruct\")","t_1a832995":"{'role': 'user', 'content': \"Wie hoch ist die Temperatur in San Francisco jetzt? Und morgen?\"},","t_29f23a1e":"{'content': \"\", 'role': 'assistant', 'function_call': None, 'tool_calls': [","t_97a343e8":"{'id': 'ID', 'function': {'arguments': {\"location\": \"San Francisco, CA, USA\"}, 'name': 'get_current_temperature'}, 'type': 'function'},","t_516de73f":"{'role': 'tool', 'content': '{\"temperature\": 26.1, \"location\": \"San Francisco, CA, USA\", \"unit\": \"celsius\"}', 'tool_call_id': 'ID'},","t_10e10c1c":"prompt = tokenizer.apply_chat_template(messages, tokenize = False)","t_26861c4c":"Leistungs-Benchmarks","t_4b3292d2":"Diese offiziellen Benchmarks gelten für den vollständigen BF16-Checkpoint. Um diesen zu verwenden, nutzt einfach die","t_06af7587":"Q8_K_XL, Q8_0, BF16","t_f07c4b8f":"Checkpoints, die wir hochgeladen haben – ihr könnt für diese Versionen ebenfalls weiterhin Tricks wie MoE-Offloading verwenden!","t_8290e54f":"Hier sind die Benchmarks für das 480B-Modell:","t_b73c2318":"Agentisches Codieren","t_d498aec5":"Qwen3‑Coder 480B‑A35B‑Instruct","t_a1a8dc1e":"Kimi‑K2","t_d1b21f85":"DeepSeek‑V3-0324","t_2f64b1a6":"Claude 4 Sonnet","t_51c868fd":"GPT‑4.1","t_b2218d9a":"Terminal‑Bench","t_a812a715":"SWE‑bench Verified mit OpenHands (500 Durchläufe)","t_78b4ef20":"SWE‑bench Verified mit OpenHands (100 Durchläufe)","t_131d01e6":"SWE‑bench Verified mit privatem Scaffolding","t_fa34e0e4":"SWE‑bench Live","t_1f76b46c":"SWE‑bench Mehrsprachig","t_9534b484":"Multi‑SWE‑bench mini","t_1b9d1a17":"Multi‑SWE‑bench flash","t_9473968f":"Aider‑Polyglot","t_7f7ed160":"Spider2","t_dd80f643":"Agentisches Browser-Nutzen","t_feb3b3b6":"DeepSeek‑V3 0324","t_90bfcc96":"Claude Sonnet‑4","t_ef377652":"WebArena","t_d47b920d":"Mind2Web","t_8c546c42":"Agentisches Tool-Nutzen","t_46da3fa1":"BFCL‑v3","t_5be05c20":"TAU‑Bench Einzelhandel","t_44a9a6ab":"TAU‑Bench Fluggesellschaft"} Gibt zurück: die Temperatur, den Ort und die Einheit in einem Dict """ return { "temperature": 26.1, # VORKONFIGURIERT -> ihr ändert das! "location": location, "unit": unit, } ``` {% endcode %} Dann verwendet den Tokenizer, um den gesamten Prompt zu erstellen: {% code overflow="wrap" %} ```python from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("unsloth/Qwen3-Coder-480B-A35B-Instruct") messages = [ {'role': 'user', 'content': "Wie hoch ist die Temperatur in San Francisco jetzt? Und morgen?"}, {'content': "", 'role': 'assistant', 'function_call': None, 'tool_calls': [ {'id': 'ID', 'function': {'arguments': {"location": "San Francisco, CA, USA"}, 'name': 'get_current_temperature'}, 'type': 'function'}, ]}, {'role': 'tool', 'content': '{"temperature": 26.1, "location": "San Francisco, CA, USA", "unit": "celsius"}', 'tool_call_id': 'ID'}, ] prompt = tokenizer.apply_chat_template(messages, tokenize = False) ``` {% endcode %} ## :bulb:Leistungs-Benchmarks {% hint style="info" %} Diese offiziellen Benchmarks gelten für den vollständigen BF16-Checkpoint. Um diesen zu verwenden, nutzt einfach die `Q8_K_XL, Q8_0, BF16` Checkpoints, die wir hochgeladen haben – ihr könnt für diese Versionen ebenfalls weiterhin Tricks wie MoE-Offloading verwenden! {% endhint %} Hier sind die Benchmarks für das 480B-Modell: #### Agentisches Codieren
BenchmarkQwen3‑Coder 480B‑A35B‑InstructKimi‑K2DeepSeek‑V3-0324Claude 4 SonnetGPT‑4.1
Terminal‑Bench37.530.02.535.525.3
SWE‑bench Verified mit OpenHands (500 Durchläufe)69.6––70.4–
SWE‑bench Verified mit OpenHands (100 Durchläufe)67.065.438.868.048.6
SWE‑bench Verified mit privatem Scaffolding–65.8–72.763.8
SWE‑bench Live26.322.313.027.7–
SWE‑bench Mehrsprachig54.747.313.053.331.5
Multi‑SWE‑bench mini25.819.87.524.8–
Multi‑SWE‑bench flash27.020.7–25.0–
Aider‑Polyglot61.860.056.956.452.4
Spider231.125.212.831.116.5
#### Agentisches Browser-Nutzen
BenchmarkQwen3‑Coder 480B‑A35B‑InstructKimi‑K2DeepSeek‑V3 0324Claude Sonnet‑4GPT‑4.1
WebArena49.947.440.051.144.3
Mind2Web55.842.736.047.449.6
#### Agentisches Tool-Nutzen
BenchmarkQwen3‑Coder 480B‑A35B‑InstructKimi‑K2DeepSeek‑V3 0324Claude Sonnet‑4GPT‑4.1
BFCL‑v368.765.256.973.362.9
TAU‑Bench Einzelhandel77.570.759.180.5–
TAU‑Bench Fluggesellschaft60.053.540.060.0–
--- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/de/modelle/tutorials/qwen3-coder-how-to-run-locally.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.