> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/fr/modeles/tutorials/qwen3-coder-how-to-run-locally.md). # Qwen3-Coder : comment l'exécuter localement Exécutez Qwen3-Coder-30B-A3B-Instruct et 480B-A35B localement avec les quants dynamiques d'Unsloth. Qwen3-Coder est la nouvelle série de modèles agents de codage de Qwen, disponible en 30B (**Qwen3-Coder-Flash**) et 480B de paramètres. **Qwen3-480B-A35B-Instruct** atteint des performances de pointe en codage, rivalisant avec Claude Sonnet-4, GPT-4.1, et [Kimi K2](/docs/fr/modeles/tutorials/kimi-k2-thinking-how-to-run-locally.md), avec 61,8 % sur Aider Polygot et la prise en charge d’un contexte de 256K (extensible à 1M) jetons. Nous avons également téléversé Qwen3-Coder avec une prise en charge native **une longueur de contexte de 1M** étendue par YaRN et des versions 8 bits et 16 bits en précision complète. [Unsloth](https://github.com/unslothai/unsloth) prend désormais également en charge le fine-tuning et [RL](/docs/fr/commencer/reinforcement-learning-rl-guide.md) de Qwen3-Coder. {% hint style="success" %} [**MISE À JOUR :** Nous avons corrigé l’appel d’outils pour Qwen3-Coder ! ](#tool-calling-fixes)Vous pouvez désormais utiliser l’appel d’outils de manière fluide dans llama.cpp, Ollama, LMStudio, Open WebUI, Jan, etc. Ce problème était universel et affectait tous les téléversements (pas seulement Unsloth), et nous avons communiqué nos correctifs à l’équipe Qwen ! [En savoir plus](#tool-calling-fixes) {% endhint %} Exécuter 30B-A3BExécuter 480B-A35B {% hint style="success" %} **Est-ce que** [**Quantifications dynamiques d’Unsloth**](/docs/fr/notions-de-base/dynamic-3.0-ggufs.md) **fonctionnent ?** Oui, et très bien. Lors de tests tiers sur le benchmark Aider Polyglot, la **UD-Q4\_K\_XL (276 Go)** quantification dynamique a presque égalé la **bf16 complet (960 Go)** du modèle Qwen3-coder, obtenant 60,9 % contre 61,8 %. [Plus de détails ici.](https://huggingface.co/unsloth/Qwen3-Coder-480B-A35B-Instruct-GGUF/discussions/8) {% endhint %} #### **Qwen3 Coder - GGUF dynamiques 2.0 d’Unsloth**: | Dynamic 2.0 GGUF (pour exécuter) | GGUF dynamique 2.0 avec contexte 1M | | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | | | ## 🖥️ **Exécution de Qwen3-Coder** Vous trouverez ci-dessous des guides pour les [**30B-A3B**](#run-qwen3-coder-30b-a3b-instruct) et [**480B-A35B**](#run-qwen3-coder-480b-a35b-instruct) variantes du modèle. ### :gear: Paramètres recommandés Qwen recommande ces paramètres d’inférence pour les deux modèles : `temperature=0.7`, `top_p=0.8`, `top_k=20`, `repetition_penalty=1.05` * **Température de 0,7** * Top\_K de 20 * Min\_P de 0,00 (facultatif, mais 0,01 fonctionne bien, la valeur par défaut de llama.cpp est 0,1) * Top\_P de 0,8 * **Pénalité de répétition de 1,05** * Modèle de conversation : ``` <|im_start|>user Salut !<|im_end|> <|im_start|>assistant Combien font 1+1 ?<|im_end|> <|im_start|>user 2<|im_end|> <|im_start|>assistant ``` * Contexte de sortie recommandé : 65 536 jetons (peut être augmenté). Détails ici. **Modèle de chat / format d’invite avec les retours à la ligne non rendus** {% code overflow="wrap" %} ``` <|im_start|>user\nSalut !<|im_end|>\n<|im_start|>assistant\nCombien font 1+1 ?<|im_end|>\n<|im_start|>user\n2<|im_end|>\n<|im_start|>assistant\n ``` {% endcode %} **Modèle de chat pour l’appel d’outils** (Obtention de la température actuelle pour San Francisco). Plus de détails ici sur la façon de formater les appels d’outils. ``` <|im_start|>user Quelle est la température à San Francisco maintenant ? Et demain ?<|im_end|> <|im_start|>assistant \n\n\nSan Francisco, CA, USA \n\n<|im_end|> <|im_start|>user {"temperature": 26.1, "location": "San Francisco, CA, USA", "unit": "celsius"} \n<|im_end|> ``` {% hint style="info" %} Rappel : ce modèle ne prend en charge que le mode sans réflexion et ne génère pas `` de blocs dans sa sortie. Par ailleurs, spécifier `enable_thinking=False` n’est plus nécessaire. {% endhint %} ### Exécuter Qwen3-Coder-30B-A3B-Instruct : Pour atteindre des vitesses d'inférence de plus de 6 jetons par seconde avec notre quantification dynamique 4 bits, disposez d'au moins **18 Go de mémoire unifiée** (VRAM et RAM combinées) ou **18 Go de RAM système** seuls. En règle générale, votre mémoire disponible doit être égale ou supérieure à la taille du modèle que vous utilisez. Par ex., la quantification UD\_Q8\_K\_XL (précision complète), qui fait 32,5 Go, nécessitera au moins **33 Go de mémoire unifiée** (VRAM + RAM) ou **33 Go de RAM** pour des performances optimales. **REMARQUE :** Le modèle peut fonctionner avec moins de mémoire que sa taille totale, mais cela ralentira l'inférence. La mémoire maximale n'est nécessaire que pour obtenir les vitesses les plus élevées. Étant donné qu’il s’agit d’un modèle sans raisonnement, il n’est pas nécessaire de définir `thinking=False` et le modèle ne génère pas ` ` de blocs. {% hint style="info" %} Suivez les [**bonnes pratiques ci-dessus**](#recommended-settings). Elles sont les mêmes que pour le modèle 480B. {% endhint %} #### 🦙 Ollama : Tutoriel pour exécuter Qwen3-Coder-30B-A3B-Instruct 1. Installez `ollama` si ce n’est pas déjà fait ! Vous ne pouvez exécuter que des modèles jusqu’à 32B. ```bash apt-get update apt-get install pciutils -y curl -fsSL https://ollama.com/install.sh | sh ``` 2. Exécutez le modèle ! Notez que vous pouvez appeler `ollama serve`dans un autre terminal si cela échoue ! Nous incluons toutes nos corrections et paramètres suggérés (température, etc.) dans `params` dans notre téléversement Hugging Face ! ```bash ollama run hf.co/unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:UD-Q4_K_XL ``` #### :sparkles: Llama.cpp : Tutoriel pour exécuter Qwen3-Coder-30B-A3B-Instruct 1. Obtenez la dernière version `llama.cpp` sur [GitHub ici](https://github.com/ggml-org/llama.cpp). Vous pouvez également suivre les instructions de compilation ci-dessous. Modifiez `-DGGML_CUDA=ON` à `-DGGML_CUDA=OFF` si vous n'avez pas de GPU ou si vous souhaitez simplement une inférence CPU. **Pour les appareils Apple Mac / Metal**, définissez `-DGGML_CUDA=OFF` puis continuez comme d'habitude - la prise en charge de Metal est activée par défaut. ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` 2. Vous pouvez directement récupérer depuis Hugging Face via : ```bash ./llama.cpp/llama-cli \ -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q4_K_XL \ --jinja -ngl 99 --ctx-size 32768 \ --temp 0.7 --min-p 0.0 --top-p 0.80 --top-k 20 --repeat-penalty 1.05 ``` 3. Téléchargez le modèle via (après avoir installé `pip install huggingface_hub hf_transfer` ). Vous pouvez choisir UD\_Q4\_K\_XL ou d’autres versions quantifiées. Si les téléchargements se bloquent, voir [Débogage de Hugging Face Hub et XET](/docs/fr/notions-de-base/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) ```python # !pip install huggingface_hub hf_transfer import os os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1" from huggingface_hub import snapshot_download snapshot_download( repo_id = "unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF", local_dir = "unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF", allow_patterns = ["*UD-Q4_K_XL*"], ) ``` ### Exécuter Qwen3-Coder-480B-A35B-Instruct : Pour atteindre des vitesses d'inférence de plus de 6 jetons par seconde avec notre quantification 1 bit, nous recommandons au moins **150 Go de mémoire unifiée** (VRAM et RAM combinées) ou **150 Go de RAM système** seuls. En règle générale, votre mémoire disponible doit être égale ou supérieure à la taille du modèle que vous utilisez. Par ex., la quantification Q2\_K\_XL, qui fait 180 Go, nécessitera au moins **180 Go de mémoire unifiée** (VRAM + RAM) ou **180 Go de RAM** pour des performances optimales. **REMARQUE :** Le modèle peut fonctionner avec moins de mémoire que sa taille totale, mais cela ralentira l'inférence. La mémoire maximale n'est nécessaire que pour obtenir les vitesses les plus élevées. {% hint style="info" %} Suivez les [**bonnes pratiques ci-dessus**](#recommended-settings). Elles sont les mêmes que pour le modèle 30B. {% endhint %} #### 📖 Llama.cpp : Tutoriel pour exécuter Qwen3-Coder-480B-A35B-Instruct Pour Coder-480B-A35B, nous utiliserons spécifiquement Llama.cpp pour une inférence optimisée et une multitude d’options. {% hint style="success" %} Si vous voulez une **version en pleine précision non quantifiée**, utilisez nos `Q8_K_XL, Q8_0` ou `BF16` versions ! {% endhint %} 1. Obtenez la dernière version `llama.cpp` sur [GitHub ici](https://github.com/ggml-org/llama.cpp). Vous pouvez également suivre les instructions de compilation ci-dessous. Modifiez `-DGGML_CUDA=ON` à `-DGGML_CUDA=OFF` si vous n'avez pas de GPU ou si vous souhaitez simplement une inférence CPU. ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` 2. Vous pouvez utiliser directement llama.cpp pour télécharger le modèle, mais je recommande généralement d'utiliser `huggingface_hub` Pour utiliser directement llama.cpp, faites : ```bash ./llama.cpp/llama-cli \ -hf unsloth/Qwen3-Coder-480B-A35B-Instruct-GGUF:Q2_K_XL \ --ctx-size 16384 \ --n-gpu-layers 99 \ -ot ".ffn_.*_exps.=CPU" \\ --temp 0.7 \ --min-p 0.0 \\ --top-p 0.8 \\ --top-k 20 \\ --repeat-penalty 1.05 ``` 3. Ou téléchargez le modèle via (après avoir installé `pip install huggingface_hub hf_transfer` ). Vous pouvez choisir UD-Q2\_K\_XL, ou d'autres versions quantifiées.. ```python # !pip install huggingface_hub hf_transfer import os os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0" # Peut parfois subir une limitation de débit, donc définissez-le à 0 pour le désactiver from huggingface_hub import snapshot_download snapshot_download( repo_id = "unsloth/Qwen3-Coder-480B-A35B-Instruct-GGUF", local_dir = "unsloth/Qwen3-Coder-480B-A35B-Instruct-GGUF", allow_patterns = ["*UD-Q2_K_XL*"], ) ``` 4. Exécutez le modèle en mode conversation et essayez n'importe quelle invite. 5. Modifier `--threads -1` pour le nombre de threads CPU, `--ctx-size` 262114 pour la longueur de contexte, `--n-gpu-layers 99` pour le déchargement GPU de combien de couches. Essayez de l'ajuster si votre GPU manque de mémoire. Supprimez-le aussi si vous faites une inférence uniquement CPU. {% hint style="success" %} Utilisez `-ot ".ffn_.*_exps.=CPU"` pour décharger toutes les couches MoE vers le CPU ! Cela vous permet en pratique de faire tenir toutes les couches non MoE sur 1 GPU, améliorant ainsi les vitesses de génération. Vous pouvez personnaliser l'expression régulière pour faire tenir davantage de couches si vous avez plus de capacité GPU. Plus d'options abordées [ici](#improving-generation-speed). {% endhint %} {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \ --model unsloth/Qwen3-Coder-480B-A35B-Instruct-GGUF/UD-Q2_K_XL/Qwen3-Coder-480B-A35B-Instruct-UD-Q2_K_XL-00001-of-00004.gguf \ --ctx-size 16384 \ --n-gpu-layers 99 \ -ot ".ffn_.*_exps.=CPU" \\ --temp 0.7 \ --min-p 0.0 \\ --top-p 0.8 \\ --top-k 20 \\ --repeat-penalty 1.05 ``` {% endcode %} {% hint style="success" %} N’oubliez pas non plus la nouvelle mise à jour Qwen3. Exécutez [**Qwen3-235B-A22B-Instruct-2507**](/docs/fr/modeles/tutorials/qwen3-next.md) localement avec llama.cpp. {% endhint %} #### :tools: Améliorer la vitesse de génération Si vous avez plus de VRAM, vous pouvez essayer de décharger davantage de couches MoE, ou de décharger des couches entières elles-mêmes. Normalement, `-ot ".ffn_.*_exps.=CPU"` décharge toutes les couches MoE sur le CPU ! Cela vous permet en pratique de faire tenir toutes les couches non-MoE sur 1 GPU, améliorant ainsi les vitesses de génération. Vous pouvez personnaliser l'expression regex pour faire tenir davantage de couches si vous avez plus de capacité GPU. Si vous avez un peu plus de mémoire GPU, essayez `-ot ".ffn_(up|down)_exps.=CPU"` Cela décharge les couches MoE de projection ascendante et descendante. Essayez `-ot ".ffn_(up)_exps.=CPU"` si vous avez encore plus de mémoire GPU. Cela décharge uniquement les couches MoE de projection ascendante. Vous pouvez aussi personnaliser l'expression regex, par exemple `-ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU"` signifie décharger les couches MoE gate, up et down, mais seulement à partir de la 6e couche. Le [dernière version de llama.cpp](https://github.com/ggml-org/llama.cpp/pull/14363) introduit également le mode haut débit. Utilisez `llama-parallel`. En savoir plus à ce sujet [ici](https://github.com/ggml-org/llama.cpp/tree/master/examples/parallel). Vous pouvez aussi **quantifier le cache KV en 4 bits** par exemple pour réduire les mouvements VRAM / RAM, ce qui peut aussi accélérer le processus de génération. #### :triangular\_ruler:Comment faire tenir un long contexte (256K à 1M) Pour gérer un contexte plus long, vous pouvez utiliser **quantification du cache KV** pour quantifier les caches K et V sur moins de bits. Cela peut aussi augmenter la vitesse de génération grâce à la réduction des transferts de données RAM / VRAM. Les options autorisées pour la quantification K (la valeur par défaut est `f16`) sont les suivantes. `--cache-type-k f32, f16, bf16, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1` Vous devriez utiliser les `_1` variantes pour une précision légèrement améliorée, même si c'est un peu plus lent. Par ex. `q4_1, q5_1` Vous pouvez aussi quantifier le cache V, mais vous devrez **compiler llama.cpp avec la prise en charge de Flash Attention** via la prise en charge `-DGGML_CUDA_FA_ALL_QUANTS=ON`, et utiliser `--flash-attn` pour l’activer. Nous avons également téléversé des GGUF avec une longueur de contexte d’un million via la mise à l’échelle YaRN [ici](https://huggingface.co/unsloth/Qwen3-Coder-480B-A35B-Instruct-1M-GGUF). ## :toolbox: Correctifs de l’appel d’outils Nous sommes parvenus à corriger l’appel d’outils via `llama.cpp --jinja` spécifiquement pour le service via `llama-server`! Si vous téléchargez nos quantifications 30B-A3B, pas d’inquiétude : elles incluent déjà nos correctifs. Pour le modèle 480B-A35B, veuillez : 1. Téléchargez le premier fichier à pour UD-Q2\_K\_XL, puis remplacez votre fichier actuel 2. Utilisez `snapshot_download` comme d’habitude, comme dans , ce qui écrasera automatiquement les anciens fichiers 3. Utilisez le nouveau modèle de chat via `--chat-template-file`. Voir [Modèle de chat GGUF](https://huggingface.co/unsloth/Qwen3-Coder-480B-A35B-Instruct-GGUF?chat_template=default) ou [chat\_template.jinja](https://huggingface.co/unsloth/Qwen3-Coder-480B-A35B-Instruct/raw/main/chat_template.jinja) 4. En bonus, nous avons également créé un seul fichier UD-IQ1\_M de 150 Go (afin qu’Ollama fonctionne) à Cela devrait résoudre des problèmes comme : ### Utilisation de l’appel d’outils Pour formater les invites pour l’appel d’outils, illustrons cela avec un exemple. J’ai créé une fonction Python appelée `get_current_temperature` qui est une fonction qui devrait obtenir la température actuelle pour un lieu. Pour l’instant, nous avons créé une fonction factice qui renverra toujours 21,6 degrés Celsius. Vous devriez la remplacer par une vraie fonction !! {% code overflow="wrap" %} ```python def get_current_temperature(location: str, unit: str = "celsius"): """Obtenir la température actuelle à un emplacement. Arguments : location: L’emplacement pour lequel obtenir la température, au format "Ville, État, Pays". unit: L’unité dans laquelle renvoyer la température. Par défaut : "celsius". (choix : ["celsius", "fahrenheit"])", Renvoie : la température, l’emplacement et l’unité dans un dict """ return { "temperature": 26.1, # PRÉCONFIGURÉ -> vous le modifiez ! "location": location, "unit": unit, } ``` {% endcode %} Puis utilisez le tokenizer pour créer l’invite complète : {% code overflow="wrap" %} ```python from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("unsloth/Qwen3-Coder-480B-A35B-Instruct") messages = [ {'role': 'user', 'content': "Quelle est la température à San Francisco maintenant ? Et demain ?"}, {'content': "", 'role': 'assistant', 'function_call': None, 'tool_calls': [ {'id': 'ID', 'function': {'arguments': {"location": "San Francisco, CA, USA"}, 'name': 'get_current_temperature'}, 'type': 'function'}, ]}, {'role': 'tool', 'content': '{"temperature": 26.1, "location": "San Francisco, CA, USA", "unit": "celsius"}', 'tool_call_id': 'ID'}, ] prompt = tokenizer.apply_chat_template(messages, tokenize = False) ``` {% endcode %} ## :bulb:Benchmarks de performance {% hint style="info" %} Ces benchmarks officiels concernent le checkpoint BF16 complet. Pour l’utiliser, utilisez simplement les `Q8_K_XL, Q8_0, BF16` checkpoints que nous avons téléversés — vous pouvez toujours utiliser des astuces comme le déchargement MoE pour ces versions aussi ! {% endhint %} Voici les benchmarks pour le modèle 480B : #### Codage agentique
BenchmarkQwen3‑Coder 480B‑A35B‑InstructKimi‑K2DeepSeek‑V3-0324Claude 4 SonnetGPT‑4.1
Terminal‑Bench37.530.02.535.525.3
SWE‑bench vérifié avec OpenHands (500 tours)69.6––70.4–
SWE‑bench vérifié avec OpenHands (100 tours)67.065.438.868.048.6
SWE‑bench vérifié avec un échafaudage privé–65.8–72.763.8
SWE‑bench en direct26.322.313.027.7–
SWE‑bench multilingue54.747.313.053.331.5
Multi‑SWE‑bench mini25.819.87.524.8–
Multi‑SWE‑bench flash27.020.7–25.0–
Aider‑Polyglot61.860.056.956.452.4
Spider231.125.212.831.116.5
#### Utilisation agentique du navigateur
BenchmarkQwen3‑Coder 480B‑A35B‑InstructKimi‑K2DeepSeek‑V3 0324Claude Sonnet‑4GPT‑4.1
WebArena49.947.440.051.144.3
Mind2Web55.842.736.047.449.6
#### Utilisation agentique des outils
BenchmarkQwen3‑Coder 480B‑A35B‑InstructKimi‑K2DeepSeek‑V3 0324Claude Sonnet‑4GPT‑4.1
BFCL‑v368.765.256.973.362.9
TAU-Bench Commerce de détail77.570.759.180.5–
TAU-Bench Compagnie aérienne60.053.540.060.0–
--- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/fr/modeles/tutorials/qwen3-coder-how-to-run-locally.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.