> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/fr/modeles/tutorials/qwen3-how-to-run-and-fine-tune/qwen3-2507.md). # Qwen3-2507 : guide d'exécution locale Exécutez localement sur votre appareil les versions Thinking et Instruct de Qwen3-30B-A3B-2507 et 235B-A22B ! Qwen a publié les mises à jour 2507 (juillet 2025) pour ses [Qwen3](/docs/fr/modeles/tutorials/qwen3-how-to-run-and-fine-tune.md) modèles 4B, 30B et 235B, introduisant des variantes « thinking » et « non-thinking ». Le modèle non-thinking '**Qwen3-30B-A3B-Instruct-2507**' et '**Qwen3-235B-A22B-Instruct-2507'** dispose d’une fenêtre de contexte de 256K, d’une meilleure capacité à suivre les instructions, de capacités multilingues et d’un meilleur alignement. Les modèles « thinking » '**Qwen3-30B-A3B-Thinking-2507**' et '**Qwen3-235B-A22B-Thinking-2507**' excellent en raisonnement, le 235B obtenant des résultats de pointe en logique, mathématiques, sciences, programmation et tâches académiques avancées. [Unsloth](https://github.com/unslothai/unsloth) prend désormais également en charge le fine-tuning et [Apprentissage par renforcement (RL)](/docs/fr/commencer/reinforcement-learning-rl-guide.md) des modèles Qwen3-2507 — 2x plus rapide, avec 70 % de VRAM en moins et des longueurs de contexte 8x plus longues Exécuter 30B-A3BExécuter 235B-A22BFine-tuner Qwen3-2507 **Unsloth** [**Dynamic 2.0**](/docs/fr/notions-de-base/dynamic-3.0-ggufs.md) **GGUFs :** | Modèle | des GGUF pour exécuter : | | ------------------------ | ----------------------------------------------------------------------------------------------------------------------------------------------------------------- | | Qwen3-**4B-2507** | [Instruction](https://huggingface.co/unsloth/Qwen3-4B-Instruct-2507-GGUF) • [Réflexion](https://huggingface.co/unsloth/Qwen3-4B-Thinking-2507-GGUF) | | Qwen3-**30B-A3B**-2507 | [Instruction](#llama.cpp-run-qwen3-30b-a3b-instruct-2507-tutorial) • [Réflexion](https://huggingface.co/unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF) | | Qwen3-**235B-A22B**-2507 | [Instruction](https://huggingface.co/unsloth/Qwen3-235B-A22B-Instruct-2507-GGUF) • [Réflexion](https://huggingface.co/unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF) | ## ⚙️ Bonnes pratiques {% hint style="success" %} Les paramètres du modèle Thinking et du modèle Instruct sont différents.\ Le modèle Thinking utilise temperature = 0.6, mais le modèle Instruct utilise temperature = 0.7\ Le modèle Thinking utilise top\_p = 0.95, mais le modèle Instruct utilise top\_p = 0.8 {% endhint %} Pour obtenir des performances optimales, Qwen recommande ces réglages : | Paramètres du modèle Instruct : | Paramètres du modèle Thinking : | | ------------------------------------------------------------------------------------------------------------------------------------------ | ------------------------------------------------------------------------------------------------------------------------------------------ | | `Temperature = 0.7` | `Temperature = 0.6` | | `Min_P = 0.00` (la valeur par défaut de llama.cpp est 0.1) | `Min_P = 0.00` (la valeur par défaut de llama.cpp est 0.1) | | `Top_P = 0.80` | `Top_P = 0.95` | | `TopK = 20` | `TopK = 20` | | `presence_penalty = 0.0 à 2.0` (la valeur par défaut de llama.cpp le désactive, mais pour réduire les répétitions, vous pouvez l'utiliser) | `presence_penalty = 0.0 à 2.0` (la valeur par défaut de llama.cpp le désactive, mais pour réduire les répétitions, vous pouvez l'utiliser) | **Longueur de sortie adéquate**: Utilisez une longueur de sortie de `32,768` tokens pour la plupart des requêtes, ce qui est suffisant pour la plupart des requêtes. Modèle de conversation pour les deux, Thinking (Thinking comporte ``) et Instruct ci-dessous : ``` <|im_start|>user Salut !<|im_end|> <|im_start|>assistant Combien font 1+1 ?<|im_end|> <|im_start|>user 2<|im_end|> <|im_start|>assistant ``` ## 📖 Exécuter les tutoriels Qwen3-30B-A3B-2507 Vous trouverez ci-dessous des guides pour les [Réflexion](#thinking-qwen3-30b-a3b-thinking-2507) et [Instruction](#instruct-qwen3-30b-a3b-instruct-2507) versions du modèle. ### Instruct : Qwen3-30B-A3B-Instruct-2507 Étant donné qu’il s’agit d’un modèle sans raisonnement, il n’est pas nécessaire de définir `thinking=False` et le modèle ne génère pas ` ` de blocs. #### ⚙️ Bonnes pratiques Pour obtenir des performances optimales, Qwen recommande les réglages suivants : * Nous suggérons d'utiliser `temperature=0.7, top_p=0.8, top_k=20, et min_p=0.0` `presence_penalty` entre 0 et 2 si le framework le prend en charge afin de réduire les répétitions sans fin. * **`temperature = 0.7`** * `top_k = 20` * `min_p = 0.00` (la valeur par défaut de llama.cpp est 0.1) * **`top_p = 0.80`** * `presence_penalty = 0.0 à 2.0` (la valeur par défaut de llama.cpp le désactive, mais pour réduire les répétitions, vous pouvez l'utiliser) Essayez 1.0 par exemple. * Prend en charge jusqu'à `262,144` de contexte nativement, mais vous pouvez le définir à `32,768` jetons pour utiliser moins de RAM #### 🦙 Ollama : tutoriel pour exécuter Qwen3-30B-A3B-Instruct-2507 1. Installez `ollama` si ce n’est pas déjà fait ! Vous ne pouvez exécuter que des modèles jusqu’à 32B. ```bash apt-get update apt-get install pciutils -y curl -fsSL https://ollama.com/install.sh | sh ``` 2. Exécutez le modèle ! Notez que vous pouvez appeler `ollama serve`dans un autre terminal si cela échoue ! Nous incluons toutes nos corrections et paramètres suggérés (température, etc.) dans `params` dans notre téléversement Hugging Face ! ```bash ollama run hf.co/unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:UD-Q4_K_XL ``` #### :sparkles: Llama.cpp : tutoriel pour exécuter Qwen3-30B-A3B-Instruct-2507 1. Obtenez la dernière version `llama.cpp` sur [GitHub ici](https://github.com/ggml-org/llama.cpp). Vous pouvez également suivre les instructions de compilation ci-dessous. Modifiez `-DGGML_CUDA=ON` à `-DGGML_CUDA=OFF` si vous n'avez pas de GPU ou si vous souhaitez simplement une inférence CPU. **Pour les appareils Apple Mac / Metal**, définissez `-DGGML_CUDA=OFF` puis continuez comme d'habitude - la prise en charge de Metal est activée par défaut. ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` 2. Vous pouvez directement récupérer depuis Hugging Face via : ```bash ./llama.cpp/llama-cli \ -hf unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:Q4_K_XL \\ --jinja -ngl 99 --ctx-size 32768 \ --temp 0.7 --min-p 0.0 --top-p 0.80 --top-k 20 --presence-penalty 1.0 ``` 3. Téléchargez le modèle via (après avoir installé `pip install huggingface_hub hf_transfer` ). Vous pouvez choisir UD\_Q4\_K\_XL ou d’autres versions quantifiées. ```python # !pip install huggingface_hub hf_transfer import os os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1" from huggingface_hub import snapshot_download snapshot_download( repo_id = "unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF", local_dir = "unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF", allow_patterns = ["*UD-Q4_K_XL*"], ) ``` ### Thinking : Qwen3-30B-A3B-Thinking-2507 Ce modèle prend en charge nativement uniquement le mode de raisonnement et une fenêtre de contexte de 256K. Le modèle de conversation par défaut ajoute `` automatiquement, donc vous ne verrez peut-être qu'une balise de fermeture `` dans la sortie. #### ⚙️ Bonnes pratiques Pour obtenir des performances optimales, Qwen recommande les réglages suivants : * Nous suggérons d'utiliser `temperature=0.6, top_p=0.95, top_k=20, et min_p=0.0` `presence_penalty` entre 0 et 2 si le framework le prend en charge afin de réduire les répétitions sans fin. * **`temperature = 0.6`** * `top_k = 20` * `min_p = 0.00` (la valeur par défaut de llama.cpp est 0.1) * **`top_p = 0.95`** * `presence_penalty = 0.0 à 2.0` (la valeur par défaut de llama.cpp le désactive, mais pour réduire les répétitions, vous pouvez l'utiliser) Essayez 1.0 par exemple. * Prend en charge jusqu'à `262,144` de contexte nativement, mais vous pouvez le définir à `32,768` jetons pour utiliser moins de RAM #### 🦙 Ollama : tutoriel pour exécuter Qwen3-30B-A3B-Instruct-2507 1. Installez `ollama` si ce n’est pas déjà fait ! Vous ne pouvez exécuter que des modèles jusqu’à 32B. Pour exécuter les modèles complets 235B-A22B, [voir ici](#run-qwen3-235b-a22b-instruct-2507). ```bash apt-get update apt-get install pciutils -y curl -fsSL https://ollama.com/install.sh | sh ``` 2. Exécutez le modèle ! Notez que vous pouvez appeler `ollama serve`dans un autre terminal si cela échoue ! Nous incluons toutes nos corrections et paramètres suggérés (température, etc.) dans `params` dans notre téléversement Hugging Face ! ```bash ollama run hf.co/unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF:UD-Q4_K_XL ``` #### :sparkles: Llama.cpp : tutoriel pour exécuter Qwen3-30B-A3B-Instruct-2507 1. Obtenez la dernière version `llama.cpp` sur [GitHub ici](https://github.com/ggml-org/llama.cpp). Vous pouvez également suivre les instructions de compilation ci-dessous. Modifiez `-DGGML_CUDA=ON` à `-DGGML_CUDA=OFF` si vous n'avez pas de GPU ou si vous souhaitez simplement une inférence CPU. **Pour les appareils Apple Mac / Metal**, définissez `-DGGML_CUDA=OFF` puis continuez comme d'habitude - la prise en charge de Metal est activée par défaut. ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` 2. Vous pouvez directement récupérer depuis Hugging Face via : ```bash ./llama.cpp/llama-cli \ -hf unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF:Q4_K_XL \\ --jinja -ngl 99 --ctx-size 32768 \ --temp 0.6 --min-p 0.0 --top-p 0.95 --top-k 20 --presence-penalty 1.0 ``` 3. Téléchargez le modèle via (après avoir installé `pip install huggingface_hub hf_transfer` ). Vous pouvez choisir UD\_Q4\_K\_XL ou d’autres versions quantifiées. ```python # !pip install huggingface_hub hf_transfer import os os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1" from huggingface_hub import snapshot_download snapshot_download( repo_id = "unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF", local_dir = "unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF", allow_patterns = ["*UD-Q4_K_XL*"], ) ``` ## 📖 Exécuter **Qwen3-235B-A22B-2507** Tutoriels Vous trouverez ci-dessous des guides pour les [Réflexion](#run-qwen3-235b-a22b-thinking-via-llama.cpp) et [Instruction](#run-qwen3-235b-a22b-instruct-via-llama.cpp) versions du modèle. ### Thinking : Qwen3-**235B-A22B**-Thinking-2507 Ce modèle prend en charge nativement uniquement le mode de raisonnement et une fenêtre de contexte de 256K. Le modèle de conversation par défaut ajoute `` automatiquement, donc vous ne verrez peut-être qu'une balise de fermeture `` dans la sortie. #### :gear: Bonnes pratiques Pour obtenir des performances optimales, Qwen recommande les paramètres suivants pour le modèle Thinking : * **`temperature = 0.6`** * `top_k = 20` * `min_p = 0.00` (la valeur par défaut de llama.cpp est 0.1) * `top_p = 0.95` * `presence_penalty = 0.0 à 2.0` (la valeur par défaut de llama.cpp le désactive, mais pour réduire les répétitions, vous pouvez l'utiliser) Essayez 1.0 par exemple. * **Longueur de sortie adéquate**: Utilisez une longueur de sortie de `32,768` tokens pour la plupart des requêtes, ce qui est suffisant pour la plupart des requêtes. #### :sparkles:Exécuter Qwen3-235B-A22B-Thinking via llama.cpp : Pour Qwen3-235B-A22B, nous utiliserons spécifiquement Llama.cpp pour une inférence optimisée et une multitude d’options. {% hint style="success" %} Si vous voulez une **version en pleine précision non quantifiée**, utilisez nos `Q8_K_XL, Q8_0` ou `BF16` versions ! {% endhint %} 1. Obtenez la dernière version `llama.cpp` sur [GitHub ici](https://github.com/ggml-org/llama.cpp). Vous pouvez également suivre les instructions de compilation ci-dessous. Modifiez `-DGGML_CUDA=ON` à `-DGGML_CUDA=OFF` si vous n'avez pas de GPU ou si vous souhaitez simplement une inférence CPU. **Pour les appareils Apple Mac / Metal**, définissez `-DGGML_CUDA=OFF` puis continuez comme d'habitude - la prise en charge de Metal est activée par défaut. ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` 2. Vous pouvez utiliser directement llama.cpp pour télécharger le modèle, mais je recommande généralement d'utiliser `huggingface_hub` Pour utiliser directement llama.cpp, faites : ```bash ./llama.cpp/llama-cli \ -hf unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF:Q2_K_XL \\ --ctx-size 16384 \ --n-gpu-layers 99 \ -ot ".ffn_.*_exps.=CPU" \\ --temp 0.6 \ --min-p 0.0 \\ --top-p 0.95 \ --top-k 20 \\ --presence-penalty 1.0 ``` 3. Téléchargez le modèle via (après avoir installé `pip install huggingface_hub hf_transfer` ). Vous pouvez choisir UD-Q2\_K\_XL, ou d'autres versions quantifiées.. ```python # !pip install huggingface_hub hf_transfer import os os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0" # Peut parfois subir une limitation de débit, donc définissez-le à 0 pour le désactiver from huggingface_hub import snapshot_download snapshot_download( repo_id = "unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF", local_dir = "unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF", allow_patterns = ["*UD-Q2_K_XL*"], ) ``` 4. Exécutez le modèle et essayez n'importe quel prompt. 5. Modifier `--threads -1` pour le nombre de threads CPU, `--ctx-size` 262114 pour la longueur de contexte, `--n-gpu-layers 99` pour le déchargement GPU de combien de couches. Essayez de l'ajuster si votre GPU manque de mémoire. Supprimez-le aussi si vous faites une inférence uniquement CPU. {% hint style="success" %} Utilisez `-ot ".ffn_.*_exps.=CPU"` pour décharger toutes les couches MoE sur le CPU ! Cela vous permet en pratique de faire tenir toutes les couches non-MoE sur 1 GPU, améliorant ainsi les vitesses de génération. Vous pouvez personnaliser l'expression regex pour faire tenir davantage de couches si vous disposez de plus de capacité GPU. {% endhint %} {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \ --model unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF/UD-Q2_K_XL/Qwen3-235B-A22B-Thinking-2507-UD-Q2_K_XL-00001-of-00002.gguf \\ --ctx-size 16384 \ --n-gpu-layers 99 \ -ot ".ffn_.*_exps.=CPU" \\ --seed 3407 \ --temp 0.6 \ --min-p 0.0 \\ --top-p 0.95 \ --top-k 20 --presence-penalty 1.0 ``` {% endcode %} ### Instruct : Qwen3-**235B-A22B**-Instruct-2507 Étant donné qu’il s’agit d’un modèle sans raisonnement, il n’est pas nécessaire de définir `thinking=False` et le modèle ne génère pas ` ` de blocs. #### ⚙️ Bonnes pratiques Pour obtenir des performances optimales, nous recommandons les paramètres suivants : **1. Paramètres d’échantillonnage** : Nous suggérons d’utiliser `temperature=0.7, top_p=0.8, top_k=20 et min_p=0.` `presence_penalty` entre 0 et 2 si le framework le prend en charge afin de réduire les répétitions sans fin. 2\. **Longueur de sortie adéquate** : Nous recommandons d’utiliser une longueur de sortie de `16,384` tokens pour la plupart des requêtes, ce qui est suffisant pour les modèles Instruct. 3\. **Standardiser le format de sortie :** Nous recommandons d’utiliser des prompts pour standardiser les sorties du modèle lors des benchmarks. * **Problèmes de mathématiques** : Inclure `Veuillez raisonner étape par étape et placer votre réponse finale dans \boxed{}.` dans le prompt. * **Questions à choix multiples** : Ajoutez la structure JSON suivante au prompt pour standardiser les réponses : "Veuillez montrer votre choix dans le champ \`answer\` avec uniquement la lettre du choix, par ex. \`\\"answer\\": \\"C\\". #### :sparkles:Exécuter Qwen3-235B-A22B-Instruct via llama.cpp : Pour Qwen3-235B-A22B, nous utiliserons spécifiquement Llama.cpp pour une inférence optimisée et une multitude d’options. {% hint style="info" %} Si vous voulez une **version en pleine précision non quantifiée**, utilisez nos `Q8_K_XL, Q8_0` ou `BF16` versions ! {% endhint %} 1. Obtenez la dernière version de llama.cpp sur [GitHub](https://github.com/ggml-org/llama.cpp) ici. Vous pouvez également suivre les instructions de compilation ci-dessous. Modifiez `-DGGML_CUDA=ON` à `-DGGML_CUDA=OFF` si vous n'avez pas de GPU ou si vous souhaitez simplement une inférence CPU. **Pour les appareils Apple Mac / Metal**, définissez `-DGGML_CUDA=OFF` puis continuez comme d'habitude - la prise en charge de Metal est activée par défaut. ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` 2\. Vous pouvez directement utiliser llama.cpp pour télécharger le modèle, mais je suggère normalement d’utiliser `huggingface_hub` Pour utiliser directement llama.cpp, faites :\\\\ ```bash ./llama.cpp/llama-cli \ -hf unsloth/Qwen3-235B-A22B-Instruct-2507-GGUF:Q2_K_XL \\ --ctx-size 16384 \ --n-gpu-layers 99 \ -ot ".ffn_.*_exps.=CPU" \\ --temp 0.7 \ --min-p 0.0 \\ --top-p 0.8 \\ --top-k 20 \\ --repeat-penalty 1.0 ``` 3\. Téléchargez le modèle via (après avoir installé `pip install huggingface_hub hf_transfer` ). Vous pouvez choisir UD-Q2\_K\_XL, ou d'autres versions quantifiées.. ```python # !pip install huggingface_hub hf_transfer import os os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0" # Peut parfois subir une limitation de débit, donc définissez-le à 0 pour le désactiver from huggingface_hub import snapshot_download snapshot_download( repo_id = "unsloth/Qwen3-235B-A22B-Instruct-2507-GGUF", local_dir = "unsloth/Qwen3-235B-A22B-Instruct-2507-GGUF", allow_patterns = ["*UD-Q2_K_XL*"], ) ``` 4\. Exécutez le modèle et essayez n’importe quel prompt. 5. Modifiez `--threads -1` pour le nombre de threads CPU, `--ctx-size` 262114 pour la longueur de contexte, `--n-gpu-layers 99` pour le déchargement GPU de combien de couches. Essayez de l'ajuster si votre GPU manque de mémoire. Supprimez-le aussi si vous faites une inférence uniquement CPU. {% hint style="success" %} Utilisez `-ot ".ffn_.*_exps.=CPU"` pour décharger toutes les couches MoE sur le CPU ! Cela vous permet en pratique de faire tenir toutes les couches non-MoE sur 1 GPU, améliorant ainsi les vitesses de génération. Vous pouvez personnaliser l'expression regex pour faire tenir davantage de couches si vous disposez de plus de capacité GPU. {% endhint %} {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \ --model unsloth/Qwen3-235B-A22B-Instruct-2507-GGUF/UD-Q2_K_XL/Qwen3-235B-A22B-Instruct-2507-UD-Q2_K_XL-00001-of-00002.gguf \\ --ctx-size 16384 \ --n-gpu-layers 99 \ -ot ".ffn_.*_exps.=CPU" \\ --temp 0.7 \ --min-p 0.0 \\ --top-p 0.8 \\ --top-k 20 ``` {% endcode %} ### 🛠️ Améliorer la vitesse de génération Si vous avez plus de VRAM, vous pouvez essayer de décharger davantage de couches MoE, ou de décharger des couches entières elles-mêmes. Normalement, `-ot ".ffn_.*_exps.=CPU"` décharge toutes les couches MoE sur le CPU ! Cela vous permet en pratique de faire tenir toutes les couches non-MoE sur 1 GPU, améliorant ainsi les vitesses de génération. Vous pouvez personnaliser l'expression regex pour faire tenir davantage de couches si vous avez plus de capacité GPU. Si vous avez un peu plus de mémoire GPU, essayez `-ot ".ffn_(up|down)_exps.=CPU"` Cela décharge les couches MoE de projection ascendante et descendante. Essayez `-ot ".ffn_(up)_exps.=CPU"` si vous avez encore plus de mémoire GPU. Cela décharge uniquement les couches MoE de projection ascendante. Vous pouvez aussi personnaliser l'expression regex, par exemple `-ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU"` signifie décharger les couches MoE gate, up et down, mais seulement à partir de la 6e couche. Le [dernière version de llama.cpp](https://github.com/ggml-org/llama.cpp/pull/14363) introduit également le mode haut débit. Utilisez `llama-parallel`. En savoir plus à ce sujet [ici](https://github.com/ggml-org/llama.cpp/tree/master/examples/parallel). Vous pouvez aussi **quantifier le cache KV en 4 bits** par exemple pour réduire les mouvements de VRAM / RAM, ce qui peut également accélérer le processus de génération. La [section suivante](#how-to-fit-long-context-256k-to-1m) traite de la quantification du cache KV. ### 📐 Comment faire tenir un long contexte Pour gérer un contexte plus long, vous pouvez utiliser **quantification du cache KV** pour quantifier les caches K et V sur moins de bits. Cela peut aussi augmenter la vitesse de génération grâce à la réduction des transferts de données RAM / VRAM. Les options autorisées pour la quantification K (la valeur par défaut est `f16`) sont les suivantes. `--cache-type-k f32, f16, bf16, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1` Vous devriez utiliser les `_1` variantes pour une précision légèrement améliorée, même si c'est un peu plus lent. Par ex. `q4_1, q5_1` Essayez donc `--cache-type-k q4_1` Vous pouvez aussi quantifier le cache V, mais vous devrez **compiler llama.cpp avec la prise en charge de Flash Attention** via la prise en charge `-DGGML_CUDA_FA_ALL_QUANTS=ON`, et utiliser `--flash-attn` pour l'activer. Après avoir installé Flash Attention, vous pouvez alors utiliser `--cache-type-v q4_1` ## 🦥 Fine-tuning de Qwen3-2507 avec Unsloth Unsloth rend [Qwen3](/docs/fr/modeles/tutorials/qwen3-how-to-run-and-fine-tune.md#fine-tuning-qwen3-with-unsloth) et le fine-tuning de Qwen3-2507 2x plus rapide, utilise 70 % de VRAM en moins et prend en charge des longueurs de contexte 8x plus longues. Comme Qwen3-2507 n’a été publié qu’en variante 30B, cela signifie que vous aurez besoin d’environ un GPU A100 de 40 Go pour fine-tuner le modèle avec QLoRA (4 bits). Pour un notebook, comme le modèle ne peut pas tenir sur les GPU gratuits de 16 Go de Colab, vous devrez utiliser un A100 de 40 Go. Vous pouvez utiliser notre notebook Conversationnel, mais remplacer le jeu de données par n’importe lequel des vôtres. Cette fois, vous n’avez pas besoin d’intégrer du raisonnement dans votre jeu de données, car le modèle ne fait pas de raisonnement. * [Notebook conversationnel + raisonnement Qwen3 (14B)](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_\(14B\)-Reasoning-Conversational.ipynb) Si vous avez une ancienne version d’Unsloth et/ou effectuez un affinage localement, installez la dernière version d’Unsloth : ```bash pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo ``` ### Fine-tuning des modèles MOE Qwen3-2507 La prise en charge du fine-tuning inclut les modèles MOE : 30B-A3B et 235B-A22B. Qwen3-30B-A3B fonctionne sur 30 Go de VRAM avec Unsloth. Pour le fine-tuning des MoE, il n’est probablement pas judicieux de fine-tuner la couche routeur, nous l’avons donc désactivée par défaut. **Notebooks Qwen3-2507-4B pour :** [Réflexion](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_\(4B\)-Thinking.ipynb) et [Instruction](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_\(4B\)-Instruct.ipynb) Le 30B-A3B tient dans 30 Go de VRAM, mais vous pourriez manquer de RAM ou d’espace disque, car le modèle complet en 16 bits doit être téléchargé et converti à la volée en 4 bits pour le fine-tuning QLoRA. Cela est dû à des problèmes d’importation directe des modèles MOE BnB en 4 bits. Cela n’affecte que les modèles MOE. {% hint style="warning" %} Si vous fine-tunez les modèles MOE, veuillez utiliser `FastModel` et non `FastLanguageModel` {% endhint %} ```python from unsloth import FastModel import torch model, tokenizer = FastModel.from_pretrained( model_name = "unsloth/Qwen3-30B-A3B-Instruct-2507", max_seq_length = 2048, # Choisissez n’importe quelle valeur pour un long contexte ! load_in_4bit = True, # Quantification 4 bits pour réduire la mémoire load_in_8bit = False, # [NOUVEAU !] Un peu plus précis, utilise 2x plus de mémoire full_finetuning = False, # [NOUVEAU !] Nous avons maintenant l'ajustement fin complet ! # token = "hf_...", # utilisez-en un si vous utilisez des modèles protégés ) ```
--- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/fr/modeles/tutorials/qwen3-how-to-run-and-fine-tune/qwen3-2507.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.