💜Qwen3.5 - Comment l'exécuter localement

Exécutez les nouveaux LLMs Qwen3.5, y compris Medium : Qwen3.5-35B-A3B, 27B, 122B-A10B, Small : Qwen3.5-0.8B, 2B, 4B, 9B et 397B-A17B sur votre appareil local !

Qwen3.5 est la nouvelle famille de modèles d’Alibaba, incluant Qwen3.5-35B-A3B, 27B, 122B-A10B et 397B-A17B et la nouvelle série Small : Qwen3.5-0.8B, 2B, 4B et 9B. Les LLM multimodaux hybrides de raisonnement offrent les meilleures performances pour leurs tailles. Ils prennent en charge contexte de 256K dans 201 langues, ont thinking + non-thinking, et excellent dans le codage agentique, la vision, le chat et les tâches à long contexte. Les modèles 35B et 27B fonctionnent sur un appareil Mac / RAM de 22 Go. Voir tous les GGUF ici.

Exécuter les tutoriels Qwen3.5 Ajuster finement Qwen3.5

Mise à jour du 17 mars : Vous pouvez désormais exécuter Qwen3.5 dans Unsloth Studio.

Mise à jour du 5 mars : Retéléchargez Qwen3.5-35B, 27B, 122B et 397B.

Tous les GGUF sont désormais mis à jour avec un algorithme de quantification amélioré .
Tous utilisent nos nouvelles données imatrix. Voyez quelques améliorations dans les cas d’usage de chat, codage, long contexte et appel d’outils.
L’appel d’outils a été amélioré suite à nos corrections du modèle de chat. La correction est universelle et s’applique à n’importe quel format Qwen3.5 et n’importe quel uploader.
Consultez les nouveaux benchmarks GGUF pour les résultats de performance d’Unsloth + notre enquête MXFP4.
Nous retirons les couches MXFP4 de 3 GGUF Qwen3.5 : Q2_K_XL, Q3_K_XL et Q4_K_XL.

Tous les téléchargements utilisent Unsloth Dynamic 2.0 pour des performances de quantification SOTA - ainsi, le 4 bits a des couches importantes converties en 8 ou 16 bits. Merci à Qwen d’avoir fourni à Unsloth un accès dès le premier jour. Vous pouvez aussi affiner Qwen3.5 avec Unsloth.

Pour activer ou désactiver le thinking, voir Qwen3.5.Les modèles Qwen3.5 Small le désactivent par défaut.

⚙️ Guide d'utilisation

Tableau : Exigences matérielles pour l’inférence (unités = mémoire totale : RAM + VRAM, ou mémoire unifiée)

Qwen3.5

3 bits

4 bits

6 bits

8 bits

BF16

0.8B + 2B

3 Go

3.5 Go

5 Go

7.5 Go

9 Go

4.5 Go

5.5 Go

7 Go

10 Go

14 Go

5.5 Go

6.5 Go

9 Go

13 Go

19 Go

27B

14 Go

17 Go

24 Go

30 Go

54 Go

35B-A3B

17 Go

22 Go

30 Go

38 Go

70 Go

122B-A10B

60 Go

70 Go

106 Go

132 Go

245 Go

397B-A17B

180 Go

214 Go

340 Go

512 Go

810 Go

Pour de meilleures performances, assurez-vous que votre mémoire totale disponible (VRAM + RAM système) dépasse la taille du fichier du modèle quantifié que vous téléchargez. Si ce n'est pas le cas, llama.cpp peut toujours fonctionner via un déchargement vers SSD/HDD, mais l'inférence sera plus lente.

Entre 27B et 35B-A3B, utilisez 27B si vous voulez des résultats légèrement plus précis et que cela ne tient pas sur votre appareil. Optez pour 35B-A3B si vous voulez une inférence beaucoup plus rapide.

Paramètres recommandés

Fenêtre de contexte maximale : 262,144 (peut être étendu à 1M via YaRN)
presence_penalty = de 0.0 à 2.0 par défaut c’est désactivé, mais pour réduire les répétitions, vous pouvez utiliser ceci, cependant utiliser une valeur plus élevée peut entraîner une légère baisse de performance
Longueur de sortie adéquate: 32,768 tokens pour la plupart des requêtes

Si vous obtenez du charabia, votre longueur de contexte est peut-être réglée trop bas. Ou essayez d’utiliser --cache-type-k bf16 --cache-type-v bf16 ce qui pourrait aider.

Comme Qwen3.5 est un raisonnement hybride, les modes thinking et non-thinking ont des réglages différents :

Mode thinking :

Tâches générales

Tâches de codage précises (p. ex. WebDev)

température = 1.0

température = 0.6

top_p = 0.95

top_k = 20

min_p = 0.0

presence_penalty = 1.5

presence_penalty = 0.0

repeat_penalty = désactivé ou 1.0

Mode thinking pour les tâches générales :

temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0

Mode thinking pour les tâches de codage précises :

temperature=0.6, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0

Réglages du mode instruct (non-thinking) :

Tâches générales

Tâches de raisonnement

température = 0.7

température = 1.0

top_p = 0.8

top_p = 0.95

top_k = 20

min_p = 0.0

presence_penalty = 1.5

repeat_penalty = désactivé ou 1.0

Pour désactiver le thinking / raisonnement, utilisez --chat-template-kwargs '{"enable_thinking":false}'

Si vous êtes sur Windows Powershell, utilisez : --chat-template-kwargs "{\"enable_thinking\":false}"

Utilisez 'true' et 'false' de manière interchangeable.

Pour Qwen3.5 0.8B, 2B, 4B et 9B, le raisonnement est désactivé par défaut. Pour l’activer, utilisez : --chat-template-kwargs '{"enable_thinking":true}'

Instruct (non-thinking) pour les tâches générales :

temperature=0.7, top_p=0.8, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0

Instruct (non-thinking) pour les tâches de raisonnement :

temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0

Tutoriels d’inférence Qwen3.5 :

Comme Qwen3.5 existe en de nombreuses tailles différentes, nous utiliserons Dynamic 4-bit MXFP4_MOE variantes GGUF pour toutes les charges d’inférence. Cliquez ci-dessous pour accéder aux instructions du modèle désigné :

Exécuter dans Unsloth Studio Qwen3.5-35B-A3B 27B 122B-A10B 397B-A17B Small (0.8B - 9B)

Uploads GGUF dynamiques Unsloth :

Qwen3.5-35B-A3B

Qwen3.5-27B

Qwen3.5-122B-A10B

Qwen3.5-397B-A17B

presence_penalty = de 0.0 à 2.0 par défaut c’est désactivé, mais pour réduire les répétitions, vous pouvez utiliser ceci, cependant utiliser une valeur plus élevée peut entraîner une légère baisse de performance.

Actuellement, aucun GGUF Qwen3.5 ne fonctionne dans Ollama à cause de fichiers vision mmproj séparés. Utilisez des backends compatibles llama.cpp.

🦥 Guide Unsloth Studio

Qwen3.5 peut être exécuté et ajusté finement dans Unsloth Studio, notre nouvelle interface web open source pour l’IA locale. Unsloth Studio vous permet d’exécuter des modèles localement sur MacOS, Windows, Linux et :

Rechercher, télécharger, exécuter des GGUF et des modèles safetensor
Auto-réparation appel d’outils + recherche web
Exécution de code (Python, Bash)
Inférence automatique réglage des paramètres (temp, top-p, etc.)
Inférence rapide CPU + GPU via llama.cpp
Entraîner des LLM 2x plus vite avec 70 % de VRAM en moins

Installer Unsloth

Exécutez dans votre terminal :

MacOS, Linux, WSL :

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell :

irm https://unsloth.ai/install.ps1 | iex

L’installation sera rapide et prendra environ 1 à 2 min.

Lancer Unsloth

MacOS, Linux, WSL et Windows :

unsloth studio -H 0.0.0.0 -p 8888

Puis ouvrez http://localhost:8888 dans votre navigateur.

Rechercher et télécharger Qwen3.5

Lors du premier lancement, vous devrez créer un mot de passe pour sécuriser votre compte et vous reconnecter plus tard. Vous verrez ensuite un bref assistant de configuration pour choisir un modèle, un jeu de données et des paramètres de base. Vous pouvez le passer à tout moment.

Ensuite, allez dans l’onglet Studio Chat onglet et recherchez Qwen3.5 dans la barre de recherche puis téléchargez le modèle et la quantification souhaités.

Exécuter Qwen3.5

Les paramètres d’inférence devraient être définis automatiquement lors de l’utilisation d’Unsloth Studio ; toutefois, vous pouvez toujours les modifier manuellement. Vous pouvez également modifier la longueur du contexte, le modèle de conversation et d’autres réglages.

Pour plus d’informations, vous pouvez consulter notre guide d’inférence Unsloth Studio.

🦙 Guides Llama.cpp

Qwen3.5-35B-A3B

Pour ce guide, nous utiliserons Dynamic 4-bit qui fonctionne très bien sur un appareil à 24 Go de RAM / Mac pour une inférence rapide. Comme le modèle ne fait qu’environ 72 Go en précision F16 complète, nous n’aurons pas trop à nous soucier des performances. GGUF : Qwen3.5-35B-A3B-GGUF

Pour ces tutoriels, nous utiliserons llama.cpp pour une inférence locale rapide, surtout si vous avez un CPU.

Obtenez la dernière version llama.cpp sur GitHub ici. Vous pouvez également suivre les instructions de compilation ci-dessous. Changez -DGGML_CUDA=ON en -DGGML_CUDA=OFF si vous n’avez pas de GPU ou si vous souhaitez simplement une inférence CPU. Pour les appareils Apple Mac / Metal, définissez -DGGML_CUDA=OFF puis continuez comme d'habitude - la prise en charge de Metal est activée par défaut.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

Si vous souhaitez utiliser llama.cpp directement pour charger les modèles, vous pouvez faire ce qui suit : (:Q4_K_M) est le type de quantification. Vous pouvez aussi télécharger via Hugging Face (point 3). C’est similaire à ollama run . Utilisez export LLAMA_CACHE="folder" pour forcer llama.cpp pour enregistrer à un emplacement spécifique. Le modèle a une longueur de contexte maximale de 256K.

Suivez l’une des commandes spécifiques ci-dessous, selon votre cas d’usage :

Mode thinking :

Tâches de codage précises (p. ex. WebDev) :

export LLAMA_CACHE="unsloth/Qwen3.5-35B-A3B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

Tâches générales :

export LLAMA_CACHE="unsloth/Qwen3.5-35B-A3B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

Mode non-thinking :

Tâches générales :

export LLAMA_CACHE="unsloth/Qwen3.5-35B-A3B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
    --temp 0.7 \\
    --top-p 0.8 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

Tâches de raisonnement :

export LLAMA_CACHE="unsloth/Qwen3.5-35B-A3B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

Téléchargez le modèle via (après avoir installé pip install huggingface_hub hf_transfer ). Vous pouvez choisir Q4_K_M ou d’autres versions quantifiées comme UD-Q4_K_XL . Nous recommandons d’utiliser au moins une quantification dynamique 2 bits UD-Q2_K_XL pour équilibrer taille et précision. Si les téléchargements se bloquent, voir : Hugging Face Hub, débogage XET

hf download unsloth/Qwen3.5-35B-A3B-GGUF \
    --local-dir unsloth/Qwen3.5-35B-A3B-GGUF \
    --include "*mmproj-F16*" \
    --include "*UD-Q4_K_XL*" # Utilisez "*UD-Q2_K_XL*" pour Dynamic 2bit

Puis exécutez le modèle en mode conversation :

./llama.cpp/llama-cli \
    --model unsloth/Qwen3.5-35B-A3B-GGUF/Qwen3.5-35B-A3B-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Qwen3.5-35B-A3B-GGUF/mmproj-F16.gguf \
    --temp 1.0 \
    --top-p 0.95 \
    --min-p 0.00 \
    --top-k 20

Qwen3.5 Small (0.8B • 2B • 4B • 9B)

Pour Qwen3.5 0.8B, 2B, 4B et 9B, le raisonnement est désactivé par défaut. Pour l’activer, utilisez : --chat-template-kwargs '{"enable_thinking":true}'

Sous Windows, utilisez : --chat-template-kwargs "{\"enable_thinking\":true}"

Pour la série Qwen3.5 Small, comme ils sont très petits, tout ce que vous devez faire est de changer le nom du modèle dans les scripts vers la variante souhaitée. Pour ce guide spécifique, nous utiliserons la variante à 9B paramètres. Pour tous les exécuter en quasi pleine précision, il vous faudra seulement un appareil avec 12 Go de RAM / VRAM / mémoire unifiée. GGUF :

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

Si vous souhaitez utiliser llama.cpp directement pour charger les modèles, vous pouvez faire ce qui suit : (:Q4_K_XL) est le type de quantification. Vous pouvez aussi télécharger via Hugging Face (point 3). C’est similaire à ollama run . Utilisez export LLAMA_CACHE="folder" pour forcer llama.cpp pour enregistrer à un emplacement spécifique. Le modèle a une longueur de contexte maximale de 256K.

Suivez l’une des commandes spécifiques ci-dessous, selon votre cas d’usage :

Pour utiliser une autre variante que 9B, vous pouvez remplacer '9B' par : 0.8B, 2B ou 4B, etc.

Mode thinking (désactivé par défaut)

Les modèles Qwen3.5 Small désactivent le thinking par défaut. Utilisez llama-server pour l’activer.

export LLAMA_CACHE="unsloth/Qwen3.5-9B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-9B-GGUF:UD-Q4_K_XL \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --alias "unsloth/Qwen3.5-9B-GGUF" \
    --port 8001 \
    --chat-template-kwargs '{"enable_thinking":true}'

Tâches générales :

export LLAMA_CACHE="unsloth/Qwen3.5-9B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-9B-GGUF:UD-Q4_K_XL \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --alias "unsloth/Qwen3.5-9B-GGUF" \
    --port 8001 \
    --chat-template-kwargs '{"enable_thinking":true}'

Pour utiliser une autre variante que 9B, vous pouvez remplacer '9B' par : 0.8B, 2B ou 4B, etc.

Le mode non-thinking est déjà activé par défaut

Tâches générales :

export LLAMA_CACHE="unsloth/Qwen3.5-9B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-9B-GGUF:UD-Q4_K_XL \
    --temp 0.7 \\
    --top-p 0.8 \
    --top-k 20 \
    --min-p 0.00

Tâches de raisonnement :

export LLAMA_CACHE="unsloth/Qwen3.5-9B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-9B-GGUF:UD-Q4_K_XL \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

hf download unsloth/Qwen3.5-9B-GGUF \
    --local-dir unsloth/Qwen3.5-9B-GGUF \
    --include "*mmproj-F16*" \
    --include "*UD-Q4_K_XL*" # Utilisez "*UD-Q2_K_XL*" pour Dynamic 2bit

Puis exécutez le modèle en mode conversation :

./llama.cpp/llama-cli \
    --model unsloth/Qwen3.5-9B-GGUF/Qwen3.5-9B-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Qwen3.5-9B-GGUF/mmproj-F16.gguf \
    --temp 1.0 \
    --top-p 0.95 \
    --min-p 0.00 \
    --top-k 20

Qwen3.5-27B

Pour ce guide, nous utiliserons Dynamic 4-bit qui fonctionne très bien sur un appareil à 18 Go de RAM / Mac pour une inférence rapide. GGUF : Qwen3.5-27B-GGUF

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

Suivez l’une des commandes spécifiques ci-dessous, selon votre cas d’usage :

Mode thinking :

Tâches de codage précises (p. ex. WebDev) :

export LLAMA_CACHE="unsloth/Qwen3.5-27B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-27B-GGUF:UD-Q4_K_XL \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

Tâches générales :

export LLAMA_CACHE="unsloth/Qwen3.5-27B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-27B-GGUF:UD-Q4_K_XL \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

Mode non-thinking :

Tâches générales :

export LLAMA_CACHE="unsloth/Qwen3.5-27B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-27B-GGUF:UD-Q4_K_XL \
    --temp 0.7 \\
    --top-p 0.8 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

Tâches de raisonnement :

export LLAMA_CACHE="unsloth/Qwen3.5-27B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-27B-GGUF:UD-Q4_K_XL \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

Téléchargez le modèle via (après avoir installé pip install huggingface_hub hf_transfer ). Vous pouvez choisir MXFP4_MOE ou d’autres versions quantifiées comme UD-Q4_K_XL . Nous recommandons d’utiliser au moins une quantification dynamique 2 bits UD-Q2_K_XL pour équilibrer taille et précision. Si les téléchargements se bloquent, voir : Hugging Face Hub, débogage XET

hf download unsloth/Qwen3.5-27B-GGUF \
    --local-dir unsloth/Qwen3.5-27B-GGUF \
    --include "*mmproj-F16*" \
    --include "*UD-Q4_K_XL*" # Utilisez "*UD-Q2_K_XL*" pour Dynamic 2bit

Puis exécutez le modèle en mode conversation :

./llama.cpp/llama-cli \
    --model unsloth/Qwen3.5-27B-GGUF/Qwen3.5-27B-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Qwen3.5-27B-GGUF/mmproj-F16.gguf \
    --temp 1.0 \
    --top-p 0.95 \
    --min-p 0.00 \
    --top-k 20

Qwen3.5-122B-A10B

Pour ce guide, nous utiliserons Dynamic 4-bit qui fonctionne très bien sur un appareil à 70 Go de RAM / Mac pour une inférence rapide. GGUF : Qwen3.5-122B-A10B-GGUF

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

Suivez l’une des commandes spécifiques ci-dessous, selon votre cas d’usage :

Mode thinking :

Tâches de codage précises (p. ex. WebDev) :

export LLAMA_CACHE="unsloth/Qwen3.5-122B-A10B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-122B-A10B-GGUF:UD-Q4_K_XL \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

Tâches générales :

export LLAMA_CACHE="unsloth/Qwen3.5-122B-A10B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-122B-A10B-GGUF:UD-Q4_K_XL \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

Mode non-thinking :

Tâches générales :

export LLAMA_CACHE="unsloth/Qwen3.5-122B-A10B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-122B-A10B-GGUF:UD-Q4_K_XL \
    --temp 0.7 \\
    --top-p 0.8 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

Tâches de raisonnement :

export LLAMA_CACHE="unsloth/Qwen3.5-122B-A10B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-122B-A10B-GGUF:UD-Q4_K_XL \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

Téléchargez le modèle via (après avoir installé pip install huggingface_hub hf_transfer ). Vous pouvez choisir MXFP4_MOE (4 bits dynamique) ou d’autres versions quantifiées comme UD-Q4_K_XL . Nous recommandons d’utiliser au moins une quantification dynamique 2 bits UD-Q2_K_XL pour équilibrer taille et précision. Si les téléchargements se bloquent, voir : Hugging Face Hub, débogage XET

hf download unsloth/Qwen3.5-122B-A10B-GGUF \
    --local-dir unsloth/Qwen3.5-122B-A10B-GGUF \
    --include "*mmproj-F16*" \
    --include "*UD-Q4_K_XL*" # Utilisez "*UD-Q2_K_XL*" pour Dynamic 2bit

Puis exécutez le modèle en mode conversation :

./llama.cpp/llama-cli \
    --model unsloth/Qwen3.5-122B-A10B-GGUF/UD-Q4_K_XL/Qwen3.5-122B-A10B-UD-Q4_K_XL-00001-of-00003.gguf \
    --mmproj unsloth/Qwen3.5-122B-A10B-GGUF/mmproj-F16.gguf \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

Qwen3.5-397B-A17B

Qwen3.5-397B-A17B est dans le même niveau de performance que Gemini 3 Pro, Claude Opus 4.5 et GPT-5.2. Le checkpoint complet 397B représente ~807 Go sur disque, mais via les GGUF 397B d’Unsloth vous pouvez exécuter :

3 bits: tient sur des systèmes à 192 Go de RAM (p. ex., un Mac de 192 Go)
4 bits (MXFP4): tient sur des systèmes à 256 Go de RAM. Unsloth 4 bits dynamique UD-Q4_K_XL est ~214 Go sur disque - se charge directement sur un M3 Ultra 256 Go
Fonctionne sur un GPU unique de 24 Go + 256 Go de RAM système via déchargement MoE, atteignant 25+ tokens/s
8 bits nécessite ~512 Go de RAM/VRAM

Voir Benchmarks de quantification 397B sur les performances des GGUF Unsloth.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

Si vous souhaitez utiliser llama.cpp directement pour charger les modèles, vous pouvez faire ce qui suit : (:Q4_K_M) est le type de quantification. Vous pouvez aussi télécharger via Hugging Face (point 3). C’est similaire à ollama run . Utilisez export LLAMA_CACHE="folder" pour forcer llama.cpp pour enregistrer à un emplacement spécifique. N’oubliez pas que le modèle n’a qu’une longueur de contexte maximale de 256K.

Suivez ceci pour les cas d'utilisation de thinking mode :

export LLAMA_CACHE="unsloth/Qwen3.5-397B-A17B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-397B-A17B-GGUF:UD-Q4_K_XL \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

Suivez ceci pour les cas d'utilisation de non-thinking mode :

export LLAMA_CACHE="unsloth/Qwen3.5-397B-A17B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-397B-A17B-GGUF:UD-Q4_K_XL \
    --temp 0.7 \\
    --top-p 0.8 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

hf download unsloth/Qwen3.5-397B-A17B-GGUF \
    --local-dir unsloth/Qwen3.5-397B-A17B-GGUF \
    --include "*mmproj-F16*" \
    --include "*UD-Q4_K_XL" # Utilisez "*UD-Q2_K_XL*" pour Dynamic 2bit

Vous pouvez modifier --threads 32 pour le nombre de threads CPU, --n-gpu-layers 2 pour le déchargement GPU, selon le nombre de couches. Essayez de l’ajuster si votre GPU manque de mémoire. Supprimez-le aussi si vous n'avez qu'une inférence CPU.

./llama.cpp/llama-cli \
    --model unsloth/Qwen3.5-397B-A17B-GGUF/UD-Q4_K_XL/Qwen3.5-397B-A17B-UD-Q4_K_XL-00001-of-00006.gguf \
    --mmproj unsloth/Qwen3.5-397B-A17B-GGUF/mmproj-F16.gguf \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

👾 Guide LM Studio

Pour ce guide, nous utiliserons LM Studio, une interface UI unifiée pour exécuter des LLM. Le bouton bascule '💡Thinking' et 'Non-thinking' peut ne pas apparaître par défaut, nous aurons donc besoin de quelques étapes supplémentaires pour le faire fonctionner.

Télécharger LM Studio pour votre appareil. Ensuite, ouvrez Model Search, recherchez 'unsloth/qwen3.5' et téléchargez le GGUF (quant) que vous souhaitez.

Instructions du bouton bascule Thinking : Après le téléchargement, ouvrez votre Terminal / PowerShell et essayez : lms --help. Ensuite, si LM Studio apparaît normalement avec de nombreuses commandes, exécutez :

lms get unsloth/qwen3.5-4b

Cela récupérera un fichier yaml qui permet à votre GGUF d’afficher le bouton bascule '💡Thinking' et 'Non-thinking'. Vous pouvez changer 4b par la quantification souhaitée.

Sinon, vous pouvez aller sur notre page LM Studio et télécharger le fichier yaml spécifique.

Redémarrez LM Studio, puis chargez votre modèle téléchargé (avec le bouton thinking spécifique que vous avez téléchargé). Vous devriez maintenant voir le bouton Thinking activé. N’oubliez pas de définir les paramètres corrects.

🦙 Llama-server pour le service et la bibliothèque de complétion d'OpenAI

Pour déployer Qwen3.5-397B-A17B en production, nous utilisons llama-server Dans un nouveau terminal, par exemple via tmux, déployez le modèle via :

./llama.cpp/llama-server \
--model unsloth/Qwen3.5-35B-A3B-GGUF/Qwen3.5-35B-A3B-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Qwen3.5-35B-A3B-GGUF/mmproj-F16.gguf \
    --alias "unsloth/Qwen3.5-35B-A3B" \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --port 8001

Puis dans un nouveau terminal, après avoir fait pip install openai, faites :

from openai import OpenAI
import json
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/Qwen3.5-397B-A17B",
    messages = [{"role": "user", "content": "Crée un jeu Snake."},],
)
print(completion.choices[0].message.content)

🤔 Comment activer ou désactiver le raisonnement et le thinking

Pour les commandes ci-dessous, vous pouvez utiliser 'true' et 'false' de manière interchangeable.

Unsloth Studio a automatiquement un bouton bascule 'Think' pour les modèles thinking.

Pour avoir le bouton bascule Think pour LM Studio, lisez notre guide.

Pour désactiver thinking / raisonnement, utilisez dans llama-server :

    --chat-template-kwargs '{"enable_thinking":false}'

Si vous êtes sur Windows ou Powershell, utilisez : --chat-template-kwargs "{\"enable_thinking\":false}"

Pour activer thinking / raisonnement, utilisez dans llama-server :

    --chat-template-kwargs '{"enable_thinking":true}'

Si vous êtes sur Windows ou Powershell, utilisez : --chat-template-kwargs "{\"enable_thinking\":true}"

Pour Qwen3.5 0.8B, 2B, 4B et 9B, le raisonnement est désactivé par défaut. Pour l’activer, utilisez : --chat-template-kwargs '{"enable_thinking":true}'

Et sous Windows ou Powershell : --chat-template-kwargs "{\"enable_thinking\":true}"

Comme exemple pour Qwen3.5-9B afin d’activer le thinking (désactivé par défaut) :

./llama.cpp/llama-server \
    --model unsloth/Qwen3.5-9B-GGUF/Qwen3.5-9B-BF16.gguf \
    --alias "unsloth/Qwen3.5-9B-GGUF" \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --port 8001 \
    --chat-template-kwargs '{"enable_thinking":true}'

Et ensuite en Python :

from openai import OpenAI
import json
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/Qwen3.5-9B-GGUF",
    messages = [{"role": "user", "content": "What is 2+2?"},],
)
print(completion.choices[0].message.content)
print(completion.choices[0].message.reasoning_content)

👨‍💻 OpenAI Codex & Claude Code

Pour exécuter le modèle via des charges de travail locales de codage agentique, vous pouvez suivre notre guide. Il suffit de changer le nom du modèle pour la variante 'Qwen3.5' souhaitée et de vous assurer de suivre les paramètres corrects et les instructions d’utilisation de Qwen3.5. Utilisez le llama-server que nous venons juste de configurer.

Claude Code

OpenAI Codex

Après avoir suivi les instructions pour Claude Code par exemple, vous verrez :

Nous pouvons alors demander par exemple Créer un jeu d’échecs en Python :

🔨Appel d’outils avec Qwen3.5

Voir Tool Calling Guide pour plus de détails sur la façon de faire des appels d'outils. Dans un nouveau terminal (si vous utilisez tmux, utilisez CTRL+B+D), nous créons quelques outils comme l'addition de 2 nombres, l'exécution de code Python, l'exécution de fonctions Linux et bien plus encore :

import json, subprocess, random
from typing import Any
def add_number(a: float | str, b: float | str) -> float:
    return float(a) + float(b)
def multiply_number(a: float | str, b: float | str) -> float:
    return float(a) * float(b)
def subtract_number(a: float | str, b: float | str) -> float:
    return float(a) - float(b)
def write_a_story() -> str:
    return random.choice([
        "Il était une fois dans une galaxie très très lointaine...",
        "Il y avait 2 amis qui aimaient les paresseux et le code...",
        "Le monde touchait à sa fin parce que chaque paresseux avait évolué pour avoir une intelligence surhumaine...",
        "À l'insu d'un ami, l'autre a accidentellement codé un programme pour faire évoluer les paresseux...",
    ])
def terminal(command: str) -> str:
    if "rm" in command or "sudo" in command or "dd" in command or "chmod" in command:
        msg = "Impossible d'exécuter les commandes 'rm, sudo, dd, chmod' car elles sont dangereuses"
        print(msg); return msg
    print(f"Exécution de la commande terminal `{command}`")
    try:
        return str(subprocess.run(command, capture_output = True, text = True, shell = True, check = True).stdout)
    except subprocess.CalledProcessError as e:
        return f"La commande a échoué : {e.stderr}"
def python(code: str) -> str:
    data = {}
    exec(code, data)
    del data["__builtins__"]
    return str(data)
MAP_FN = {
    "add_number": add_number,
    "multiply_number": multiply_number,
    "subtract_number": subtract_number,
    "write_a_story": write_a_story,
    "terminal": terminal,
    "python": python,
}
tools = [
    {
        "type": "function",
        "function": {
            "name": "add_number",
            "description": "Additionner deux nombres.",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "Le premier nombre.",
                    },
                    "b": {
                        "type": "string",
                        "description": "Le deuxième nombre.",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "multiply_number",
            "description": "Multiplier deux nombres.",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "Le premier nombre.",
                    },
                    "b": {
                        "type": "string",
                        "description": "Le deuxième nombre.",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "subtract_number",
            "description": "Soustraire deux nombres.",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "Le premier nombre.",
                    },
                    "b": {
                        "type": "string",
                        "description": "Le deuxième nombre.",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "write_a_story",
            "description": "Écrit une histoire aléatoire.",
            "parameters": {
                "type": "object",
                "properties": {},
                "required": [],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "terminal",
            "description": "Effectuer des opérations depuis le terminal.",
            "parameters": {
                "type": "object",
                "properties": {
                    "command": {
                        "type": "string",
                        "description": "La commande que vous souhaitez lancer, par ex. `ls`, `rm`, ...",
                    },
                },
                "required": ["command"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "python",
            "description": "Appeler un interpréteur Python avec du code Python qui sera exécuté.",
            "parameters": {
                "type": "object",
                "properties": {
                    "code": {
                        "type": "string",
                        "description": "Le code Python à exécuter",
                    },
                },
                "required": ["code"],
            },
        },
    },
]

Nous utilisons ensuite les fonctions ci-dessous (copiez-collez puis exécutez) qui analyseront automatiquement les appels de fonction et appelleront l'endpoint OpenAI pour n'importe quel modèle :

from openai import OpenAI
def unsloth_inference(
    messages,
    temperature = 0.6,
    top_p = 0.95,
    top_k = 20,
    min_p = 0.00,
    repetition_penalty = 1.0,
):
    messages = messages.copy()
    openai_client = OpenAI(
        base_url = "http://127.0.0.1:8001/v1",
        api_key = "sk-no-key-required",
    )
    model_name = next(iter(openai_client.models.list())).id
    print(f"Using model = {model_name}")
    has_tool_calls = True
    original_messages_len = len(messages)
    while has_tool_calls:
        print(f"Current messages = {messages}")
        response = openai_client.chat.completions.create(
            model = model_name,
            messages = messages,
            temperature = temperature,
            top_p = top_p,
            tools = tools if tools else None,
            tool_choice = "auto" if tools else None,
            extra_body = {"top_k": top_k, "min_p": min_p, "repetition_penalty" :repetition_penalty,}
        )
        tool_calls = response.choices[0].message.tool_calls or []
        content = response.choices[0].message.content or ""
        tool_calls_dict = [tc.to_dict() for tc in tool_calls] if tool_calls else tool_calls
        messages.append({"role": "assistant", "tool_calls": tool_calls_dict, "content": content,})
        for tool_call in tool_calls:
            fx, args, _id = tool_call.function.name, tool_call.function.arguments, tool_call.id
            out = MAP_FN[fx](**json.loads(args))
            messages.append({"role": "tool", "tool_call_id": _id, "name": fx, "content": str(out),})
        else:
            has_tool_calls = False
    return messages

Après avoir lancé Qwen3.5 via llama-server comme dans Qwen3.5 ou voir Tool Calling Guide pour plus de détails, nous pouvons ensuite effectuer quelques appels d'outils.

📊 Benchmarks

Benchmarks GGUF Unsloth

Nous avons mis à jour les quantifications dynamiques Unsloth de Qwen3.5-35B étant SOTA sur presque tous les bits. Nous avons effectué plus de 150 benchmarks de divergence KL, totalisant 9 To de GGUF. Nous avons téléchargé tous les artefacts de recherche. Nous avons aussi corrigé un appel d’outils modèle de chat bug (affecte tous les uploaders de quantification)

Tous les GGUF sont désormais mis à jour avec un algorithme de quantification amélioré .
Tous utilisent nos nouvelles données imatrix. Voyez quelques améliorations dans les cas d’usage de chat, codage, long contexte et appel d’outils.
Les GGUF Qwen3.5-35B-A3B sont mis à jour pour utiliser les nouveaux correctifs (112B, 27B sont encore en conversion, retéléchargez-les une fois qu’ils sont mis à jour)
99.9% de divergence KL montre le SOTA sur la frontière de Pareto pour UD-Q4_K_XL, IQ3_XXS et plus.
Retrait de MXFP4 de toutes les quantifications GGUF : Q2_K_XL, Q3_K_XL et Q4_K_XL, sauf pour le pur MXFP4_MOE.

LISEZ ICI NOTRE ANALYSE DÉTAILLÉE DE QWEN3.5 + BENCHMARKS :

Benchmarks Qwen3.5 GGUF

Benchmarks Qwen3.5-397B-A17B

Benjamin Marie (tiers) a benchmarké Qwen3.5-397B-A17B en utilisant les GGUF Unsloth sur une suite mixte de 750 prompts (LiveCodeBench v6, MMLU Pro, GPQA, Math500), en rapportant à la fois la précision globale et l’augmentation relative de l’erreur (à quelle fréquence le modèle quantifié fait plus d’erreurs que l’original).

Résultats clés (précision ; changement vs. original ; augmentation relative de l’erreur) :

Poids originaux : 81.3%
UD-Q4_K_XL : 80.5% (−0.8 points ; +4.3% d’augmentation relative de l’erreur)
UD-Q3_K_XL : 80.7% (−0.6 points ; +3.5% d’augmentation relative de l’erreur)

UD-Q4_K_XL et UD-Q3_K_XL restent extrêmement proches de l’original, bien en dessous d’une baisse de précision d’1 point sur cette suite, ce que Ben laisse entendre comme signifiant que vous pouvez réduire fortement l’empreinte mémoire (~500 Go de moins) avec peu ou pas de perte pratique sur les tâches testées.

Comment choisir : Le fait que Q3 obtienne ici un score légèrement supérieur à Q4 est tout à fait plausible comme variance normale d’une exécution à l’autre à cette échelle, donc considérez Q3 et Q4 comme d’une qualité effectivement similaire dans ce benchmark :

Choisissez Q3 si vous voulez la plus petite empreinte / les meilleures économies de mémoire
Choisissez Q4 si vous voulez une option légèrement plus conservatrice avec des similaires résultats

Toutes les quantifications listées utilisent notre méthodologie dynamique. Même UD-IQ2_M utilise la même méthodologie dynamique cependant le processus de conversion est différent de UD-Q2-K-XL où K-XL est généralement plus rapide que UD-IQ2_M même s’il est plus grand, c’est pourquoi UD-IQ2_M peut offrir de meilleures performances que UD-Q2-K-XL.

Benchmarks officiels de Qwen

Benchmarks Qwen3.5-35B-A3B, 27B et 122B-A10B

Benchmarks Qwen3.5-4B et 9B

Benchmarks Qwen3.5-397B-A17B

PrécédentFine-tune Gemma 4 SuivantFine-tune Qwen3.5

Mis à jour il y a 2 mois

Ce contenu vous a-t-il été utile ?