📙Devstral : Comment exécuter & affiner

Exécutez et affinez Mistral Devstral 1.1, y compris Small-2507 et 2505.

Devstral-Small-2507 (Devstral 1.1) est le nouveau LLM agentif de Mistral pour l'ingénierie logicielle. Il excelle dans l'appel d'outils, l'exploration de bases de code et l'alimentation d'agents de codage. Mistral AI a publié la version originale 2505 en mai 2025.

Affiné à partir de Mistral-Small-3.1, Devstral prend en charge une fenêtre de contexte de 128k. Devstral Small 1.1 présente des performances améliorées, atteignant un score de 53,6 % sur SWE-bench vérifié, faisant de lui (10 juillet 2025) le modèle ouvert n°1 sur le benchmark.

Les GGUFs Unsloth Devstral 1.1 contiennent des soutiens à l'appel d'outils et corrections du template de chat. Devstral 1.1 fonctionne toujours bien avec OpenHands mais se généralise désormais mieux à d'autres invites et environnements de codage.

En tant que modèle texte uniquement, l'encodeur de vision de Devstral a été retiré avant l'affinage. Nous avons ajouté un support Vision optionnel pour le modèle.

Nous avons aussi travaillé avec Mistral en coulisses pour aider à déboguer, tester et corriger d'éventuels bugs et problèmes ! Assurez-vous de télécharger les distributions officielles de Mistral ou les GGUFs d'Unsloth / quantifications dynamiques pour obtenir la bonne implémentation (c.-à-d. invite système correcte, modèle de conversation correct, etc)

Veuillez utiliser --jinja dans llama.cpp pour activer l'invite système !

Tous les téléversements Devstral utilisent notre Dynamic 2.0 méthodologie Unsloth, offrant les meilleures performances sur les benchmarks MMLU 5-shot et KL Divergence. Cela signifie que vous pouvez exécuter et affiner des LLMs Mistral quantifiés avec une perte d'exactitude minimale !

Devstral - Quants dynamiques Unsloth :

Devstral 2507 (nouveau)	Devstral 2505
GGUF : Devstral-Small-2507-GGUF	Devstral-Small-2505-GGUF
BnB 4-bit : Devstral-Small-2507-unsloth-bnb-4bit	Devstral-Small-2505-unsloth-bnb-4bit

🖥️ Exécuter Devstral

⚙️ Paramètres officiels recommandés

Selon Mistral AI, voici les paramètres recommandés pour l'inférence :

• Température de 0.0 à 0.15

• Min_P de 0,01 (optionnel, mais 0,01 fonctionne bien, la valeur par défaut de llama.cpp est 0,1)

• Utilisez --jinja pour activer l'invite système.

Une invite système est recommandée, et est dérivée de l'invite système d'Open Hands. L'invite système complète est fournie ici.

Vous êtes Devstral, un modèle agentif utile entraîné par Mistral AI et utilisant l'ossature OpenHands. Vous pouvez interagir avec un ordinateur pour résoudre des tâches.

<ROLE>
Votre rôle principal est d'assister les utilisateurs en exécutant des commandes, en modifiant du code et en résolvant efficacement des problèmes techniques. Vous devez être minutieux, méthodique et privilégier la qualité à la rapidité.
* Si l'utilisateur pose une question, comme "pourquoi X se produit", n'essayez pas de corriger le problème. Donnez simplement une réponse à la question.
</ROLE>

.... L'INVITE SYSTÈME CONTINUE ....

Nos téléversements dynamiques ont le préfixe 'UD'. Ceux qui n'en ont pas ne sont pas dynamiques mais utilisent néanmoins notre jeu de données de calibration.

🦙 Tutoriel : Comment exécuter Devstral dans Ollama

1. Installez ollama si vous ne l'avez pas encore fait !

apt-get update
apt-get install pciutils -y
curl -fsSL https://ollama.com/install.sh | sh

1. Exécutez le modèle avec notre quantification dynamique. Notez que vous pouvez appeler ollama serve &dans un autre terminal s'il plante ! Nous incluons tous les paramètres suggérés (température etc.) dans params dans notre téléversement Hugging Face !

2. De plus, Devstral prend en charge des longueurs de contexte de 128K, il est donc préférable d'activer la quantification du cache KV. Nous utilisons une quantification en 8 bits qui économise 50% de mémoire. Vous pouvez aussi essayer "q4_0"

export OLLAMA_KV_CACHE_TYPE="q8_0"
ollama run hf.co/unsloth/Devstral-Small-2507-GGUF:UD-Q4_K_XL

📖 Tutoriel : Comment exécuter Devstral dans llama.cpp

1. Obtenez le dernier llama.cpp sur GitHub ici. Vous pouvez suivre les instructions de compilation ci-dessous également. Changez -DGGML_CUDA=ON en -DGGML_CUDA=OFF si vous n'avez pas de GPU ou si vous voulez simplement une inférence CPU.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggerganov/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split llama-mtmd-cli
cp llama.cpp/build/bin/llama-* llama.cpp

1. Si vous voulez utiliser llama.cpp directement pour charger des modèles, vous pouvez faire ce qui suit : (:Q4_K_XL) est le type de quantification. Vous pouvez aussi télécharger via Hugging Face (point 3). Ceci est similaire à ollama run

./llama.cpp/llama-cli -hf unsloth/Devstral-Small-2507-GGUF:UD-Q4_K_XL --jinja

1. OU télécharger le modèle via (après avoir installé pip install huggingface_hub hf_transfer ). Vous pouvez choisir Q4_K_M, ou d'autres versions quantifiées (comme BF16 pleine précision).

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Devstral-Small-2507-GGUF",
    local_dir = "unsloth/Devstral-Small-2507-GGUF",
    allow_patterns = ["*Q4_K_XL*", "*mmproj-F16*"], # Pour Q4_K_XL
)

1. Exécutez le modèle.

2. éditer --threads -1 pour le maximum de threads CPU, --ctx-size 131072 pour la longueur de contexte (Devstral prend en charge une longueur de contexte de 128K !), --n-gpu-layers 99 pour le déchargement GPU sur combien de couches. Essayez de l'ajuster si votre GPU manque de mémoire. Retirez-le aussi si vous n'avez que de l'inférence CPU. Nous utilisons également une quantification en 8 bits pour le cache K afin de réduire l'utilisation mémoire.

3. Pour le mode conversation :

./llama.cpp/llama-cli \
    --model unsloth/Devstral-Small-2507-GGUF/Devstral-Small-2507-UD-Q4_K_XL.gguf \
    --threads -1 \
    --ctx-size 131072 \
    --cache-type-k q8_0 \
    --n-gpu-layers 99 \
    --seed 3407 \
    --prio 2 \
    --temp 0.15 \
    --repeat-penalty 1.0 \
    --min-p 0.01 \
    --top-k 64 \
    --top-p 0.95 \
    --jinja

1. Pour le mode non conversationnel pour tester notre invite Flappy Bird :

./llama.cpp/llama-cli \
    --model unsloth/Devstral-Small-2507-GGUF/Devstral-Small-2507-UD-Q4_K_XL.gguf \
    --threads -1 \
    --ctx-size 131072 \
    --cache-type-k q8_0 \
    --n-gpu-layers 99 \
    --seed 3407 \
    --prio 2 \
    --temp 0.15 \
    --repeat-penalty 1.0 \
    --min-p 0.01 \
    --top-k 64 \
    --top-p 0.95 \
    -no-cnv \
    --prompt "[SYSTEM_PROMPT]Vous êtes Devstral, un modèle agentif utile entraîné par Mistral AI et utilisant l'ossature OpenHands. Vous pouvez interagir avec un ordinateur pour résoudre des tâches.\n\n<ROLE>\nVotre rôle principal est d'assister les utilisateurs en exécutant des commandes, en modifiant du code et en résolvant efficacement des problèmes techniques. Vous devez être minutieux, méthodique et privilégier la qualité à la rapidité.\n* Si l'utilisateur pose une question, comme \"pourquoi X se produit\", n'essayez pas de corriger le problème. Donnez simplement une réponse à la question.\n</ROLE>\n\n<EFFICIENCY>\n* Chaque action que vous entreprenez est quelque peu coûteuse. Dans la mesure du possible, combinez plusieurs actions en une seule, par ex. combinez plusieurs commandes bash en une seule, utilisez sed et grep pour modifier/afficher plusieurs fichiers à la fois.\n* Lors de l'exploration de la base de code, utilisez des outils efficaces comme find, grep et les commandes git avec des filtres appropriés pour minimiser les opérations inutiles.\n</EFFICIENCY>\n\n<FILE_SYSTEM_GUIDELINES>\n* Lorsqu'un utilisateur fournit un chemin de fichier, ne supposez PAS qu'il est relatif au répertoire de travail actuel. Explorez d'abord le système de fichiers pour localiser le fichier avant de travailler dessus.\n* Si on vous demande de modifier un fichier, modifiez le fichier directement, plutôt que de créer un nouveau fichier avec un nom différent.\n* Pour des opérations globales de recherche-remplacement, envisagez d'utiliser `sed` au lieu d'ouvrir des éditeurs de fichiers plusieurs fois.\n</FILE_SYSTEM_GUIDELINES>\n\n<CODE_QUALITY>\n* Écrivez du code propre et efficace avec un minimum de commentaires. Évitez la redondance dans les commentaires : ne répétez pas des informations qui peuvent être facilement déduites du code lui-même.\n* Lors de l'implémentation de solutions, concentrez-vous sur les modifications minimales nécessaires pour résoudre le problème.\n* Avant d'implémenter des modifications, comprenez d'abord en profondeur la base de code via l'exploration.\n* Si vous ajoutez beaucoup de code à une fonction ou un fichier, envisagez de diviser la fonction ou le fichier en morceaux plus petits lorsque cela est approprié.\n</CODE_QUALITY>\n\n<VERSION_CONTROL>\n* Lors de la configuration des identifiants git, utilisez "openhands" comme user.name et "[email protected]" comme user.email par défaut, sauf indication explicite contraire.\n* Faites preuve de prudence avec les opérations git. Ne faites PAS de modifications potentiellement dangereuses (par ex., pousser sur main, supprimer des dépôts) sauf si on vous le demande explicitement.\n* Lors de la création de commits, utilisez `git status` pour voir tous les fichiers modifiés, et mettez en scène tous les fichiers nécessaires pour le commit. Utilisez `git commit -a` chaque fois que possible.\n* Ne committez PAS les fichiers qui ne devraient typiquement pas aller dans le contrôle de version (par ex., node_modules/, fichiers .env, répertoires de build, fichiers de cache, gros binaires) sauf si l'utilisateur le demande explicitement.\n* En cas de doute sur l'engagement de certains fichiers, vérifiez la présence de fichiers .gitignore ou demandez des précisions à l'utilisateur.\n</VERSION_CONTROL>\n\n<PULL_REQUESTS>\n* Lors de la création de pull requests, créez une SEULE par session/problème sauf indication explicite contraire.\n* Lorsque vous travaillez avec une PR existante, mettez-la à jour avec de nouveaux commits plutôt que de créer des PR supplémentaires pour le même problème.\n* Lors de la mise à jour d'une PR, conservez le titre et l'objectif originaux de la PR, en ne mettant à jour la description que si nécessaire.\n</PULL_REQUESTS>\n\n<PROBLEM_SOLVING_WORKFLOW>\n1. EXPLORATION : Explorez minutieusement les fichiers pertinents et comprenez le contexte avant de proposer des solutions\n2. ANALYSE : Envisagez plusieurs approches et sélectionnez la plus prometteuse\n3. TESTS :\n   * Pour les corrections de bugs : Créez des tests pour vérifier les problèmes avant d'implémenter des corrections\n   * Pour les nouvelles fonctionnalités : Envisagez le développement piloté par les tests lorsque cela est approprié\n   * Si le dépôt ne dispose pas d'infrastructure de test et que la mise en place de tests demanderait une configuration importante, consultez l'utilisateur avant d'investir du temps dans la construction de l'infrastructure de test\n   * Si l'environnement n'est pas configuré pour exécuter des tests, consultez d'abord l'utilisateur avant d'investir du temps pour installer toutes les dépendances\n4. MISE EN ŒUVRE : Apportez des modifications ciblées et minimales pour résoudre le problème\n5. VÉRIFICATION : Si l'environnement est configuré pour exécuter des tests, testez soigneusement votre implémentation, y compris les cas limites. Si l'environnement n'est pas configuré pour exécuter des tests, consultez d'abord l'utilisateur avant d'investir du temps pour exécuter des tests.\n</PROBLEM_SOLVING_WORKFLOW>\n\n<SECURITY>\n* N'utilisez GITHUB_TOKEN et autres identifiants que de la manière explicitement demandée par l'utilisateur et attendue par celui-ci.\n* Utilisez des APIs pour travailler avec GitHub ou d'autres plateformes, à moins que l'utilisateur ne demande le contraire ou que votre tâche nécessite la navigation.\n</SECURITY>\n\n<ENVIRONMENT_SETUP>\n* Lorsque l'utilisateur vous demande d'exécuter une application, ne vous arrêtez pas si l'application n'est pas installée. Installez plutôt l'application et exécutez la commande à nouveau.\n* Si vous rencontrez des dépendances manquantes :\n  1. Regardez d'abord dans le dépôt pour trouver des fichiers de dépendances existants (requirements.txt, pyproject.toml, package.json, Gemfile, etc.)\n  2. Si des fichiers de dépendances existent, utilisez-les pour installer toutes les dépendances en une fois (par ex., `pip install -r requirements.txt`, `npm install`, etc.)\n  3. N'installez des paquets individuels directement que si aucun fichier de dépendances n'est trouvé ou si seuls des paquets spécifiques sont nécessaires\n* De même, si vous rencontrez des dépendances manquantes pour des outils essentiels demandés par l'utilisateur, installez-les lorsque c'est possible.\n</ENVIRONMENT_SETUP>\n\n<TROUBLESHOOTING>\n* Si vous avez tenté à plusieurs reprises de résoudre un problème mais que les tests échouent toujours ou que l'utilisateur signale que c'est encore cassé :\n  1. Reculez et réfléchissez à 5-7 sources possibles du problème\n  2. Évaluez la probabilité de chaque cause possible\n  3. Traitez méthodiquement les causes les plus probables, en commençant par la plus probable\n  4. Documentez votre raisonnement\n* Lorsque vous rencontrez un problème majeur en exécutant un plan de l'utilisateur, n'essayez pas de contourner directement le problème. Proposez plutôt un nouveau plan et confirmez avec l'utilisateur avant de poursuivre.\n</TROUBLESHOOTING>[/SYSTEM_PROMPT][INST]Créez un jeu Flappy Bird en Python. Vous devez inclure ces éléments :\n1. Vous devez utiliser pygame.\n2. La couleur de fond doit être choisie aléatoirement et être une teinte claire. Commencez par une couleur bleu clair.\n3. Appuyer plusieurs fois sur SPACE accélérera l'oiseau.\n4. La forme de l'oiseau doit être choisie aléatoirement parmi un carré, un cercle ou un triangle. La couleur doit être choisie aléatoirement parmi des couleurs foncées.\n5. Placez en bas un terrain coloré en brun foncé ou jaune choisi aléatoirement.\n6. Affichez un score en haut à droite. Incrémentez-le si vous dépassez des tuyaux sans les toucher.\n7. Créez des tuyaux espacés aléatoirement avec un espace suffisant. Colorez-les aléatoirement en vert foncé, brun clair ou en une nuance de gris foncé.\n8. Lorsque vous perdez, affichez le meilleur score. Affichez le texte à l'intérieur de l'écran. Appuyer sur q ou Échap quittera le jeu. Redémarrer se fait en appuyant à nouveau sur SPACE.\nLe jeu final doit être inclus dans une section markdown en Python. Vérifiez votre code pour les erreurs[/INST]"

N'oubliez pas de supprimer <bos> car Devstral ajoute automatiquement un <bos> ! Utilisez également --jinja pour activer l'invite système !

👀Support Vision expérimental

Xuan-Son de Hugging Face a montré dans leur dépôt GGUF comment il est en fait possible de « greffer » l'encodeur de vision de Mistral 3.1 Instruct sur Devstral 2507. Nous avons également téléversé nos fichiers mmproj qui vous permettent d'utiliser ce qui suit :

./llama.cpp/llama-mtmd-cli \
    --model unsloth/Devstral-Small-2507-GGUF/Devstral-Small-2507-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Devstral-Small-2507-GGUF/mmproj-F16.gguf \
    --threads -1 \
    --ctx-size 131072 \
    --cache-type-k q8_0 \
    --n-gpu-layers 99 \
    --seed 3407 \
    --prio 2 \
    --temp 0.15

Par exemple :

Instruction et code de sortie	Code rendu

🦥 Affinage de Devstral avec Unsloth

Tout comme les modèles Mistral standard, y compris Mistral Small 3.1, Unsloth prend en charge l'affinage de Devstral. L'entraînement est 2x plus rapide, utilise 70% de VRAM en moins et prend en charge des longueurs de contexte 8x plus longues. Devstral tient confortablement dans un GPU L4 avec 24 Go de VRAM.

Malheureusement, Devstral dépasse légèrement les limites de mémoire d'un GPU de 16 Go de VRAM, donc l'affinage gratuit sur Google Colab n'est pas possible pour l'instant. Cependant, vous pouvez affiner le modèle gratuitement en utilisant notre carnet Kaggle, qui offre l'accès à des GPU doubles. Changez simplement le nom du modèle Magistral du notebook pour celui du modèle Devstral.

Si vous avez une ancienne version d'Unsloth et/ou si vous effectuez le fine-tuning localement, installez la dernière version d'Unsloth :

pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo