Guide pour exécuter localement les modèles Mistral Devstral 2 : 123B-Instruct-2512 et Small-2-24B-Instruct-2512.
Devstral 2 sont les nouveaux LLMs de Mistral pour le codage et les agents, destinés à l’ingénierie logicielle, disponibles en 24B et 123B tailles. Le modèle 123B atteint le SOTA sur SWE-bench, le codage, l’appel d’outils et les cas d’usage agents. Le modèle 24B tient dans 25 Go de RAM/VRAM et le 123B tient dans 128 Go.
Mise à jour du 13 décembre 2025
Nous avons résolu des problèmes dans le modèle de chat de Devstral, et les résultats devraient être nettement meilleurs. Les versions 24B et 123B ont été mises à jour. Installez aussi la dernière version de llama.cpp au 13 décembre 2025 !
Devstral 2 prend en charge les capacités de vision, une fenêtre de contexte de 256k et utilise la même architecture que Ministral 3. Vous pouvez maintenant exécuter et affiner les deux modèles localement avec Unsloth.
Tous les téléchargements de Devstral 2 utilisent notre méthodologie Unsloth Dynamic 2.0 , offrant les meilleures performances sur les benchmarks Aider Polyglot et MMLU en 5-shot.
Consultez nos guides étape par étape pour exécuter Devstral 24B et le grand modèle Devstral 123B . Les deux modèles prennent en charge la vision, mais actuellement la vision n’est pas prise en charge dans llama.cpp
⚙️ Guide d’utilisation
Voici les paramètres recommandés pour l’inférence :
Température ~0,15
Min_P de 0,01 (facultatif, mais 0,01 fonctionne bien ; la valeur par défaut de llama.cpp est 0,1)
Le GGUF Devstral-Small-2-24B en précision complète (Q8) tiendra dans 25 Go de RAM/VRAM. Texte uniquement pour l’instant.
✨ Exécuter Devstral-Small-2-24B-Instruct-2512 dans llama.cpp
Obtenez la dernière version de llama.cpp sur GitHub ici. Vous pouvez aussi suivre les instructions de compilation ci-dessous. Changez -DGGML_CUDA=ON en -DGGML_CUDA=OFF si vous n’avez pas de GPU ou si vous souhaitez simplement une inférence CPU. Pour les appareils Apple Mac / Metal, définissez -DGGML_CUDA=OFF puis continuez comme d’habitude - la prise en charge de Metal est activée par défaut.
Si vous souhaitez utiliser llama.cpp directement pour charger des modèles, vous pouvez faire ce qui suit : (:Q4_K_XL) est le type de quantification. Vous pouvez aussi télécharger directement depuis Hugging Face :
Téléchargez le modèle via (après avoir installé pip install huggingface_hub hf_transfer ). Vous pouvez choisir UD_Q4_K_XL ou d’autres versions quantifiées.
Nous obtenons l’image via wget https://unsloth.ai/cgi/image/fp8grpolarge_KharloZxEEaHAY2X97CEX.png?width=3840%26quality=80%26format=auto -O unsloth_fp8.png qui enregistrera l’image sous « unsloth_fp8.png »
Puis chargez l’image via /image unsloth_fp8.png après que le modèle est chargé, comme indiqué ci-dessous :
Nous lui demandons ensuite Décris cette image et obtenons ce qui suit :
🚚Devstral-2-123B
Le GGUF Devstral-Small-2-123B en précision complète (Q8) tiendra dans 128 Go de RAM/VRAM. Texte uniquement pour l’instant.
✨ Tutoriel d’exécution de Devstral-2-123B-Instruct-2512
Obtenez la dernière version de llama.cpp sur GitHub ici. Vous pouvez aussi suivre les instructions de compilation ci-dessous. Changez -DGGML_CUDA=ON en -DGGML_CUDA=OFF si vous n’avez pas de GPU ou si vous souhaitez simplement une inférence CPU.
Vous pouvez le télécharger directement depuis HuggingFace via :
Téléchargez le modèle via (après avoir installé pip install huggingface_hub hf_transfer ). Vous pouvez choisir UD_Q4_K_XL ou d’autres versions quantifiées.
Exécutez le modèle en mode conversation :
🦥 Affinage de Devstral 2 avec Unsloth
Tout comme Ministral 3, Unsloth prend en charge l’affinage de Devstral 2. L’entraînement est 2x plus rapide, utilise 70 % de VRAM en moins et prend en charge des longueurs de contexte 8x plus longues. Devstral 2 tient confortablement dans un GPU L4 avec 24 Go de VRAM.
Malheureusement, Devstral 2 dépasse légèrement les limites de mémoire d’une VRAM de 16 Go, donc son affinage gratuitement sur Google Colab n’est pas possible pour l’instant. Cependant, vous pouvez affiner le modèle gratuitement en utilisant notre notebook Kaggle, qui offre l’accès à deux GPU. Il suffit de modifier le nom du modèle Magistral dans le notebook pour le unsloth/Devstral-Small-2-24B-Instruct-2512 modèle.
Nous avons créé des notebooks Unsloth gratuits pour affiner Ministral 3, et ils prennent directement en charge Devstral 2, puisqu’ils partagent la même architecture ! Changez le nom pour utiliser le modèle souhaité.
Ministral-3B-Instruct Notebook vision (vision) (Changez le nom du modèle en Devstral 2)
Ministral-3B-Instruct Notebook GRPO (Changez le nom du modèle en Devstral 2)
Pour déployer Devstral 2 en production, nous utilisons llama-server Dans un nouveau terminal, par exemple via tmux, déployez le modèle via :
Lorsque vous exécutez ce qui précède, vous obtiendrez :
Puis dans un nouveau terminal, après avoir fait pip install openai, faites :
Ce qui affichera simplement 4.
🧰Tutoriel d’appel d’outils avec Devstral 2
Après avoir suivi Devstral 2 nous pouvons ensuite charger quelques outils et voir Devstral en action ! Créons quelques outils — copiez, collez et exécutez-les en Python.
Nous posons ensuite une question simple à partir d’une liste aléatoire de messages possibles pour tester le modèle :
Nous utilisons ensuite les fonctions ci-dessous (copiez-collez et exécutez) qui analyseront automatiquement les appels de fonction — Devstral 2 peut en faire plusieurs en parallèle !
import json, subprocess, random
from typing import Any
def add_number(a: float | str, b: float | str) -> float:
return float(a) + float(b)
def multiply_number(a: float | str, b: float | str) -> float:
return float(a) * float(b)
def subtract_number(a: float | str, b: float | str) -> float:
return float(a) - float(b)
def write_a_story() -> str:
return random.choice([
"Il était une fois, dans une galaxie très, très lointaine...",
"Il y avait 2 amis qui aimaient les paresseux et le code...",
"Le monde touchait à sa fin parce que chaque paresseux avait évolué pour acquérir une intelligence surhumaine...",
"À l’insu d’un ami, l’autre a accidentellement codé un programme pour faire évoluer des paresseux...",
])
def terminal(command: str) -> str:
if "rm" in command or "sudo" in command or "dd" in command or "chmod" in command:
msg = "Impossible d’exécuter les commandes 'rm, sudo, dd, chmod' car elles sont dangereuses"
print(msg); return msg
print(f"Exécution de la commande terminal `{command}`")
try:
return str(subprocess.run(command, capture_output = True, text = True, shell = True, check = True).stdout)
except subprocess.CalledProcessError as e:
return f"La commande a échoué : {e.stderr}"
def python(code: str) -> str:
data = {}
exec(code, data)
del data["__builtins__"]
return str(data)
MAP_FN = {
"add_number": add_number,
"multiply_number": multiply_number,
"subtract_number": subtract_number,
"write_a_story": write_a_story,
"terminal": terminal,
"python": python,
}
tools = [
{
"type": "function",
"function": {
"name": "add_number",
"description": "Ajouter deux nombres.",
"parameters": {
"type": "object",
"properties": {
"a": {
"type": "string",
"description": "Le premier nombre.",
},
"b": {
"type": "string",
"description": "Le second nombre.",
},
},
"required": ["a", "b"],
},
},
},
{
"type": "function",
"function": {
"name": "multiply_number",
"description": "Multiplier deux nombres.",
"parameters": {
"type": "object",
"properties": {
"a": {
"type": "string",
"description": "Le premier nombre.",
},
"b": {
"type": "string",
"description": "Le second nombre.",
},
},
"required": ["a", "b"],
},
},
},
{
"type": "function",
"function": {
"name": "subtract_number",
"description": "Soustraire deux nombres.",
"parameters": {
"type": "object",
"properties": {
"a": {
"type": "string",
"description": "Le premier nombre.",
},
"b": {
"type": "string",
"description": "Le second nombre.",
},
},
"required": ["a", "b"],
},
},
},
{
"type": "function",
"function": {
"name": "write_a_story",
"description": "Écrit une histoire aléatoire.",
"parameters": {
"type": "object",
"properties": {},
"required": [],
},
},
},
{
"type": "function",
"function": {
"name": "terminal",
"description": "Effectuer des opérations depuis le terminal.",
"parameters": {
"type": "object",
"properties": {
"command": {
"type": "string",
"description": "La commande que vous souhaitez lancer, par ex. `ls`, `rm`, ...",
},
},
"required": ["command"],
},
},
},
{
"type": "function",
"function": {
"name": "python",
"description": "Appeler un interpréteur Python avec du code Python qui sera exécuté.",
"parameters": {
"type": "object",
"properties": {
"code": {
"type": "string",
"description": "Le code Python à exécuter",
},
},
"required": ["code"],
},
},
},
]
import random
messages = [{
"role": "user",
"content": [random.choice([
{"type": "text", "text": "Pourriez-vous m’écrire une histoire ?"},
{"type": "text", "text": "Quelle est la date d’aujourd’hui plus 3 jours ?"},
{"type": "text", "text": "Obtenez l’heure actuelle en nanosecondes."},
{"type": "text", "text": "Créez une fonction Fibonacci en Python et calculez fib(20)."},
])],
}]
temperature = 0.15
from openai import OpenAI
openai_client = OpenAI(
base_url = "http://127.0.0.1:8001/v1",
api_key = "sk-no-key-required",
)
model_name = next(iter(openai_client.models.list())).id
print(f"Using model = {model_name}")
has_tool_calls = True
original_messages_len = len(messages)
while has_tool_calls:
print(f"Current messages = {messages}")
response = openai_client.chat.completions.create(
model = model_name,
messages = messages,
temperature = temperature,
tools = tools if tools else None,
tool_choice = "auto" if tools else None,
)
tool_calls = response.choices[0].message.tool_calls or []
content = response.choices[0].message.content or ""
tool_calls_dict = [tc.to_dict() for tc in tool_calls] if tool_calls else tool_calls
messages.append({"role": "assistant", "tool_calls": tool_calls_dict, "content": content,})
for tool_call in tool_calls:
fx, args, _id = tool_call.function.name, tool_call.function.arguments, tool_call.id
out = MAP_FN[fx](**json.loads(args))
messages.append({"role": "tool", "tool_call_id": _id, "name": fx, "content": str(out),})
else:
has_tool_calls = False
print(json.dumps(messages[original_messages_len:], indent = 2))
[
{
"role": "assistant",
"tool_calls": [
{
"id": "JviLK0wUveWguuKQHgZdFdYI2adu85jy",
"function": {
"arguments": "{}",
"name": "write_a_story"
},
"type": "function"
}
],
"content": null
},
{
"role": "tool",
"tool_call_id": "JviLK0wUveWguuKQHgZdFdYI2adu85jy",
"name": "write_a_story",
"content": "Il était une fois, dans une galaxie très, très lointaine..."
},
{
"role": "assistant",
"tool_calls": null,
"content": "Dans une galaxie lointaine, où les étoiles brûlaient d’une lueur surnaturelle, il y avait une planète nommée Eldoria. Eldoria était un monde de forts contrastes — des villes vibrantes nichées entre des montagnes imposantes et de vastes déserts qui s’étendaient à l’infini sous deux soleils. Les habitants d’Eldoria étaient connus dans tout l’univers pour leur maîtrise de l’énergie, en particulier leurs légendaires sabres laser.\n\nCes sabres n’étaient pas de simples armes ; ils étaient le prolongement de l’âme de leurs porteurs, forgés à partir de cristaux rares qui pulsaient de l’essence du cosmos. Chaque sabre était unique, sa couleur et sa puissance reflétant la personnalité et l’esprit de son propriétaire. Les guerriers les plus habiles, connus sous le nom de Saberborn, pouvaient manier leurs sabres avec une telle précision et une telle grâce qu’ils semblaient danser avec la trame même de la réalité.\n\nParmi les Saberborn, il y avait un guerrier nommé Kael. Kael était un paria, ancien gardien des temples sacrés du Sabre, exilé pour avoir défié les ordres du conseil. Le conseil cherchait à accaparer le pouvoir des sabres laser afin de contrôler le peuple d’Eldoria. Kael croyait que les sabres devaient être maniés par ceux qui cherchaient à protéger, et non à dominer.\n\nUn jour, Kael reçut un signal de détresse provenant d’un petit village à la périphérie du désert. Le village était attaqué par une faction rebelle de Saberborn, menée par un seigneur de guerre impitoyable nommé Vexis. Vexis cherchait à s’emparer de l’ancien reliquaire du village — un cristal censé décupler la puissance de n’importe quel sabre laser. Si Vexis réussissait, son armée deviendrait irrésistible, et Eldoria sombrerait dans les ténèbres.\n\nKael savait qu’il devait agir. Il accrocha son sabre — une lame bleu profond qui bourdonnait de l’énergie du cosmos — et traversa le désert. Le voyage était périlleux, entre tempêtes de sable et pièges dissimulés par les éclaireurs de Vexis. Mais Kael poursuivit sa route, porté par le souvenir des personnes qu’il avait autrefois juré de protéger.\n\nLorsqu’il atteignit le village, la bataille battait déjà son plein. Les guerriers de Vexis maniaient leurs sabres avec une brutalité redoutable, abattant les défenseurs avec aisance. Kael se jeta dans la mêlée, son sabre bleu n’étant plus qu’un flou de lumière tandis qu’il désarmait et vainquait un ennemi après l’autre. Les villageois, voyant leur sauveur arriver, se rassemblèrent derrière lui, leurs propres sabres scintillant alors qu’ils se battaient pour reconquérir leur foyer.\n\nKael affronta Vexis au centre de la place du village. Le sabre du seigneur de guerre était d’un vert maladif, pulsant d’une énergie sombre. « Tu es trop tard, Kael, » ricana Vexis. « Le reliquaire est à moi, et grâce à lui, je règnerai sur Eldoria. » Kael tint bon, son sabre levé. « Il faudra me passer sur le corps, » répondit-il.\n\nLes deux guerriers s’affrontèrent, leurs sabres s’entrechoquant dans une pluie d’étincelles. Kael sentit la puissance brute du reliquaire parcourir la lame de Vexis, mais il refusa de céder. Il canalisa sa propre énergie, son sabre brillant de plus en plus fort tandis qu’il repoussait l’assaut de Vexis. D’un ultime coup désespéré, Kael désarma Vexis, faisant tomber son sabre au sol dans un fracas métallique.\n\nVexis grogna de défaite, mais Kael ne le tua pas. À la place, il lui offrit un choix : « Rejoins-moi pour protéger Eldoria, ou pars et ne reviens jamais. » Vexis, humble et voyant la vérité dans les paroles de Kael, choisit de se ranger à ses côtés.\n\nAvec la faction de Vexis désormais alliée, Kael et les villageois récupérèrent le reliquaire, utilisant son pouvoir pour rétablir l’équilibre d’Eldoria. Les Temples du Sabre furent restaurés, et les sabres laser furent à nouveau maniés par ceux qui cherchaient à protéger, et non à contrôler.\n\nLa légende de Kael grandit, et il devint un symbole d’espoir pour le peuple d’Eldoria. Son histoire leur rappelait que même dans les moments les plus sombres, la lumière du courage et de la justice pouvait triompher. Ainsi, les Saberborn continuèrent d’exister, leurs sabres laser étant un phare de force et d’unité dans une galaxie pleine d’ombres."
}
]
