Guide pour l'exécution locale des modèles Mistral Devstral 2 : 123B-Instruct-2512 et Small-2-24B-Instruct-2512.
Devstral 2 sont les nouveaux LLMs codants et agentiques de Mistral pour l'ingénierie logicielle, disponibles en 24B et 123B tailles. Le modèle 123B obtient le SOTA dans SWE-bench, le codage, l'appel d'outils et les cas d'utilisation d'agents. Le modèle 24B tient dans 25 Go de RAM/VRAM et le 123B tient dans 128 Go.
Mise à jour du 13 décembre 2025
Nous avons résolu des problèmes dans le modèle de conversation de Devstral, et les résultats devraient être significativement meilleurs. Les modèles 24B et 123B ont été mis à jour. Installez aussi la dernière version de llama.cpp au 13 décembre 2025 !
Devstral 2 prend en charge des capacités de vision, une fenêtre de contexte de 256k et utilise la même architecture que Ministral 3. Vous pouvez maintenant exécuter et affiner les deux modèles localement avec Unsloth.
Tous les téléversements Devstral 2 utilisent notre Dynamic 2.0 méthodologie, offrant les meilleures performances sur Aider Polyglot et les benchmarks MMLU en 5 shots.
Voir nos guides étape par étape pour exécuter Devstral 24B et le grand Devstral 123B modèles. Les deux modèles prennent en charge la vision mais actuellement la vision n'est pas prise en charge dans llama.cpp
⚙️ Guide d'utilisation
Voici les paramètres recommandés pour l'inférence :
Température ~0,15
Min_P de 0,01 (optionnel, mais 0,01 fonctionne bien, la valeur par défaut de llama.cpp est 0,1)
La version en pleine précision (Q8) Devstral-Small-2-24B GGUF tiendra dans 25 Go de RAM/VRAM. Texte uniquement pour l'instant.
✨ Exécuter Devstral-Small-2-24B-Instruct-2512 dans llama.cpp
Obtenez la dernière llama.cpp sur GitHub ici. Vous pouvez également suivre les instructions de build ci-dessous. Changez -DGGML_CUDA=ON en -DGGML_CUDA=OFF si vous n'avez pas de GPU ou si vous voulez simplement l'inférence CPU.
Si vous voulez utiliser llama.cpp directement pour charger des modèles, vous pouvez faire ce qui suit : (:Q4_K_XL) est le type de quantification. Vous pouvez aussi récupérer directement depuis Hugging Face :
Téléchargez le modèle via (après avoir installé pip install huggingface_hub hf_transfer ). Vous pouvez choisir UD_Q4_K_XL ou d'autres versions quantifiées.
Nous obtenons l'image via wget https://unsloth.ai/cgi/image/fp8grpolarge_KharloZxEEaHAY2X97CEX.png?width=3840%26quality=80%26format=auto -O unsloth_fp8.png qui enregistrera l'image sous "unsloth_fp8.png"
Ensuite, chargez l'image via /image unsloth_fp8.png après que le modèle soit chargé comme montré ci-dessous :
Nous lui demandons ensuite Décrire cette image et obtenons ce qui suit :
🚚Devstral-2-123B
La version en pleine précision (Q8) Devstral-Small-2-123B GGUF tiendra dans 128 Go de RAM/VRAM. Texte uniquement pour l'instant.
✨ Exécuter le tutoriel Devstral-2-123B-Instruct-2512
Obtenez la dernière llama.cpp sur GitHub ici. Vous pouvez également suivre les instructions de build ci-dessous. Changez -DGGML_CUDA=ON en -DGGML_CUDA=OFF si vous n'avez pas de GPU ou si vous voulez simplement l'inférence CPU.
Vous pouvez récupérer directement depuis HuggingFace via :
Téléchargez le modèle via (après avoir installé pip install huggingface_hub hf_transfer ). Vous pouvez choisir UD_Q4_K_XL ou d'autres versions quantifiées.
Exécutez le modèle en mode conversation :
🦥 Affinage de Devstral 2 avec Unsloth
Tout comme Ministral 3, Unsloth prend en charge l'affinage de Devstral 2. L'entraînement est 2x plus rapide, utilise 70 % de VRAM en moins et prend en charge des longueurs de contexte 8x plus longues. Devstral 2 tient confortablement dans un GPU L4 de 24 Go de VRAM.
Malheureusement, Devstral 2 dépasse légèrement les limites de mémoire d'un VRAM de 16 Go, donc l'affiner gratuitement sur Google Colab n'est pas possible pour l'instant. Cependant, vous pouvez affiner le modèle gratuitement en utilisant notre carnet Kaggle, qui offre l'accès à des GPU doubles. Changez simplement le nom du modèle Magistral du carnet pour unsloth/Devstral-Small-2-24B-Instruct-2512 modèle.
Nous avons créé des notebooks Unsloth gratuits pour affiner Ministral 3, et prennent directement en charge Devstral 2, puisqu'ils partagent la même architecture ! Changez le nom pour utiliser le modèle souhaité.
Ministral-3B-Instruct Notebook Vision (vision) (Changez le nom du modèle en Devstral 2)
Ministral-3B-Instruct Notebook GRPO (Changez le nom du modèle en Devstral 2)
Pour déployer Devstral 2 en production, nous utilisons llama-server Dans un nouveau terminal, par exemple via tmux, déployez le modèle via :
Lorsque vous exécutez ce qui précède, vous obtiendrez :
Puis, dans un nouveau terminal, après avoir fait pip install openai, faites :
Ce qui affichera simplement 4.
🧰Appel d'outils avec Devstral 2 - Tutoriel
Après avoir suivi Devstral 2 nous pouvons ensuite charger quelques outils et voir Devstral en action ! Créons quelques outils - copiez, collez et exécutez-les en Python.
Nous posons ensuite une question simple à partir d'une liste aléatoire de messages possibles pour tester le modèle :
Nous utilisons ensuite les fonctions ci-dessous (copiez-collez et exécutez) qui analyseront automatiquement les appels de fonctions - Devstral 2 peut effectuer plusieurs appels en tandem !
import json, subprocess, random
from typing import Any
def add_number(a: float | str, b: float | str) -> float:
return float(a) + float(b)
def multiply_number(a: float | str, b: float | str) -> float:
return float(a) * float(b)
def substract_number(a: float | str, b: float | str) -> float:
return float(a) - float(b)
def write_a_story() -> str:
return random.choice([
"Il y a longtemps, dans une galaxie lointaine, très lointaine...",
"Il y avait 2 amis qui adoraient les paresseux et le code...",
"Le monde se terminait parce que chaque paresseux avait évolué pour avoir une intelligence surhumaine...",
"À l'insu d'un ami, l'autre a accidentellement programmé un logiciel pour faire évoluer les paresseux...",
])
def terminal(command: str) -> str:
if "rm" in command or "sudo" in command or "dd" in command or "chmod" in command:
msg = "Impossible d'exécuter les commandes 'rm, sudo, dd, chmod' car elles sont dangereuses"
print(msg); return msg
print(f"Exécution de la commande terminal `{command}`")
try:
return str(subprocess.run(command, capture_output = True, text = True, shell = True, check = True).stdout)
except subprocess.CalledProcessError as e:
return f"Échec de la commande : {e.stderr}"
def python(code: str) -> str:
data = {}
exec(code, data)
del data["__builtins__"]
return str(data)
MAP_FN = {
"add_number": add_number,
"multiply_number": multiply_number,
"substract_number": substract_number,
"write_a_story": write_a_story,
"terminal": terminal,
"python": python,
}
tools = [
{
"type": "function",
"function": {
"name": "add_number",
"description": "Ajouter deux nombres.",
"parameters": {
"type": "object",
"properties": {
"a": {
"type": "string",
"description": "Le premier nombre.",
},
"b": {
"type": "string",
"description": "Le deuxième nombre.",
},
},
"required": ["a", "b"],
},
},
},
{
"type": "function",
"function": {
"name": "multiply_number",
"description": "Multiplier deux nombres.",
"parameters": {
"type": "object",
"properties": {
"a": {
"type": "string",
"description": "Le premier nombre.",
},
"b": {
"type": "string",
"description": "Le deuxième nombre.",
},
},
"required": ["a", "b"],
},
},
},
{
"type": "function",
"function": {
"name": "substract_number",
"description": "Soustraire deux nombres.",
"parameters": {
"type": "object",
"properties": {
"a": {
"type": "string",
"description": "Le premier nombre.",
},
"b": {
"type": "string",
"description": "Le deuxième nombre.",
},
},
"required": ["a", "b"],
},
},
},
{
"type": "function",
"function": {
"name": "write_a_story",
"description": "Écrit une histoire aléatoire.",
"parameters": {
"type": "object",
"properties": {},
"required": [],
},
},
},
{
"type": "function",
"function": {
"name": "terminal",
"description": "Effectuer des opérations depuis le terminal.",
"parameters": {
"type": "object",
"properties": {
"command": {
"type": "string",
"description": "La commande que vous souhaitez lancer, ex: `ls`, `rm`, ...",
},
},
"required": ["command"],
},
},
},
{
"type": "function",
"function": {
"name": "python",
"description": "Appeler un interpréteur Python avec du code Python qui sera exécuté.",
"parameters": {
"type": "object",
"properties": {
"code": {
"type": "string",
"description": "Le code Python à exécuter",
},
},
"required": ["code"],
},
},
},
]
import random
messages = [{
"role": "user",
"content": [random.choice([
{"type": "text", "text": "Pourriez-vous m'écrire une histoire ?"},
{"type": "text", "text": "Quelle est la date d'aujourd'hui plus 3 jours ?"},
{"type": "text", "text": "Donnez l'heure actuelle en nanosecondes."},
{"type": "text", "text": "Créez une fonction Fibonacci en Python et trouvez fib(20)."},
])],
}]
temperature = 0.15
from openai import OpenAI
openai_client = OpenAI(
base_url = "http://127.0.0.1:8001/v1",
api_key = "sk-no-key-required",
)
model_name = next(iter(openai_client.models.list())).id
print(f"Utilisation du modèle = {model_name}")
has_tool_calls = True
original_messages_len = len(messages)
while has_tool_calls:
print(f"Messages actuels = {messages}")
response = openai_client.chat.completions.create(
model = model_name,
messages = messages,
temperature = temperature,
tools = tools if tools else None,
tool_choice = "auto" if tools else None,
)
tool_calls = response.choices[0].message.tool_calls or []
content = response.choices[0].message.content or ""
tool_calls_dict = [tc.to_dict() for tc in tool_calls] if tool_calls else tool_calls
messages.append({"role": "assistant", "tool_calls": tool_calls_dict, "content": content,})
for tool_call in tool_calls:
fx, args, _id = tool_call.function.name, tool_call.function.arguments, tool_call.id
out = MAP_FN[fx](**json.loads(args))
messages.append({"role": "tool", "tool_call_id": _id, "name": fx, "content": str(out),})
else:
has_tool_calls = False
print(json.dumps(messages[original_messages_len:], indent = 2))
[
{
"role": "assistant",
"tool_calls": [
{
"id": "JviLK0wUveWguuKQHgZdFdYI2adu85jy",
"function": {
"arguments": "{}",
"name": "write_a_story"
},
"type": "function"
}
],
"content": null
},
{
"role": "tool",
"tool_call_id": "JviLK0wUveWguuKQHgZdFdYI2adu85jy",
"name": "write_a_story",
"content": "Il y a longtemps, dans une galaxie lointaine, très lointaine..."
},
{
"role": "assistant",
"tool_calls": null,
"content": "Dans une galaxie lointaine, où les étoiles brûlaient d'une lueur surnaturelle, il y avait une planète nommée Eldoria. Eldoria était un monde de contrastes saisissants — des villes vibrantes nichées entre des montagnes imposantes et de vastes déserts qui s'étendaient sans fin sous des soleils jumelés. Les habitants d'Eldoria étaient connus loin à la ronde pour leur maîtrise de l'énergie, en particulier leurs légendaires sabres laser.\n\nCes sabres n'étaient pas de simples armes ; ils étaient des prolongements de l'âme de leurs porteurs, forgés à partir de cristaux rares qui pulsaient de l'essence du cosmos. Chaque sabre était unique, sa couleur et sa puissance reflétant la personnalité et l'esprit de son propriétaire. Les guerriers les plus habiles, connus sous le nom de Saberborn, pouvaient manier leurs sabres avec une telle précision et une telle grâce qu'ils semblaient danser avec la trame même de la réalité.\n\nParmi les Saberborn, il y avait un guerrier nommé Kael. Kael était un paria, un ancien gardien des sacrés Temples du Sabre qui avait été exilé pour avoir défié les ordres du conseil. Le conseil avait cherché à thésauriser le pouvoir des sabres laser, les utilisant pour contrôler le peuple d'Eldoria. Kael croyait que les sabres devaient être maniés par ceux qui cherchaient à protéger, non à dominer.\n\nUn jour, Kael reçut un signal de détresse d'un petit village en périphérie du désert. Le village était attaqué par une faction dissidente de Saberborn, dirigée par un seigneur de guerre impitoyable nommé Vexis. Vexis cherchait à s'emparer de la relique ancienne du village — un cristal censé amplifier la puissance de n'importe quel sabre laser dix fois. Si Vexis réussissait, son armée deviendrait imparable, et Eldoria tomberait dans les ténèbres.\n\nKael sut qu'il devait agir. Il attacha son sabre — une lame bleu profond qui bourdonnait de l'énergie du cosmos — et partit à travers le désert. Le voyage fut périlleux, avec des tempêtes de sable et des pièges cachés tendus par les éclaireurs de Vexis. Mais Kael persista, poussé par le souvenir des gens qu'il avait autrefois juré de protéger.\n\nLorsqu'il atteignit le village, la bataille était déjà en cours. Les guerriers de Vexis maniaient leurs sabres avec une efficacité brutale, abattant les défenseurs avec aisance. Kael se jeta dans la mêlée, son sabre bleu n'étant qu'un flou de lumière alors qu'il désarmait et vainquait un ennemi après l'autre. Les villageois, voyant leur sauveur arriver, se ralliarent derrière lui, leurs propres sabres scintillant alors qu'ils luttaient pour reprendre leur foyer.\n\nKael affronta Vexis au centre de la place du village. Le sabre du seigneur de guerre était d'un vert maladif, pulsant d'une énergie noire. "Tu es trop tard, Kael," ricana Vexis. "La relique est à moi, et avec elle, je régnerai sur Eldoria." Kael resta ferme, son sabre levé. "Par-dessus mon cadavre," répondit-il.\n\nLes deux guerriers s'affrontèrent, leurs sabres se verrouillant dans une pluie d'étincelles. Kael sentit la puissance brute de la relique parcourir la lame de Vexis, mais il refusa de reculer. Il canalisa sa propre énergie, son sabre s'illuminant davantage alors qu'il repoussait l'assaut de Vexis. D'un ultime coup désespéré, Kael désarma Vexis, faisant cliqueter son sabre sur le sol.\n\nVexis gronda, vaincu, mais Kael ne le tua pas. Au lieu de cela, il lui offrit un choix : "Rejoins-moi pour protéger Eldoria, ou pars et ne reviens jamais." Vexis, humilié et voyant la vérité dans les paroles de Kael, choisit de se ranger à ses côtés.\n\nAvec la faction de Vexis désormais alliée, Kael et les villageois récupérèrent la relique, utilisant son pouvoir pour restaurer l'équilibre d'Eldoria. Les Temples du Sabre furent réformés, et les sabres laser furent de nouveau maniés par ceux qui cherchaient à protéger, non à contrôler.\n\nLa légende de Kael grandit, et il devint un symbole d'espoir pour le peuple d'Eldoria. Son histoire leur rappela que même dans les temps les plus sombres, la lumière du courage et de la justice pouvait triompher. Ainsi, les Saberborn vécurent, leurs sabres laser étant un phare de force et d'unité dans une galaxie pleine d'ombres."
}
]
