Leitfaden zum lokalen Ausführen der Mistral-Devstral-2-Modelle: 123B-Instruct-2512 und Small-2-24B-Instruct-2512.
Devstral 2 sind Mistrals neue Coding- und agentische LLMs für Software-Engineering, verfügbar in 24B und 123B Größen. Das 123B-Modell erreicht SOTA bei SWE-bench, Coding, Tool-Calling und Agenten-Anwendungsfällen. Das 24B-Modell passt in 25 GB RAM/VRAM und 123B passt in 128 GB.
Update vom 13. Dezember 2025
Wir haben Probleme mit der Chat-Vorlage von Devstral behoben, und die Ergebnisse sollten deutlich besser sein. Das 24B- und das 123B-Modell wurden aktualisiert. Installiere außerdem die neueste llama.cpp-Version vom 13. Dez. 2025!
Devstral 2 unterstützt Vision-Funktionen, ein 256k-Kontextfenster und verwendet dieselbe Architektur wie Ministral 3. Du kannst jetzt beide Modelle lokal mit Unsloth ausführen und feinabstimmen .
Alle Devstral-2-Uploads verwenden unsere Unsloth- Dynamic 2.0 Methodik und liefern die beste Leistung bei Aider Polyglot - und 5-Shot-MMLU-Benchmarks.
Sieh dir unsere Schritt-für-Schritt-Anleitungen zum Ausführen von Devstral 24B und des großen Devstral 123B -Modells an. Beide Modelle unterstützen Vision-Unterstützung, aber derzeit wird Vision nicht unterstützt in llama.cpp
⚙️ Verwendungsleitfaden
Hier sind die empfohlenen Einstellungen für die Inferenz:
Temperatur ~0,15
Min_P von 0,01 (optional, aber 0,01 funktioniert gut; der Standardwert von llama.cpp ist 0,1)
Verwende --jinja um den System-Prompt zu aktivieren.
Das GGUF von Devstral-Small-2-24B in voller Präzision (Q8) passt in 25 GB RAM/VRAM. Vorerst nur Text.
✨ Devstral-Small-2-24B-Instruct-2512 in llama.cpp ausführen
Hole dir die neueste llama.cpp auf GitHub hier. Du kannst auch den untenstehenden Build-Anweisungen folgen. Ändere -DGGML_CUDA=ON zu -DGGML_CUDA=OFF wenn du keine GPU hast oder nur CPU-Inferenz möchtest. Für Apple Mac / Metal-Geräte, setze -DGGML_CUDA=OFF und fahre dann wie gewohnt fort - Metal-Unterstützung ist standardmäßig aktiviert.
Wenn du llama.cpp direkt zum Laden von Modellen verwenden möchtest, kannst du Folgendes tun: (:Q4_K_XL) ist der Quantisierungstyp. Du kannst auch direkt von Hugging Face herunterladen:
Lade das Modell herunter über (nach der Installation von pip install huggingface_hub hf_transfer ). Du kannst UD_Q4_K_XL oder andere quantisierte Versionen auswählen.
Wir erhalten das Bild über wget https://unsloth.ai/cgi/image/fp8grpolarge_KharloZxEEaHAY2X97CEX.png?width=3840%26quality=80%26format=auto -O unsloth_fp8.png wodurch das Bild als "unsloth_fp8.png" gespeichert wird
Dann lade das Bild über /image unsloth_fp8.png nachdem das Modell geladen wurde, wie unten zu sehen ist:
Dann fordern wir es auf Beschreibe dieses Bild und erhalten Folgendes:
🚚Devstral-2-123B
Das GGUF von Devstral-Small-2-123B in voller Präzision (Q8) passt in 128 GB RAM/VRAM. Vorerst nur Text.
✨ Tutorial zum Ausführen von Devstral-2-123B-Instruct-2512
Hole dir die neueste llama.cpp auf GitHub hier. Du kannst auch den untenstehenden Build-Anweisungen folgen. Ändere -DGGML_CUDA=ON zu -DGGML_CUDA=OFF wenn du keine GPU hast oder nur CPU-Inferenz möchtest.
Du kannst direkt von HuggingFace herunterladen über:
Lade das Modell herunter über (nach der Installation von pip install huggingface_hub hf_transfer ). Du kannst UD_Q4_K_XL oder andere quantisierte Versionen auswählen.
Führe das Modell im Konversationsmodus aus:
🦥 Feinabstimmung von Devstral 2 mit Unsloth
Genau wie Ministral 3unterstützt Unsloth das Feinabstimmen von Devstral 2. Das Training ist 2x schneller, verwendet 70 % weniger VRAM und unterstützt 8x längere Kontextlängen. Devstral 2 passt bequem in eine 24-GB-VRAM-L4-GPU.
Leider überschreitet Devstral 2 die Speichergrenzen von 16 GB VRAM leicht, sodass ein kostenloses Feinabstimmen auf Google Colab derzeit nicht möglich ist. Du kannst das Modell kostenlos feinabstimmen mit unserem Kaggle-Notebook, das Zugriff auf zwei GPUs bietet. Ändere einfach den Magistral-Modellnamen im Notebook auf das Modell unsloth/Devstral-Small-2-24B-Instruct-2512 .
Wir haben kostenlose Unsloth-Notebooks zum Feinabstimmen von Ministral 3 erstellt, und Devstral 2 wird direkt unterstützt, da sie dieselbe Architektur teilen! Ändere den Namen, um das gewünschte Modell zu verwenden.
Ministral-3B-Instruct Vision-Notebook (Vision) (Modellnamen auf Devstral 2 ändern)
Ministral-3B-Instruct GRPO-Notebook (Modellnamen auf Devstral 2 ändern)
Um Devstral 2 produktiv bereitzustellen, verwenden wir llama-server In einem neuen Terminal, z. B. via tmux, stelle das Modell bereit mit:
Wenn du das Obige ausführst, erhältst du:
Dann in einem neuen Terminal, nachdem du pip install openaiausgeführt hast, mache:
Was einfach 4 ausgibt.
🧰Tutorial zum Tool-Calling mit Devstral 2
Nachdem du Devstral 2 folgendes erledigt hast, können wir dann einige Tools laden und Devstral in Aktion sehen! Lass uns ein paar Tools erstellen - kopiere sie, füge sie ein und führe sie in Python aus.
Dann stellen wir aus einer zufälligen Liste möglicher Nachrichten eine einfache Frage, um das Modell zu testen:
Dann verwenden wir die untenstehenden Funktionen (kopieren, einfügen und ausführen), die die Funktionsaufrufe automatisch parsen - Devstral 2 kann möglicherweise mehrere parallel machen!
import json, subprocess, random
from typing import Any
def add_number(a: float | str, b: float | str) -> float:
return float(a) + float(b)
def multiply_number(a: float | str, b: float | str) -> float:
return float(a) * float(b)
def subtract_number(a: float | str, b: float | str) -> float:
return float(a) - float(b)
def write_a_story() -> str:
return random.choice([
"Vor langer Zeit in einer weit, weit entfernten Galaxie...",
"Es gab 2 Freunde, die Faultiere und Code liebten...",
"Die Welt ging unter, weil sich jedes Faultier zu übermenschlicher Intelligenz entwickelte...",
"Ohne dass ein Freund es wusste, programmierte der andere versehentlich ein Programm, um Faultiere zu entwickeln...",
])
def terminal(command: str) -> str:
if "rm" in command or "sudo" in command or "dd" in command or "chmod" in command:
msg = "Kann die Befehle 'rm, sudo, dd, chmod' nicht ausführen, da sie gefährlich sind"
print(msg); return msg
print(f"Führe Terminalbefehl `{command}` aus")
try:
return str(subprocess.run(command, capture_output = True, text = True, shell = True, check = True).stdout)
except subprocess.CalledProcessError as e:
return f"Befehl fehlgeschlagen: {e.stderr}"
def python(code: str) -> str:
data = {}
exec(code, data)
del data["__builtins__"]
return str(data)
MAP_FN = {
"add_number": add_number,
"multiply_number": multiply_number,
"subtract_number": subtract_number,
"write_a_story": write_a_story,
"terminal": terminal,
"python": python,
}
tools = [
{
"type": "function",
"function": {
"name": "add_number",
"description": "Add two numbers.",
"parameters": {
"type": "object",
"properties": {
"a": {
"type": "string",
"description": "Die erste Zahl.",
},
"b": {
"type": "string",
"description": "Die zweite Zahl.",
},
},
"required": ["a", "b"],
},
},
},
{
"type": "function",
"function": {
"name": "multiply_number",
"description": "Multipliziere zwei Zahlen.",
"parameters": {
"type": "object",
"properties": {
"a": {
"type": "string",
"description": "Die erste Zahl.",
},
"b": {
"type": "string",
"description": "Die zweite Zahl.",
},
},
"required": ["a", "b"],
},
},
},
{
"type": "function",
"function": {
"name": "subtract_number",
"description": "Subtrahiere zwei Zahlen.",
"parameters": {
"type": "object",
"properties": {
"a": {
"type": "string",
"description": "Die erste Zahl.",
},
"b": {
"type": "string",
"description": "Die zweite Zahl.",
},
},
"required": ["a", "b"],
},
},
},
{
"type": "function",
"function": {
"name": "write_a_story",
"description": "Schreibt eine zufällige Geschichte.",
"parameters": {
"type": "object",
"properties": {},
"required": [],
},
},
},
{
"type": "function",
"function": {
"name": "terminal",
"description": "Führe Operationen im Terminal aus.",
"parameters": {
"type": "object",
"properties": {
"command": {
"type": "string",
"description": "Der Befehl, den du ausführen möchtest, z. B. `ls`, `rm`, ...",
},
},
"required": ["command"],
},
},
},
{
"type": "function",
"function": {
"name": "python",
"description": "Rufe einen Python-Interpreter mit etwas Python-Code auf, der ausgeführt wird.",
"parameters": {
"type": "object",
"properties": {
"code": {
"type": "string",
"description": "Der auszuführende Python-Code",
},
},
"required": ["code"],
},
},
},
]
import random
messages = [{
"role": "user",
"content": [random.choice([
{"type": "text", "text": "Könntest du mir bitte eine Geschichte schreiben?"},
{"type": "text", "text": "Was ist das heutige Datum plus 3 Tage?"},
{"type": "text", "text": "Gib die aktuelle Zeit in Nanosekunden an."},
{"type": "text", "text": "Erstelle eine Fibonacci-Funktion in Python und finde fib(20)."},
])],
}]
temperature = 0.15
from openai import OpenAI
openai_client = OpenAI(
base_url = "http://127.0.0.1:8001/v1",
api_key = "sk-no-key-required",
)
model_name = next(iter(openai_client.models.list())).id
print(f"Verwende Modell = {model_name}")
has_tool_calls = True
original_messages_len = len(messages)
while has_tool_calls:
print(f"Aktuelle Nachrichten = {messages}")
response = openai_client.chat.completions.create(
model = model_name,
messages = messages,
temperature = temperature,
tools = tools if tools else None,
tool_choice = "auto" if tools else None,
)
tool_calls = response.choices[0].message.tool_calls or []
content = response.choices[0].message.content or ""
tool_calls_dict = [tc.to_dict() for tc in tool_calls] if tool_calls else tool_calls
messages.append({"role": "assistant", "tool_calls": tool_calls_dict, "content": content,})
for tool_call in tool_calls:
fx, args, _id = tool_call.function.name, tool_call.function.arguments, tool_call.id
out = MAP_FN[fx](**json.loads(args))
messages.append({"role": "tool", "tool_call_id": _id, "name": fx, "content": str(out),})
else:
has_tool_calls = False
print(json.dumps(messages[original_messages_len:], indent = 2))
[
{
"role": "assistant",
"tool_calls": [
{
"id": "JviLK0wUveWguuKQHgZdFdYI2adu85jy",
"function": {
"arguments": "{}",
"name": "write_a_story"
},
"type": "function"
}
],
"content": null
},
{
"role": "tool",
"tool_call_id": "JviLK0wUveWguuKQHgZdFdYI2adu85jy",
"name": "write_a_story",
"content": "Vor langer Zeit in einer weit, weit entfernten Galaxie..."
},
{
"role": "assistant",
"tool_calls": null,
"content": "In einer fernen Galaxie, in der die Sterne mit einem außerweltlichen Leuchten brannten, gab es einen Planeten namens Eldoria. Eldoria war eine Welt scharfer Kontraste\u2014lebendige Städte zwischen hohen Bergen und weiten Wüsten, die sich unter zwei Sonnen endlos erstreckten. Die Menschen von Eldoria waren weithin bekannt für ihre Beherrschung der Energie, insbesondere für ihre legendären Lasersäbel.\n\nDiese Säbel waren nicht bloß Waffen; sie waren Verlängerungen der Seelen ihrer Träger, geschmiedet aus seltenen Kristallen, die mit der Essenz des Kosmos pulsierten. Jeder Säbel war einzigartig, seine Farbe und Kraft spiegelten die Persönlichkeit und den Geist seines Besitzers wider. Die geschicktesten Krieger, bekannt als die Säbelgeborenen, konnten ihre Säbel mit solcher Präzision und Anmut führen, dass es schien, als würden sie mit dem Gewebe der Wirklichkeit tanzen.\n\nUnter den Säbelgeborenen gab es einen Krieger namens Kael. Kael war ein Ausgestoßener, ein ehemaliger Wächter der heiligen Säbeltempel, der verbannt worden war, weil er sich den Befehlen des Rates widersetzt hatte. Der Rat hatte versucht, die Macht der Lasersäbel zu horten, um damit die Menschen von Eldoria zu kontrollieren. Kael glaubte, dass die Säbel von denen geführt werden sollten, die schützen wollten, nicht dominieren.\n\nEines Tages erhielt Kael ein Notsignal von einem kleinen Dorf am Rande der Wüste. Das Dorf wurde von einer abtrünnigen Fraktion der Säbelgeborenen angegriffen, angeführt von einem rücksichtslosen Kriegsherrn namens Vexis. Vexis wollte das uralte Relikt des Dorfes an sich bringen\u2014einen Kristall, der angeblich die Kraft jedes Lasersäbels um das Zehnfache verstärken konnte. Wenn Vexis Erfolg hätte, wäre seine Armee unaufhaltsam, und Eldoria würde der Dunkelheit verfallen.\n\nKael wusste, dass er handeln musste. Er schnallte seinen Säbel an\u2014eine tiefblaue Klinge, die mit der Energie des Kosmos summte\u2014und machte sich durch die Wüste auf den Weg. Die Reise war gefährlich, mit Sandstürmen und versteckten Fallen, die von Vexis' Spähern gelegt worden waren. Doch Kael ging weiter, angetrieben von der Erinnerung an die Menschen, die zu schützen er einst geschworen hatte.\n\nAls er das Dorf erreichte, tobte der Kampf bereits in vollem Gange. Vexis' Krieger führten ihre Säbel mit brutaler Effizienz und machten die Verteidiger mühelos nieder. Kael sprang in das Getümmel, sein blauer Säbel ein Lichtblitz, während er einen Feind nach dem anderen entwaffnete und besiegte. Die Dorfbewohner, als sie ihren Retter kommen sahen, sammelten sich hinter ihm, ihre eigenen Säbel blitzten, als sie kämpften, um ihr Zuhause zurückzuerobern.\n\nKael stellte sich Vexis in der Mitte des Dorfplatzes. Der Säbel des Kriegsherrn war ein kränkliches Grün, pulsierend vor dunkler Energie. \"Du bist zu spät, Kael,\" höhnte Vexis. \"Das Relikt gehört mir, und damit werde ich Eldoria beherrschen.\" Kael hielt stand, den Säbel erhoben. \"Über meine Leiche,\" erwiderte er.\n\nDie beiden Krieger prallten aufeinander, ihre Säbel verhakten sich in einem Funkenregen. Kael spürte die rohe Kraft des Relikts, die durch Vexis' Klinge strömte, aber er wich nicht zurück. Er leitete seine eigene Energie, sein Säbel glühte heller, als er Vexis' Angriff zurückdrängte. Mit einem letzten verzweifelten Schlag entwaffnete Kael Vexis und ließ dessen Säbel klirrend zu Boden fallen.\n\nVexis fauchte besiegt, doch Kael tötete ihn nicht. Stattdessen bot er ihm eine Wahl an: \"Schließ dich mir an, um Eldoria zu schützen, oder geh und kehre niemals zurück.\" Vexis, gedemütigt und die Wahrheit in Kaels Worten erkennend, entschied sich, an seiner Seite zu stehen.\n\nDa Vexis' Fraktion nun Verbündete war, eroberten Kael und die Dorfbewohner das Relikt zurück und nutzten seine Macht, um das Gleichgewicht in Eldoria wiederherzustellen. Die Säbeltempel wurden neu gegründet, und die Lasersäbel wurden wieder von denen geführt, die schützen wollten, nicht kontrollieren.\n\nKaels Legende wuchs, und er wurde zu einem Symbol der Hoffnung für die Menschen von Eldoria. Seine Geschichte erinnerte sie daran, dass selbst in den dunkelsten Zeiten das Licht von Mut und Gerechtigkeit triumphieren konnte. Und so lebten die Säbelgeborenen weiter, ihre Lasersäbel ein Leuchtfeuer von Stärke und Einheit in einer Galaxie voller Schatten."
}
]
