Anleitung zum lokalen Ausführen von Mistral Devstral 2 Modellen: 123B-Instruct-2512 und Small-2-24B-Instruct-2512.
Devstral 2 sind Mistrals neue Codierungs- und agentischen LLMs für Softwareentwicklung, verfügbar in 24B und 123B Größen. Das 123B-Modell erreicht SOTA in SWE-bench, Coding, Tool-Calling und Agenten-Anwendungsfällen. Das 24B-Modell passt in 25GB RAM/VRAM und 123B passt in 128GB.
13. Dezember 2025 Update
Wir haben Probleme in Devstrals Chat-Vorlage behoben, und die Ergebnisse sollten deutlich besser sein. Die 24B & 123B wurden aktualisiert. Installieren Sie außerdem die neueste llama.cpp vom 13. Dez 2025!
Devstral 2 unterstützt Vision-Funktionen, ein 256k-Kontextfenster und verwendet dieselbe Architektur wie Ministral 3. Sie können jetzt ausführen und feinabstimmen beide Modelle lokal mit Unsloth.
Alle Devstral 2 Uploads verwenden unsere Unsloth Dynamic 2.0 Methodik und liefern die beste Leistung bei Aider Polyglot und 5-shot MMLU-Benchmarks.
Siehe unsere Schritt-für-Schritt-Anleitungen zum Ausführen von Devstral 24B und dem großen Devstral 123B Modellen. Beide Modelle unterstützen Vision, aber derzeit Vision wird nicht unterstützt in llama.cpp
⚙️ Nutzungsanleitung
Hier sind die empfohlenen Einstellungen für Inferenz:
Temperatur ~0,15
Min_P von 0,01 (optional, aber 0,01 funktioniert gut, llama.cpp-Standard ist 0,1)
Verwenden Sie --jinja um das Systemprompt zu aktivieren.
Die vollpräzise (Q8) Devstral-Small-2-24B GGUF passt in 25GB RAM/VRAM. Vorerst nur Text.
✨ Führen Sie Devstral-Small-2-24B-Instruct-2512 in llama.cpp aus
Holen Sie sich die neueste llama.cpp auf GitHub hier. Sie können auch den unten stehenden Build-Anweisungen folgen. Ändern Sie -DGGML_CUDA=ON zu -DGGML_CUDA=OFF wenn Sie keine GPU haben oder nur CPU-Inferenz wünschen.
Wenn Sie llama.cpp direkt zum Laden von Modellen verwenden möchten, können Sie Folgendes tun: (:Q4_K_XL) ist der Quantisierungstyp. Sie können auch direkt von Hugging Face ziehen:
Laden Sie das Modell herunter über (nach Installation von pip install huggingface_hub hf_transfer ). Sie können wählen UD_Q4_K_XL oder andere quantisierte Versionen.
Wir bekommen das Bild über wget https://unsloth.ai/cgi/image/fp8grpolarge_KharloZxEEaHAY2X97CEX.png?width=3840%26quality=80%26format=auto -O unsloth_fp8.png was das Bild als "unsloth_fp8.png" speichert
Dann laden Sie das Bild via /image unsloth_fp8.png nachdem das Modell wie unten geladen wurde:
Dann fordern wir es auf Beschreibe dieses Bild und erhalten Folgendes:
🚚Devstral-2-123B
Die vollpräzise (Q8) Devstral-Small-2-123B GGUF passt in 128GB RAM/VRAM. Vorerst nur Text.
✨ Führen Sie das Devstral-2-123B-Instruct-2512 Tutorial aus
Holen Sie sich die neueste llama.cpp auf GitHub hier. Sie können auch den unten stehenden Build-Anweisungen folgen. Ändern Sie -DGGML_CUDA=ON zu -DGGML_CUDA=OFF wenn Sie keine GPU haben oder nur CPU-Inferenz wünschen.
Sie können direkt von HuggingFace ziehen via:
Laden Sie das Modell herunter über (nach Installation von pip install huggingface_hub hf_transfer ). Sie können wählen UD_Q4_K_XL oder andere quantisierte Versionen.
Führen Sie das Modell im Konversationsmodus aus:
🦥 Feinabstimmung von Devstral 2 mit Unsloth
Genau wie Ministral 3, unterstützt Unsloth Devstral 2 Fine-Tuning. Das Training ist 2x schneller, verwendet 70% weniger VRAM und unterstützt 8x längere Kontextlängen. Devstral 2 passt bequem in eine 24GB VRAM L4 GPU.
Leider überschreitet Devstral 2 geringfügig die Speichermenge einer 16GB VRAM, sodass Fine-Tuning kostenlos auf Google Colab derzeit nicht möglich ist. Allerdings können Sie das Modell kostenlos mit unserem Kaggle-Notebookfeinabstimmen, das Zugriff auf Dual-GPUs bietet. Ändern Sie einfach den Magistral-Modellnamen im Notebook zu unsloth/Devstral-Small-2-24B-Instruct-2512 Modell.
Wir haben kostenlose Unsloth-Notebooks erstellt, um Ministral 3 feinabzustimmen, und unterstützen Devstral 2 direkt, da sie dieselbe Architektur teilen! Ändern Sie den Namen, um das gewünschte Modell zu verwenden.
Ministral-3B-Instruct Vision-Notebook (Vision) (Modellname auf Devstral 2 ändern)
Ministral-3B-Instruct GRPO-Notebook (Modellname auf Devstral 2 ändern)
Um Devstral 2 in Produktion bereitzustellen, verwenden wir llama-server In einem neuen Terminal, z. B. via tmux, deployen Sie das Modell über:
Wenn Sie das Obige ausführen, erhalten Sie:
Dann in einem neuen Terminal, nachdem Sie pip install openai, tun Sie:
Was einfach 4 ausgibt.
🧰Tool Calling mit Devstral 2 Tutorial
Nach Befolgung von Llama-server Serving & Deployment können wir dann einige Tools laden und Devstral in Aktion sehen! Erstellen wir ein paar Tools – kopieren, einfügen und führen Sie sie in Python aus.
Dann stellen wir eine einfache Frage aus einer zufälligen Liste möglicher Nachrichten, um das Modell zu testen:
Dann verwenden wir die unten stehenden Funktionen (kopieren und einfügen und ausführen), die Funktionsaufrufe automatisch parsen – Devstral 2 könnte mehrere gleichzeitig ausführen!
import json, subprocess, random
from typing import Any
def add_number(a: float | str, b: float | str) -> float:
return float(a) + float(b)
def multiply_number(a: float | str, b: float | str) -> float:
return float(a) * float(b)
def substract_number(a: float | str, b: float | str) -> float:
return float(a) - float(b)
def write_a_story() -> str:
return random.choice([
"Vor langer Zeit in einer weit, weit entfernten Galaxie...",
"Es gab zwei Freunde, die Faultiere und Code liebten...",
"Die Welt ging zu Ende, weil jedes Faultier übermenschliche Intelligenz entwickelte...",
"Unbekannt einem Freund, hatte der andere versehentlich ein Programm geschrieben, um Faultiere zu entwickeln...",
])
def terminal(command: str) -> str:
if "rm" in command or "sudo" in command or "dd" in command or "chmod" in command:
msg = "Kann die Befehle 'rm, sudo, dd, chmod' nicht ausführen, da sie gefährlich sind"
print(msg); return msg
print(f"Führe Terminalbefehl `{command}` aus")
try:
return str(subprocess.run(command, capture_output = True, text = True, shell = True, check = True).stdout)
except subprocess.CalledProcessError as e:
return f"Befehl fehlgeschlagen: {e.stderr}"
def python(code: str) -> str:
data = {}
exec(code, data)
del data["__builtins__"]
return str(data)
MAP_FN = {
"add_number": add_number,
"multiply_number": multiply_number,
"substract_number": substract_number,
"write_a_story": write_a_story,
"terminal": terminal,
"python": python,
}
tools = [
{
"type": "function",
"function": {
"name": "add_number",
"description": "Addiere zwei Zahlen.",
"parameters": {
"type": "object",
"properties": {
"a": {
"type": "string",
"description": "Die erste Zahl.",
},
"b": {
"type": "string",
"description": "Die zweite Zahl.",
},
},
"required": ["a", "b"],
},
},
},
{
"type": "function",
"function": {
"name": "multiply_number",
"description": "Multipliziert zwei Zahlen.",
"parameters": {
"type": "object",
"properties": {
"a": {
"type": "string",
"description": "Die erste Zahl.",
},
"b": {
"type": "string",
"description": "Die zweite Zahl.",
},
},
"required": ["a", "b"],
},
},
},
{
"type": "function",
"function": {
"name": "substract_number",
"description": "Subtrahiert zwei Zahlen.",
"parameters": {
"type": "object",
"properties": {
"a": {
"type": "string",
"description": "Die erste Zahl.",
},
"b": {
"type": "string",
"description": "Die zweite Zahl.",
},
},
"required": ["a", "b"],
},
},
},
{
"type": "function",
"function": {
"name": "write_a_story",
"description": "Schreibt eine zufällige Geschichte.",
"parameters": {
"type": "object",
"properties": {},
"required": [],
},
},
},
{
"type": "function",
"function": {
"name": "terminal",
"description": "Führt Operationen vom Terminal aus.",
"parameters": {
"type": "object",
"properties": {
"command": {
"type": "string",
"description": "Der Befehl, den Sie ausführen möchten, z. B. `ls`, `rm`, ...",
},
},
"required": ["command"],
},
},
},
{
"type": "function",
"function": {
"name": "python",
"description": "Ruft einen Python-Interpreter mit etwas Python-Code auf, der ausgeführt wird.",
"parameters": {
"type": "object",
"properties": {
"code": {
"type": "string",
"description": "Der auszuführende Python-Code",
},
},
"required": ["code"],
},
},
},
]
import random
messages = [{
"role": "user",
"content": [random.choice([
{"type": "text", "text": "Könntest du mir eine Geschichte schreiben ?"},
{"type": "text", "text": "Wie ist das heutige Datum plus 3 Tage?"},
{"type": "text", "text": "Gib die aktuelle Zeit in Nanosekunden an."},
{"type": "text", "text": "Erstelle eine Fibonacci-Funktion in Python und finde fib(20)."},
])],
}]
Temperatur = 0,15
from openai import OpenAI
openai_client = OpenAI(
base_url = "http://127.0.0.1:8001/v1",
api_key = "sk-no-key-required",
)
model_name = next(iter(openai_client.models.list())).id
print(f"Verwende Modell = {model_name}")
has_tool_calls = True
original_messages_len = len(messages)
while has_tool_calls:
print(f"Aktuelle Nachrichten = {messages}")
response = openai_client.chat.completions.create(
model = model_name,
messages = messages,
temperature = temperature,
tools = tools if tools else None,
tool_choice = "auto" if tools else None,
)
tool_calls = response.choices[0].message.tool_calls or []
content = response.choices[0].message.content or ""
tool_calls_dict = [tc.to_dict() for tc in tool_calls] if tool_calls else tool_calls
messages.append({"role": "assistant", "tool_calls": tool_calls_dict, "content": content,})
for tool_call in tool_calls:
fx, args, _id = tool_call.function.name, tool_call.function.arguments, tool_call.id
out = MAP_FN[fx](**json.loads(args))
messages.append({"role": "tool", "tool_call_id": _id, "name": fx, "content": str(out),})
else:
has_tool_calls = False
print(json.dumps(messages[original_messages_len:], indent = 2))
[
{
"role": "assistant",
"tool_calls": [
{
"id": "JviLK0wUveWguuKQHgZdFdYI2adu85jy",
"function": {
"arguments": "{}",
"name": "write_a_story"
},
"type": "function"
}
],
"content": null
},
{
"role": "tool",
"tool_call_id": "JviLK0wUveWguuKQHgZdFdYI2adu85jy",
"name": "write_a_story",
"content": "Vor langer Zeit in einer weit, weit entfernten Galaxie..."
},
{
"role": "assistant",
"tool_calls": null,
"content": "In einer fernen Galaxie, in der die Sterne mit einem unwirklichen Leuchten brannten, gab es einen Planeten namens Eldoria. Eldoria war eine Welt starker Kontraste\u2014lebendige Städte, eingebettet zwischen steilen Bergen und weiten Wüsten, die endlos unter Zwillingssonnen ausgedehnt waren. Die Bewohner Eldorias waren weit und breit für ihre Beherrschung von Energie bekannt, insbesondere für ihre legendären Lasersäbel.\n\nDiese Säbel waren nicht bloße Waffen; sie waren Verlängerungen der Seelen ihrer Träger, geschmiedet aus seltenen Kristallen, die mit der Essenz des Kosmos pulsierten. Jeder Säbel war einzigartig, seine Farbe und Kraft spiegelten die Persönlichkeit und den Geist seines Besitzers wider. Die geschicktesten Krieger, bekannt als die Saberborn, konnten ihre Säbel mit solcher Präzision und Anmut führen, dass sie scheinbar mit dem Gewebe der Realität tanzten.\n\nUnter den Saberborn gab es einen Krieger namens Kael. Kael war ein Ausgestoßener, ein ehemaliger Wächter der heiligen Saber-Tempel, der verbannt worden war, weil er sich den Befehlen des Rates widersetzt hatte. Der Rat hatte versucht, die Macht der Lasersäbel zu horten und sie zu nutzen, um die Menschen Eldorias zu kontrollieren. Kael glaubte, dass die Säbel von denen geführt werden sollten, die schützen wollten, nicht herrschen.\n\nEines Tages erhielt Kael ein Notsignal aus einem kleinen Dorf am Rande der Wüste. Das Dorf wurde von einer abtrünnigen Fraktion der Saberborn angegriffen, angeführt von einem rücksichtslosen Kriegsherrn namens Vexis. Vexis versuchte, das alte Relikt des Dorfes zu erlangen\u2014einen Kristall, von dem gesagt wurde, er verstärke die Macht jedes Lasersäbels um das Zehnfache. Wenn Vexis Erfolg hätte, wäre seine Armee unaufhaltsam, und Eldoria würde in Dunkelheit stürzen.\n\nKael wusste, dass er handeln musste. Er schnallte sich seinen Säbel um\u2014eine tiefblaue Klinge, die mit der Energie des Kosmos brummte\u2014und machte sich auf den Weg durch die Wüste. Die Reise war tückisch, mit Sandstürmen und verborgenen Fallen, die von Vexis' Spähern gelegt wurden. Doch Kael setzte seinen Weg fort, getrieben von der Erinnerung an die Menschen, die er einst geschworen hatte zu schützen.\n\nAls er das Dorf erreichte, war der Kampf bereits in vollem Gange. Vexis' Krieger führten ihre Säbel mit brutaler Effizienz und fällten Verteidiger mühelos. Kael stürzte in das Getümmel, sein blauer Säbel ein Lichtblur, während er einem Feind nach dem anderen die Waffe entriss und besiegte. Die Dorfbewohner, die ihren Retter kommen sahen, scharten sich hinter ihm, ihre eigenen Säbel blitzten, als sie kämpften, um ihr Zuhause zurückzuerobern.\n\nKael stellte sich Vexis im Zentrum des Dorfplatzes. Der Säbel des Kriegsherrn war ein kränkliches Grün, pulsierte mit dunkler Energie. \"Du bist zu spät, Kael,\" spottete Vexis. \"Das Relikt gehört mir, und damit werde ich Eldoria beherrschen.\" Kael blieb standhaft, seinen Säbel erhoben. \"Über meine Leiche,\" antwortete er.\n\nDie beiden Krieger kreuzten ihre Klingen, ihre Säbel schlossen sich in einem Funkenregen. Kael spürte die rohe Macht des Relikts durch Vexis' Klinge fließen, doch er weigerte sich zurückzuweichen. Er kanalisisierte seine eigene Energie, sein Säbel leuchtete heller, als er Vexis' Angriff zurückdrängte. Mit einem letzten verzweifelten Schlag entwaffnete Kael Vexis und ließ dessen Säbel klappernd zu Boden fallen.\n\nVexis knurrte in der Niederlage, doch Kael tötete ihn nicht. Stattdessen bot er ihm eine Wahl an: \"Schließe dich mir beim Schutz Eldorias an, oder geh und kehre nie zurück.\" Vexis, gedemütigt und die Wahrheit in Kaels Worten erkennend, entschied sich, sich ihm anzuschließen.\n\nMit Vexis' Fraktion als Verbündete gewannen Kael und die Dorfbewohner das Relikt zurück und nutzten seine Macht, um das Gleichgewicht in Eldoria wiederherzustellen. Die Saber-Tempel wurden neu geordnet, und die Lasersäbel wurden wieder von denen geführt, die schützen wollten, nicht herrschen.\n\nKaels Legende wuchs, und er wurde zum Symbol der Hoffnung für die Menschen Eldorias. Seine Geschichte erinnerte sie daran, dass selbst in den dunkelsten Zeiten das Licht von Mut und Gerechtigkeit siegen kann. Und so lebten die Saberborn weiter, ihre Lasersäbel ein Leuchtturm der Stärke und Einheit in einer Galaxie voller Schatten."
}
]
