📙Devstral: Ausführen & Finetunen

Führe und finetune Mistral Devstral 1.1, einschließlich Small-2507 und 2505.

Devstral-Small-2507 (Devstral 1.1) ist Mistrals neues agentisches LLM für Softwareentwicklung. Es ist hervorragend im Aufrufen von Tools, im Durchsuchen von Codebasen und im Betreiben von Coding-Agenten. Mistral AI veröffentlichte die ursprüngliche Version 2505 im Mai 2025.

Feinabgestimmt von Mistral-Small-3.1, Devstral unterstützt ein 128k Kontextfenster. Devstral Small 1.1 hat die Leistung verbessert und erreicht einen Wert von 53,6% Leistung auf SWE-bench verifiziert, was es (10. Juli 2025) zum #1 Open-Model auf dem Benchmark macht.

Unsloth Devstral 1.1 GGUFs enthalten zusätzliche Tool-Aufruf-Unterstützung und Chat-Template-Korrekturen. Devstral 1.1 funktioniert weiterhin gut mit OpenHands, generalisiert jetzt aber auch besser auf andere Prompt- und Programmierumgebungen.

Als textbasiertes Modell wurde Devstrals Vision-Encoder vor der Feinabstimmung entfernt. Wir haben optionale Vision-Unterstützung für das Modell hinzugefügt.

Wir haben auch hinter den Kulissen mit Mistral zusammengearbeitet, um mögliche Fehler und Probleme zu debuggen, zu testen und zu korrigieren! Stelle sicher, dass du Mistrals offizielle Downloads oder Unsloths GGUFs / dynamische Quants herunterlädst, um die korrekte Implementierung (z. B. korrekter System-Prompt, korrektes Chat-Template usw.)

Bitte verwenden Sie --jinja in llama.cpp zu aktivieren, um den System-Prompt zu ermöglichen!

Alle Devstral-Uploads verwenden unsere Unsloth- Dynamic 2.0 Methodik und liefern die beste Leistung bei 5-shot MMLU- und KL-Divergenz-Benchmarks. Das bedeutet, dass du quantisierte Mistral-LLMs mit minimalem Genauigkeitsverlust laufen lassen und feinabstimmen kannst!

Devstral - Unsloth Dynamische Quants:

Devstral 2507 (neu)	Devstral 2505
GGUF: Devstral-Small-2507-GGUF	Devstral-Small-2505-GGUF
4-bit BnB: Devstral-Small-2507-unsloth-bnb-4bit	Devstral-Small-2505-unsloth-bnb-4bit

🖥️ Devstral ausführen

⚙️ Offiziell empfohlene Einstellungen

Laut Mistral AI sind dies die empfohlenen Einstellungen für Inferenz:

• Temperatur von 0,0 bis 0,15

• Min_P von 0,01 (optional, aber 0,01 funktioniert gut, llama.cpp-Standard ist 0,1)

• Verwenden Sie --jinja um das Systemprompt zu aktivieren.

Ein System-Prompt wird empfohlen, und ist eine Ableitung von Open Hands' System-Prompt. Der vollständige System-Prompt wird bereitgestellt hier.

Du bist Devstral, ein hilfreiches agentisches Modell, das von Mistral AI trainiert wurde und das OpenHands-Gerüst verwendet. Du kannst mit einem Computer interagieren, um Aufgaben zu lösen.

<ROLE>
Deine Hauptaufgabe ist es, Benutzer zu unterstützen, indem du Befehle ausführst, Code änderst und technische Probleme effektiv löst. Du solltest gründlich, methodisch sein und Qualität über Geschwindigkeit stellen.
* Wenn der Benutzer eine Frage stellt, wie "warum passiert X", versuche nicht, das Problem zu beheben. Gib einfach eine Antwort auf die Frage.
</ROLE>

.... SYSTEM-PROMPT WIRD FORTGESETZT ....

Unsere dynamischen Uploads enthalten das 'UD' Präfix. Die ohne dieses Präfix sind nicht dynamisch nutzen jedoch weiterhin unseren Kalibrierungsdatensatz.

🦙 Tutorial: Wie man Devstral in Ollama ausführt

1. Installieren Sie ollama falls du es noch nicht getan hast!

apt-get update
apt-get install pciutils -y
curl -fsSL https://ollama.com/install.sh | sh

1. Führe das Modell mit unserem dynamischen Quant aus. Beachte, dass du ollama serve &in einem anderen Terminal aufrufen kannst, falls es fehlschlägt! Wir fügen alle empfohlenen Parameter (Temperatur usw.) in params in unserem Hugging Face-Upload hinzu!

2. Außerdem unterstützt Devstral 128K Kontextlängen, daher ist es am besten, KV-Cache-Quantisierungzu aktivieren. Wir verwenden 8bit-Quantisierung, die 50% Speicher spart. Du kannst auch "q4_0"

export OLLAMA_KV_CACHE_TYPE="q8_0"
ollama run hf.co/unsloth/Devstral-Small-2507-GGUF:UD-Q4_K_XL

📖 Tutorial: Wie man Devstral in llama.cpp ausführt

1. Holen Sie sich die neueste llama.cpp auf GitHub hier. Sie können auch den unten stehenden Build-Anweisungen folgen. Ändern Sie -DGGML_CUDA=ON zu -DGGML_CUDA=OFF wenn Sie keine GPU haben oder nur CPU-Inferenz wünschen.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggerganov/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split llama-mtmd-cli
cp llama.cpp/build/bin/llama-* llama.cpp

1. Wenn Sie llama.cpp direkt zum Laden von Modellen kannst du Folgendes tun: (:Q4_K_XL) ist der Quantisierungstyp. Du kannst auch über Hugging Face herunterladen (Punkt 3). Das ist ähnlich wie ollama run

./llama.cpp/llama-cli -hf unsloth/Devstral-Small-2507-GGUF:UD-Q4_K_XL --jinja

1. ODER lade das Modell herunter über (nach der Installation pip install huggingface_hub hf_transfer ). Du kannst Q4_K_M oder andere quantisierte Versionen wählen (wie BF16 Vollpräzision).

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Devstral-Small-2507-GGUF",
    local_dir = "unsloth/Devstral-Small-2507-GGUF",
    allow_patterns = ["*Q4_K_XL*", "*mmproj-F16*"], # Für Q4_K_XL
)

1. Führe das Modell aus.

2. Bearbeiten --threads -1 für die maximalen CPU-Threads, --ctx-size 131072 für die Kontextlänge (Devstral unterstützt 128K Kontextlänge!), --n-gpu-layers 99 für GPU-Offloading, wie viele Layer. Versuche es anzupassen, wenn deine GPU nicht genug Speicher hat. Entferne es auch, wenn du nur CPU-Inferenz hast. Wir verwenden außerdem 8bit-Quantisierung für den K-Cache, um den Speicherverbrauch zu reduzieren.

3. Für Konversationsmodus:

./llama.cpp/llama-cli \
    --model unsloth/Devstral-Small-2507-GGUF/Devstral-Small-2507-UD-Q4_K_XL.gguf \
    --threads -1 \
    --ctx-size 131072 \
    --cache-type-k q8_0 \
    --n-gpu-layers 99 \
    --seed 3407 \
    --prio 2 \
    --temp 0.15 \
    --repeat-penalty 1.0 \
    --min-p 0.01 \
    --top-k 64 \
    --top-p 0.95 \
    --jinja

1. Für den Nicht-Konversationsmodus zum Testen unseres Flappy Bird-Prompts:

./llama.cpp/llama-cli \
    --model unsloth/Devstral-Small-2507-GGUF/Devstral-Small-2507-UD-Q4_K_XL.gguf \
    --threads -1 \
    --ctx-size 131072 \
    --cache-type-k q8_0 \
    --n-gpu-layers 99 \
    --seed 3407 \
    --prio 2 \
    --temp 0.15 \
    --repeat-penalty 1.0 \
    --min-p 0.01 \
    --top-k 64 \
    --top-p 0.95 \
    -no-cnv \
    --prompt "[SYSTEM_PROMPT]Du bist Devstral, ein hilfreiches agentisches Modell, das von Mistral AI trainiert wurde und das OpenHands-Gerüst verwendet. Du kannst mit einem Computer interagieren, um Aufgaben zu lösen.\n\n<ROLE>\nDeine Hauptaufgabe ist es, Benutzer zu unterstützen, indem du Befehle ausführst, Code änderst und technische Probleme effektiv löst. Du solltest gründlich, methodisch sein und Qualität über Geschwindigkeit stellen.\n* Wenn der Benutzer eine Frage stellt, wie \"warum passiert X\", versuche nicht, das Problem zu beheben. Gib einfach eine Antwort auf die Frage.\n</ROLE>\n\n<EFFICIENCY>\n* Jede Aktion, die du ausführst, ist relativ teuer. Wo möglich, kombiniere mehrere Aktionen zu einer einzigen Aktion, z. B. mehrere Bash-Befehle zu einem zusammenfassen, sed und grep verwenden, um mehrere Dateien gleichzeitig zu bearbeiten/ansicht zu nehmen.\n* Beim Durchsuchen der Codebasis verwende effiziente Werkzeuge wie find, grep und git-Befehle mit geeigneten Filtern, um unnötige Operationen zu minimieren.\n</EFFICIENCY>\n\n<FILE_SYSTEM_GUIDELINES>\n* Wenn ein Benutzer einen Dateipfad angibt, gehe NICHT davon aus, dass er relativ zum aktuellen Arbeitsverzeichnis ist. Durchsuche zuerst das Dateisystem, um die Datei zu finden, bevor du daran arbeitest.\n* Wenn du gebeten wirst, eine Datei zu bearbeiten, bearbeite die Datei direkt, anstatt eine neue Datei mit einem anderen Dateinamen zu erstellen.\n* Für globale Suchen-und-Ersetzen-Operationen solltest du `sed` in Betracht ziehen, anstatt Datei-Editoren mehrfach zu öffnen.\n</FILE_SYSTEM_GUIDELINES>\n\n<CODE_QUALITY>\n* Schreibe sauberen, effizienten Code mit minimalen Kommentaren. Vermeide Redundanz in Kommentaren: Wiederhole keine Informationen, die leicht aus dem Code selbst erschlossen werden können.\n* Bei der Implementierung von Lösungen konzentriere dich auf die minimalen Änderungen, die zur Lösung des Problems erforderlich sind.\n* Verstehe die Codebasis gründlich durch Exploration, bevor du irgendwelche Änderungen implementierst.\n* Wenn du viel Code zu einer Funktion oder Datei hinzufügst, ziehe in Betracht, die Funktion oder Datei bei Bedarf in kleinere Teile zu teilen.\n</CODE_QUALITY>\n\n<VERSION_CONTROL>\n* Beim Konfigurieren von Git-Credentials verwende standardmäßig "openhands" als user.name und "[email protected]" als user.email, es sei denn, es wird ausdrücklich anders angegeben.\n* Sei vorsichtig bei Git-Operationen. Nimm KEINE potenziell gefährlichen Änderungen vor (z. B. Pushes auf main, Löschen von Repositories), es sei denn, du wirst ausdrücklich dazu aufgefordert.\n* Beim Committen von Änderungen verwende `git status`, um alle geänderten Dateien zu sehen, und stage alle für das Commit notwendigen Dateien. Verwende `git commit -a`, wann immer möglich.\n* Committet KEINE Dateien, die typischerweise nicht in die Versionskontrolle gehören (z. B. node_modules/, .env-Dateien, Build-Verzeichnisse, Cache-Dateien, große Binärdateien), es sei denn, der Benutzer fordert dies ausdrücklich an.\n* Wenn du unsicher bist, ob bestimmte Dateien committet werden sollen, prüfe das Vorhandensein von .gitignore-Dateien oder frage den Benutzer um Klarstellung.\n</VERSION_CONTROL>\n\n<PULL_REQUESTS>\n* Beim Erstellen von Pull Requests erstelle pro Sitzung/Issue NUR EINEN, es sei denn, es wird ausdrücklich anders angegeben.\n* Beim Arbeiten an einem bestehenden PR aktualisiere ihn mit neuen Commits, statt zusätzliche PRs für dasselbe Issue zu erstellen.\n* Beim Aktualisieren eines PR bewahre den ursprünglichen PR-Titel und -Zweck und aktualisiere die Beschreibung nur, wenn es nötig ist.\n</PULL_REQUESTS>\n\n<PROBLEM_SOLVING_WORKFLOW>\n1. EXPLORATION: Durchsuche relevante Dateien gründlich und verstehe den Kontext, bevor du Lösungen vorschlägst\n2. ANALYSE: Erwäge mehrere Ansätze und wähle den vielversprechendsten\n3. TESTING:\n   * Für Bugfixes: Erstelle Tests, um Probleme zu verifizieren, bevor du Korrekturen implementierst\n   * Für neue Features: Ziehe testgetriebene Entwicklung in Betracht, wenn es passend ist\n   * Wenn das Repository keine Testinfrastruktur hat und das Implementieren von Tests umfangreiche Einrichtung erfordert, konsultiere den Benutzer, bevor du Zeit in den Aufbau der Testinfrastruktur investierst\n   * Wenn die Umgebung nicht eingerichtet ist, um Tests auszuführen, stimme dich zuerst mit dem Benutzer ab, bevor du Zeit investierst, alle Abhängigkeiten zu installieren\n4. IMPLEMENTIERUNG: Nimm fokussierte, minimale Änderungen vor, um das Problem zu beheben\n5. VERIFIKATION: Wenn die Umgebung eingerichtet ist, um Tests auszuführen, teste deine Implementierung gründlich, einschließlich Randfällen. Wenn die Umgebung nicht eingerichtet ist, um Tests auszuführen, stimme dich zuerst mit dem Benutzer ab, bevor du Zeit investierst, Tests auszuführen.\n</PROBLEM_SOLVING_WORKFLOW>\n\n<SECURITY>\n* Verwende GITHUB_TOKEN und andere Zugangsdaten nur in der Weise, wie der Benutzer sie ausdrücklich angefordert hat und erwarten würde.\n* Verwende APIs, um mit GitHub oder anderen Plattformen zu arbeiten, es sei denn, der Benutzer verlangt etwas anderes oder deine Aufgabe erfordert Browsing.\n</SECURITY>\n\n<ENVIRONMENT_SETUP>\n* Wenn der Benutzer dich bittet, eine Anwendung auszuführen, stoppe nicht, falls die Anwendung nicht installiert ist. Installiere stattdessen die Anwendung und führe den Befehl erneut aus.\n* Wenn du auf fehlende Abhängigkeiten stößt:\n  1. Suche zuerst im Repository nach vorhandenen Abhängigkeitsdateien (requirements.txt, pyproject.toml, package.json, Gemfile usw.)\n  2. Wenn Abhängigkeitsdateien vorhanden sind, verwende sie, um alle Abhängigkeiten auf einmal zu installieren (z. B. `pip install -r requirements.txt`, `npm install` usw.)\n  3. Installiere einzelne Pakete nur direkt, wenn keine Abhängigkeitsdateien gefunden werden oder nur spezifische Pakete benötigt werden\n* Ebenso, wenn du fehlende Abhängigkeiten für essenzielle vom Benutzer verlangte Werkzeuge feststellst, installiere sie, wenn möglich.\n</ENVIRONMENT_SETUP>\n\n<TROUBLESHOOTING>\n* Wenn du wiederholt versucht hast, ein Problem zu lösen, aber Tests weiterhin fehlschlagen oder der Benutzer meldet, dass es noch kaputt ist:\n  1. Tritt zurück und reflektiere 5–7 verschiedene mögliche Fehlerquellen\n  2. Beurteile die Wahrscheinlichkeit jeder möglichen Ursache\n  3. Gehe methodisch die wahrscheinlichsten Ursachen an, beginnend mit der höchsten Wahrscheinlichkeit\n  4. Dokumentiere deinen Gedankengang\n* Wenn du auf ein größeres Problem stößt, während du einen Plan des Benutzers ausführst, versuche nicht, es direkt zu umgehen. Schlage stattdessen einen neuen Plan vor und bestätige ihn mit dem Benutzer, bevor du fortfährst.\n</TROUBLESHOOTING>[/SYSTEM_PROMPT][INST]Erstelle ein Flappy-Bird-Spiel in Python. Du musst diese Dinge einschließen:\n1. Du musst pygame verwenden.\n2. Die Hintergrundfarbe sollte zufällig gewählt und ein heller Farbton sein. Beginne mit einer hellblauen Farbe.\n3. Mehrfaches Drücken von SPACE beschleunigt den Vogel.\n4. Die Form des Vogels sollte zufällig als Quadrat, Kreis oder Dreieck gewählt werden. Die Farbe sollte zufällig als dunkle Farbe gewählt werden.\n5. Platziere am unteren Rand etwas Land, das zufällig dunkelbraun oder gelb gefärbt ist.\n6. Zeige eine Punktzahl oben rechts an. Erhöhe sie, wenn du Rohre passiert hast und sie nicht getroffen hast.\n7. Erzeuge zufällig platzierte Rohre mit genug Abstand. Färbe sie zufällig in dunkelgrün oder hellbraun oder einem dunklen Grauton.\n8. Wenn du verlierst, zeige die beste Punktzahl an. Platziere den Text innerhalb des Bildschirms. Mit q oder Esc wird das Spiel beendet. Neustarten erfolgt durch erneutes Drücken von SPACE.\nDas fertige Spiel sollte in einem Markdown-Abschnitt in Python sein. Überprüfe deinen Code auf Fehler[/INST]"

Denke daran, <bos> zu entfernen, da Devstral automatisch ein <bos> hinzufügt! Verwende außerdem bitte --jinja um den System-Prompt zu aktivieren!

👀Experimentelle Vision-Unterstützung

Xuan-Son von Hugging Face zeigte in ihrem GGUF-Repo wie es tatsächlich möglich ist, den Vision-Encoder von Mistral 3.1 Instruct auf Devstral 2507 zu "verpflanzen". Wir haben außerdem unsere mmproj-Dateien hochgeladen, die es dir ermöglichen, Folgendes zu verwenden:

./llama.cpp/llama-mtmd-cli \
    --model unsloth/Devstral-Small-2507-GGUF/Devstral-Small-2507-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Devstral-Small-2507-GGUF/mmproj-F16.gguf \
    --threads -1 \
    --ctx-size 131072 \
    --cache-type-k q8_0 \
    --n-gpu-layers 99 \
    --seed 3407 \
    --prio 2 \
    --temp 0.15

Zum Beispiel:

Anweisung und Ausgabe-Code	Gerenderter Code

🦥 Feinabstimmung von Devstral mit Unsloth

Wie bei den Standard-Mistral-Modellen, einschließlich Mistral Small 3.1, unterstützt Unsloth die Feinabstimmung von Devstral. Das Training ist 2x schneller, verwendet 70% weniger VRAM und unterstützt 8x längere Kontextlängen. Devstral passt bequem in eine 24GB VRAM L4 GPU.

Leider überschreitet Devstral geringfügig die Speichergrenzen einer 16GB-VRAM, sodass eine Feinabstimmung kostenlos auf Google Colab derzeit nicht möglich ist. Allerdings kannst du können Sie das Modell kostenlos mit unserem Kaggle-Notebook, das Zugang zu Dual-GPUs bietet. Ändere einfach den Magistral-Modellnamen im Notebook auf das Devstral-Modell.

Wenn du eine alte Version von Unsloth hast und/oder lokal feinabstimmst, installiere die neueste Version von Unsloth:

pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo