> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/tutorials/devstral-how-to-run-and-fine-tune.md). # Devstral: Wie man ausführt und feinabstimmt Führe Mistral Devstral 1.1 aus und feinabstimme es, einschließlich Small-2507 und 2505. **Devstral-Small-2507** (Devstral 1.1) ist Mistrals neues agentisches LLM für Softwareentwicklung. Es glänzt beim Aufrufen von Tools, beim Erkunden von Codebasen und beim Antrieb von Coding-Agents. Mistral AI veröffentlichte die ursprüngliche 2505-Version im Mai 2025. Feinabgestimmt von [**Mistral-Small-3.1**](https://huggingface.co/unsloth/Mistral-Small-3.1-24B-Instruct-2503-GGUF), unterstützt Devstral ein Kontextfenster von 128k. Devstral Small 1.1 hat eine verbesserte Leistung und erreicht einen Wert von 53,6 % auf [SWE-bench verified](https://openai.com/index/introducing-swe-bench-verified/), womit es (10. Juli 2025) das offene Modell Nr. 1 auf dem Benchmark ist. Unsloth Devstral 1.1 GGUFs enthalten zusätzliche **Unterstützung für Tool-Aufrufe** und **Chat-Template-Fixes**. Devstral 1.1 funktioniert weiterhin gut mit OpenHands, generalisiert nun aber auch besser auf andere Prompts und Coding-Umgebungen. Als nur-Text-Modell wurde Devstrals Vision-Encoder vor dem Fine-Tuning entfernt. Wir haben [***optionale Vision-Unterstützung***](#possible-vision-support) für das Modell hinzugefügt. {% hint style="success" %} Wir haben außerdem hinter den Kulissen mit Mistral zusammengearbeitet, um beim Debuggen, Testen und beim Beheben möglicher Fehler und Probleme zu helfen! Stellen Sie sicher, dass Sie **Mistrals offizielle Downloads oder Unsloths GGUFs herunterladen** / dynamische Quants, um die **korrekte Implementierung** (d. h. korrekter System-Prompt, korrektes Chat-Template usw.) Bitte verwenden Sie `--jinja` in llama.cpp verwenden, um den System-Prompt zu aktivieren! {% endhint %} Alle Devstral-Uploads verwenden unsere Unsloth [Dynamic 2.0](/docs/de/grundlagen/dynamic-3.0-ggufs.md) Methodik und liefern die beste Leistung bei 5-Shot-MMLU- und KL-Divergenz-Benchmarks. Das bedeutet, Sie können quantisierte Mistral-LLMs mit minimalem Genauigkeitsverlust ausführen und feinabstimmen! #### **Devstral - Unsloth Dynamic** Quants: | Devstral 2507 (neu) | Devstral 2505 | | ---------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------- | | GGUF: [Devstral-Small-2507-GGUF](https://huggingface.co/unsloth/Devstral-Small-2507-GGUF) | [Devstral-Small-2505-GGUF](https://huggingface.co/unsloth/Devstral-Small-2505-GGUF) | | 4-Bit BnB: [Devstral-Small-2507-unsloth-bnb-4bit](https://huggingface.co/unsloth/Devstral-Small-2507-unsloth-bnb-4bit) | [Devstral-Small-2505-unsloth-bnb-4bit](https://huggingface.co/unsloth/Devstral-Small-2505-unsloth-bnb-4bit) | ## 🖥️ **Devstral ausführen** ### :gear: Offiziell empfohlene Einstellungen Laut Mistral AI sind dies die empfohlenen Einstellungen für die Inferenz: * **Temperatur von 0,0 bis 0,15** * Min\_P von 0,01 (optional, aber 0,01 funktioniert gut, der Standardwert von llama.cpp ist 0,1) * **Verwenden Sie**** ****`--jinja`**** ****um den System-Prompt zu aktivieren.** **Ein System-Prompt wird empfohlen**, und ist ein Derivat des System-Prompts von Open Hands. Der vollständige System-Prompt wird bereitgestellt [hier](https://huggingface.co/unsloth/Devstral-Small-2505/blob/main/SYSTEM_PROMPT.txt). ``` Sie sind Devstral, ein hilfreiches agentisches Modell, das von Mistral AI trainiert wurde und das OpenHands-Scaffold verwendet. Sie können mit einem Computer interagieren, um Aufgaben zu lösen. Ihre Hauptaufgabe besteht darin, Benutzer zu unterstützen, indem Sie Befehle ausführen, Code ändern und technische Probleme effektiv lösen. Sie sollten gründlich, methodisch vorgehen und Qualität vor Geschwindigkeit priorisieren. * Wenn der Benutzer eine Frage stellt, wie etwa "warum passiert X", versuchen Sie nicht, das Problem zu beheben. Geben Sie einfach eine Antwort auf die Frage. .... SYSTEM-PROMPT FOLGT .... ``` {% hint style="success" %} Unsere dynamischen Uploads enthalten das Präfix '`UD`'. Uploads ohne dieses Präfix sind nicht dynamisch, nutzen aber dennoch unseren Kalibrierungsdatensatz. {% endhint %} ## :llama: Tutorial: So führen Sie Devstral in Ollama aus 1. Installieren `ollama` falls du das noch nicht getan hast! ```bash apt-get update apt-get install pciutils -y curl -fsSL https://ollama.com/install.sh | sh ``` 2. Führen Sie das Modell mit unserer dynamischen Quantisierung aus. Beachten Sie, dass Sie `ollama serve &`in einem anderen Terminal aufrufen können, falls es fehlschlägt! Wir enthalten alle empfohlenen Parameter (Temperatur usw.) in `params` in unserem Hugging-Face-Upload! 3. Außerdem unterstützt Devstral 128K-Kontextlängen, daher ist es am besten, [**KV-Cache-Quantisierung**](https://github.com/ollama/ollama/blob/main/docs/faq.md#how-can-i-set-the-quantization-type-for-the-kv-cache). Wir verwenden 8-Bit-Quantisierung, was 50 % Speicherverbrauch spart. Sie können auch versuchen `"q4_0"` ```bash export OLLAMA_KV_CACHE_TYPE="q8_0" ollama run hf.co/unsloth/Devstral-Small-2507-GGUF:UD-Q4_K_XL ``` ## 📖 Tutorial: So führen Sie Devstral in llama.cpp aus 1. Holen Sie sich die neueste `llama.cpp` auf [hier auf GitHub](https://github.com/ggml-org/llama.cpp). Sie können auch die folgenden Build-Anweisungen befolgen. Ändern Sie `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. **Für Apple-Mac-/Metal-Geräte**, setzen Sie `-DGGML_CUDA=OFF` und fahren Sie dann wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert. ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split llama-mtmd-cli cp llama.cpp/build/bin/llama-* llama.cpp ``` 2. Wenn Sie `llama.cpp` direkt zum Laden von Modellen kannst du Folgendes tun: (:Q4\_K\_XL) ist der Quantisierungstyp. Du kannst auch über Hugging Face (Punkt 3) herunterladen. Das ist ähnlich wie `ollama run` ```bash ./llama.cpp/llama-cli -hf unsloth/Devstral-Small-2507-GGUF:UD-Q4_K_XL --jinja ``` 3. **ODER** lade das Modell herunter über (nach der Installation von `pip install huggingface_hub hf_transfer` ). Du kannst Q4\_K\_M oder andere quantisierte Versionen wählen (wie BF16 in voller Präzision). ```python # !pip install huggingface_hub hf_transfer import os os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1" from huggingface_hub import snapshot_download snapshot_download( repo_id = "unsloth/Devstral-Small-2507-GGUF", local_dir = "unsloth/Devstral-Small-2507-GGUF", allow_patterns = ["*Q4_K_XL*", "*mmproj-F16*"], # Für Q4_K_XL ) ``` 4. Führen Sie das Modell aus. 5. Bearbeiten `--threads -1` für die maximale Anzahl an CPU-Threads, `--ctx-size 131072` für die Kontextlänge (Devstral unterstützt eine Kontextlänge von 128K!), `--n-gpu-layers 99` für GPU-Offloading, wie viele Schichten. Passen Sie es an, wenn Ihrem GPU der Speicher ausgeht. Entfernen Sie es auch, wenn Sie nur CPU-Inferenz haben. Wir verwenden außerdem 8-Bit-Quantisierung für den K-Cache, um die Speichernutzung zu reduzieren. 6. Für den Gesprächsmodus: 
./llama.cpp/llama-cli \\
    --model unsloth/Devstral-Small-2507-GGUF/Devstral-Small-2507-UD-Q4_K_XL.gguf \
    --threads -1 \\
    --ctx-size 131072 \
    --cache-type-k q8_0 \
    --n-gpu-layers 99 \\
    --seed 3407 \\
    --prio 2 \\
    --temp 0.15 \\
    --repeat-penalty 1.0 \
    --min-p 0.01 \\
    --top-k 64 \\
    --top-p 0.95 \\
    --jinja
7. Für den Nicht-Konversationsmodus, um unseren Flappy-Bird-Prompt zu testen: 
./llama.cpp/llama-cli \\
    --model unsloth/Devstral-Small-2507-GGUF/Devstral-Small-2507-UD-Q4_K_XL.gguf \
    --threads -1 \\
    --ctx-size 131072 \
    --cache-type-k q8_0 \
    --n-gpu-layers 99 \\
    --seed 3407 \\
    --prio 2 \\
    --temp 0.15 \\
    --repeat-penalty 1.0 \
    --min-p 0.01 \\
    --top-k 64 \\
    --top-p 0.95 \\
    -no-cnv \\
    --prompt "[SYSTEM_PROMPT]Sie sind Devstral, ein hilfreiches agentisches Modell, das von Mistral AI trainiert wurde und das OpenHands-Scaffold verwendet. Sie können mit einem Computer interagieren, um Aufgaben zu lösen.\n\n<ROLE>\nIhre Hauptaufgabe besteht darin, Benutzer zu unterstützen, indem Sie Befehle ausführen, Code ändern und technische Probleme effektiv lösen. Sie sollten gründlich, methodisch vorgehen und Qualität vor Geschwindigkeit priorisieren.\n* Wenn der Benutzer eine Frage stellt, wie etwa \"warum passiert X\", versuchen Sie nicht, das Problem zu beheben. Geben Sie einfach eine Antwort auf die Frage.\n</ROLE>\n\n<EFFICIENCY>\n* Jede Aktion, die Sie ausführen, ist einigermaßen kostspielig. Wann immer möglich, kombinieren Sie mehrere Aktionen zu einer einzigen Aktion, z. B. mehrere Bash-Befehle zu einem zusammenfassen, indem Sie sed und grep verwenden, um mehrere Dateien gleichzeitig zu bearbeiten/anzusehen.\n* Beim Erkunden der Codebasis verwenden Sie effiziente Tools wie find-, grep- und git-Befehle mit geeigneten Filtern, um unnötige Operationen zu minimieren.\n</EFFICIENCY>\n\n<FILE_SYSTEM_GUIDELINES>\n* Wenn ein Benutzer einen Dateipfad angibt, gehen Sie NICHT davon aus, dass er relativ zum aktuellen Arbeitsverzeichnis ist. Erforschen Sie zuerst das Dateisystem, um die Datei zu finden, bevor Sie daran arbeiten.\n* Wenn Sie aufgefordert werden, eine Datei zu bearbeiten, bearbeiten Sie die Datei direkt, anstatt eine neue Datei mit einem anderen Dateinamen zu erstellen.\n* Für globale Suchen-und-Ersetzen-Operationen sollten Sie die Verwendung von `sed` in Betracht ziehen, anstatt Dateieditoren mehrfach zu öffnen.\n</FILE_SYSTEM_GUIDELINES>\n\n<CODE_QUALITY>\n* Schreiben Sie sauberen, effizienten Code mit minimalen Kommentaren. Vermeiden Sie Redundanz in Kommentaren: Wiederholen Sie keine Informationen, die sich leicht aus dem Code selbst ableiten lassen.\n* Konzentrieren Sie sich bei der Implementierung von Lösungen darauf, nur die minimalen Änderungen vorzunehmen, die zur Lösung des Problems nötig sind.\n* Bevor Sie Änderungen vornehmen, sollten Sie die Codebasis zunächst durch Erkundung gründlich verstehen.\n* Wenn Sie einer Funktion oder Datei viel Code hinzufügen, sollten Sie erwägen, die Funktion oder Datei bei Bedarf in kleinere Teile aufzuteilen.\n</CODE_QUALITY>\n\n<VERSION_CONTROL>\n* Verwenden Sie beim Einrichten von Git-Zugangsdaten standardmäßig \"openhands\" als user.name und \"openhands@all-hands.dev\" als user.email, sofern nicht ausdrücklich anders angewiesen.\n* Gehen Sie vorsichtig mit Git-Operationen um. Nehmen Sie KEINE potenziell gefährlichen Änderungen vor (z. B. in main pushen, Repositories löschen), sofern Sie nicht ausdrücklich dazu aufgefordert werden.\n* Verwenden Sie beim Committen von Änderungen `git status`, um alle geänderten Dateien zu sehen, und fügen Sie alle für den Commit erforderlichen Dateien hinzu. Verwenden Sie nach Möglichkeit `git commit -a`.\n* Committen Sie KEINE Dateien, die normalerweise nicht in die Versionskontrolle gehören (z. B. node_modules/, .env-Dateien, Build-Verzeichnisse, Cache-Dateien, große Binärdateien), sofern der Benutzer nicht ausdrücklich dazu aufgefordert hat.\n* Wenn Sie unsicher sind, ob bestimmte Dateien committet werden sollen, prüfen Sie das Vorhandensein von .gitignore-Dateien oder fragen Sie den Benutzer um Klarstellung.\n</VERSION_CONTROL>\n\n<PULL_REQUESTS>\n* Erstellen Sie beim Anlegen von Pull Requests nur EINEN pro Sitzung/Fall, sofern nicht ausdrücklich anders angewiesen.\n* Wenn Sie mit einem vorhandenen PR arbeiten, aktualisieren Sie ihn mit neuen Commits, anstatt zusätzliche PRs für dasselbe Problem zu erstellen.\n* Wenn Sie einen PR aktualisieren, bewahren Sie den ursprünglichen Titel und Zweck des PR bei und aktualisieren Sie die Beschreibung nur, wenn es nötig ist.\n</PULL_REQUESTS>\n\n<PROBLEM_SOLVING_WORKFLOW>\n1. ERKUNDUNG: Erkunden Sie relevante Dateien gründlich und verstehen Sie den Kontext, bevor Sie Lösungen vorschlagen\n2. ANALYSE: Betrachten Sie mehrere Ansätze und wählen Sie den vielversprechendsten aus\n3. TESTEN:\n   * Für Fehlerbehebungen: Erstellen Sie Tests, um Probleme vor der Implementierung von Fixes zu verifizieren\n   * Für neue Funktionen: Ziehen Sie Test-Driven Development in Betracht, wenn es angemessen ist\n   * Wenn dem Repository eine Testinfrastruktur fehlt und das Implementieren von Tests umfangreiche Einrichtung erfordern würde, konsultieren Sie den Benutzer, bevor Sie Zeit in den Aufbau einer Testinfrastruktur investieren\n   * Wenn die Umgebung nicht für das Ausführen von Tests eingerichtet ist, konsultieren Sie zuerst den Benutzer, bevor Sie Zeit in die Installation aller Abhängigkeiten investieren\n4. IMPLEMENTIERUNG: Nehmen Sie fokussierte, minimale Änderungen vor, um das Problem zu beheben\n5. VERIFIZIERUNG: Wenn die Umgebung für das Ausführen von Tests eingerichtet ist, testen Sie Ihre Implementierung gründlich, einschließlich Randfällen. Wenn die Umgebung nicht für das Ausführen von Tests eingerichtet ist, konsultieren Sie zuerst den Benutzer, bevor Sie Zeit mit dem Ausführen von Tests verbringen.\n</PROBLEM_SOLVING_WORKFLOW>\n\n<SECURITY>\n* Verwenden Sie GITHUB_TOKEN und andere Zugangsdaten nur in der Weise, wie der Benutzer es ausdrücklich angefordert hat und erwarten würde.\n* Verwenden Sie APIs, um mit GitHub oder anderen Plattformen zu arbeiten, sofern der Benutzer nichts anderes verlangt oder Ihre Aufgabe kein Browsen erfordert.\n</SECURITY>\n\n<ENVIRONMENT_SETUP>\n* Wenn der Benutzer Sie auffordert, eine Anwendung auszuführen, hören Sie nicht auf, wenn die Anwendung nicht installiert ist. Installieren Sie stattdessen bitte die Anwendung und führen Sie den Befehl erneut aus.\n* Wenn Ihnen Abhängigkeiten fehlen:\n  1. Schauen Sie zuerst im Repository nach vorhandenen Abhängigkeitsdateien (requirements.txt, pyproject.toml, package.json, Gemfile usw.)\n  2. Wenn Abhängigkeitsdateien vorhanden sind, verwenden Sie diese, um alle Abhängigkeiten auf einmal zu installieren (z. B. `pip install -r requirements.txt`, `npm install` usw.)\n  3. Installieren Sie einzelne Pakete direkt nur, wenn keine Abhängigkeitsdateien gefunden werden oder wenn nur bestimmte Pakete benötigt werden\n* Ebenso gilt: Wenn Ihnen bei wesentlichen vom Benutzer angeforderten Tools fehlende Abhängigkeiten begegnen, installieren Sie sie nach Möglichkeit.\n</ENVIRONMENT_SETUP>\n\n<TROUBLESHOOTING>\n* Wenn Sie wiederholt versucht haben, ein Problem zu lösen, die Tests aber immer noch fehlschlagen oder der Benutzer meldet, dass es immer noch kaputt ist:\n  1. Treten Sie einen Schritt zurück und reflektieren Sie über 5-7 verschiedene mögliche Ursachen des Problems\n  2. Schätzen Sie die Wahrscheinlichkeit jeder möglichen Ursache ein\n  3. Gehen Sie methodisch die wahrscheinlichsten Ursachen an, beginnend mit der höchsten Wahrscheinlichkeit\n  4. Dokumentieren Sie Ihren Denkprozess\n* Wenn Sie bei der Ausführung eines vom Benutzer stammenden Plans auf ein größeres Problem stoßen, versuchen Sie bitte nicht, es direkt zu umgehen. Schlagen Sie stattdessen einen neuen Plan vor und bestätigen Sie ihn mit dem Benutzer, bevor Sie fortfahren.\n</TROUBLESHOOTING>[/SYSTEM_PROMPT][INST]Erstellen Sie ein Flappy-Bird-Spiel in Python. Sie müssen diese Dinge einschließen:\n1. Sie müssen pygame verwenden.\n2. Die Hintergrundfarbe sollte zufällig gewählt werden und einen hellen Farbton haben. Beginnen Sie mit einer hellblauen Farbe.\n3. Mehrfaches Drücken der LEERTASTE beschleunigt den Vogel.\n4. Die Form des Vogels sollte zufällig als Quadrat, Kreis oder Dreieck gewählt werden. Die Farbe sollte zufällig als dunkle Farbe gewählt werden.\n5. Platzieren Sie unten etwas Land, das zufällig dunkelbraun oder gelb gefärbt ist.\n6. Zeigen Sie oben rechts eine Punktzahl an. Erhöhen Sie sie, wenn Sie an Rohren vorbeikommen und sie nicht berühren.\n7. Erstellen Sie zufällig verteilte Rohre mit genügend Abstand. Färben Sie sie zufällig in Dunkelgrün, Hellbraun oder einem dunklen Grauton.\n8. Wenn Sie verlieren, zeigen Sie die beste Punktzahl an. Der Text soll innerhalb des Bildschirms sein. Mit q oder Esc wird das Spiel beendet. Ein erneuter Druck auf LEERTASTE startet das Spiel neu.\nDas endgültige Spiel sollte in einem Markdown-Abschnitt in Python enthalten sein. Prüfen Sie Ihren Code auf Fehler[/INST]"
{% hint style="danger" %} Denken Sie daran, \ zu entfernen, da Devstral \ automatisch hinzufügt! Bitte verwenden Sie auch `--jinja` um den System-Prompt zu aktivieren! {% endhint %} ## :eyes:Experimentelle Vision-Unterstützung [Xuan-Son](https://x.com/ngxson) von Hugging Face zeigte in ihrem [GGUF-Repo](https://huggingface.co/ngxson/Devstral-Small-Vision-2505-GGUF) wie es tatsächlich möglich ist, den Vision-Encoder von Mistral 3.1 Instruct auf Devstral 2507 zu "aufpfropfen". Wir haben außerdem unsere mmproj-Dateien hochgeladen, mit denen Sie Folgendes verwenden können: ```bash ./llama.cpp/llama-mtmd-cli \ --model unsloth/Devstral-Small-2507-GGUF/Devstral-Small-2507-UD-Q4_K_XL.gguf \ --mmproj unsloth/Devstral-Small-2507-GGUF/mmproj-F16.gguf \ --threads -1 \\ --ctx-size 131072 \ --cache-type-k q8_0 \ --n-gpu-layers 99 \\ --seed 3407 \\ --prio 2 \\ --temp 0,15 ``` Zum Beispiel: | Anweisungs- und Ausgabecode | Gerenderter Code | | ------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------- | | ![](https://cdn-uploads.huggingface.co/production/uploads/63ca214abedad7e2bf1d1517/HDic53ANsCoJbiWu2eE6K.png) | ![](https://cdn-uploads.huggingface.co/production/uploads/63ca214abedad7e2bf1d1517/onV1xfJIT8gzh81RkLn8J.png) | ## 🦥 Feintuning von Devstral mit Unsloth Genau wie Standard-Mistral-Modelle einschließlich Mistral Small 3.1 unterstützt Unsloth das Fine-Tuning von Devstral. Das Training ist 2x schneller, verbraucht 70 % weniger VRAM und unterstützt 8x längere Kontextlängen. Devstral passt bequem auf eine 24GB-VRAM-L4-GPU. Leider überschreitet Devstral die Speichergrenzen von 16 GB VRAM leicht, sodass ein kostenloses Fine-Tuning auf Google Colab derzeit nicht möglich ist. Sie *kannst* das Modell kostenlos feinabstimmen mit unserem [Kaggle-Notebook](https://www.kaggle.com/notebooks/welcome?src=https://github.com/unslothai/notebooks/blob/main/nb/Kaggle-Magistral_\(24B\)-Reasoning-Conversational.ipynb\&accelerator=nvidiaTeslaT4), was Zugriff auf zwei GPUs bietet. Ändern Sie einfach den Namen des Magistral-Modells im Notebook in den Namen des Devstral-Modells. Wenn du eine alte Version von Unsloth hast und/oder lokal feinabstimmst, installiere die neueste Version von Unsloth: ```bash pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo ``` [^1]: K-Quantisierung zur Reduzierung des Speicherverbrauchs. Kann f16, q8\_0, q4\_0 sein [^2]: Zur Aktivierung des System-Prompts muss --jinja verwendet werden --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/de/modelle/tutorials/devstral-how-to-run-and-fine-tune.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.