> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/tutorials/ministral-3.md).

# Ministral 3 – Leitfaden zum Ausführen

Leitfaden für Mistral-Ministral-3-Modelle, um sie lokal auf deinem Gerät auszuführen oder feinabzustimmen

Mistral veröffentlicht Ministral 3, ihre neuen multimodalen Modelle in den Varianten Base, Instruct und Reasoning, verfügbar in **3B**, **8B**, und **14B** Größen. Sie bieten klassenbeste Leistung für ihre Größe und sind für Instruktions- und Chat-Anwendungsfälle feinabgestimmt. Die multimodalen Modelle unterstützen **256K-Kontext** Kontextfenster, mehrere Sprachen, nativen Funktionsaufruf und JSON-Ausgabe.

Das vollständige unquantisierte 14B Ministral-3-Instruct-2512-Modell passt in **24 GB RAM**/VRAM. Sie können jetzt alle Ministral-3-Modelle mit Unsloth ausführen, feinabstimmen und per RL trainieren:

<a href="#run-ministral-3-tutorials" class="button primary">Ministral-3-Tutorials ausführen</a><a href="https://unsloth.ai/docs/de/modelle/tutorials/ministral-3.md#fine-tuning" class="button primary">Feinabstimmung von Ministral 3</a>

Wir haben außerdem Mistral Large 3 hochgeladen [GGUFs hier](https://huggingface.co/unsloth/Mistral-Large-3-675B-Instruct-2512-GGUF). Für alle Ministral-3-Uploads (BnB, FP8), [sehen Sie hier](https://huggingface.co/collections/unsloth/ministral-3).

| Ministral-3-Instruct GGUFs:                                                                                                                                                                                                | Ministral-3-Reasoning GGUFs:                                                                                                                                                                                                  |
| -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| [3B](https://huggingface.co/unsloth/Ministral-3-3B-Instruct-2512-GGUF) • [8B](https://huggingface.co/unsloth/Ministral-3-8B-Instruct-2512-GGUF) • [14B](https://huggingface.co/unsloth/Ministral-3-14B-Instruct-2512-GGUF) | [3B](https://huggingface.co/unsloth/Ministral-3-3B-Reasoning-2512-GGUF) • [8B](https://huggingface.co/unsloth/Ministral-3-8B-Reasoning-2512-GGUF) • [14B](https://huggingface.co/unsloth/Ministral-3-14B-Reasoning-2512-GGUF) |

### ⚙️ Gebrauchsanleitung

Um eine optimale Leistung für **Anweisung**, empfiehlt Mistral die Verwendung niedrigerer Temperaturen wie `temperature = 0.15` oder `0.1`<br>

Für **Schlussfolgern**, empfiehlt Mistral `temperature = 0.7` und `top_p = 0.95`.

| Instruct:                      | Reasoning:          |
| ------------------------------ | ------------------- |
| `Temperatur = 0.15` oder `0.1` | `Temperature = 0.7` |
| `Top_P = Standard`             | `Top_P = 0.95`      |

**Ausreichende Ausgabelänge**: Verwenden Sie eine Ausgabelänge von `32,768` Tokens für die meisten Anfragen für die Reasoning-Variante und `16,384` für die Instruct-Variante. Sie können bei Bedarf die maximale Ausgabelänge für das Reasoning-Modell erhöhen.

Die maximale Kontextlänge, die Ministral 3 erreichen kann, beträgt `262,144`

Das Chat-Template-Format ergibt sich, wenn wir das folgende verwenden:

{% code overflow="wrap" %}

```python
tokenizer.apply_chat_template([
    {"role" : "user", "content" : "What is 1+1?"},
    {"role" : "assistant", "content" : "2"},
    {"role" : "user", "content" : "What is 2+2?"}
    ], add_generation_prompt = True
)
```

{% endcode %}

#### Ministral *Schlussfolgern* Chat-Vorlage:

{% code overflow="wrap" lineNumbers="true" %}

```
<s>[SYSTEM_PROMPT]# WIE SIE DENKEN UND ANTWORTEN SOLLTEN

Entwirf zunächst deinen Denkprozess (inneren Monolog), bis du zu einer Antwort gelangst. Formatiere deine Antwort mit Markdown und verwende LaTeX für alle mathematischen Gleichungen. Schreibe sowohl deine Gedanken als auch die Antwort in derselben Sprache wie die Eingabe.

Ihr Denkprozess muss der folgenden Vorlage folgen:[THINK]Ihre Gedanken oder Ihr Entwurf, so wie Sie eine Aufgabe auf Schmierpapier durchgehen würden. Seien Sie so locker und so ausführlich, wie Sie möchten, bis Sie sicher sind, die Antwort für den Nutzer zu erzeugen.[/THINK]Hier geben Sie eine in sich geschlossene Antwort an.[/SYSTEM_PROMPT][INST]Was ist 1+1?[/INST]2</s>[INST]Was ist 2+2?[/INST]
```

{% endcode %}

#### Ministral *Anweisung* Chat-Vorlage:

{% code overflow="wrap" lineNumbers="true" expandable="true" %}

```
<s>[SYSTEM_PROMPT]Sie sind Ministral-3-3B-Instruct-2512, ein großes Sprachmodell (LLM) von Mistral AI, einem französischen Startup mit Sitz in Paris.
Sie betreiben einen KI-Assistenten namens Le Chat.
Ihre Wissensbasis wurde zuletzt am 2023-10-01 aktualisiert.
Das aktuelle Datum ist {today}.

Wenn Sie bei einigen Informationen unsicher sind oder wenn die Anfrage des Nutzers aktuelle oder spezifische Daten erfordert, müssen Sie die verfügbaren Werkzeuge verwenden, um die Informationen abzurufen. Zögern Sie nicht, Werkzeuge zu verwenden, wenn sie eine genauere oder vollständigere Antwort liefern können. Wenn keine relevanten Werkzeuge verfügbar sind, sagen Sie klar, dass Sie die Informationen nicht haben, und vermeiden Sie es, sich etwas auszudenken.
Wenn die Frage des Nutzers nicht klar oder mehrdeutig ist oder nicht genügend Kontext bietet, damit Sie sie genau beantworten können, versuchen Sie nicht, sie sofort zu beantworten, sondern bitten Sie den Nutzer, seine Anfrage zu präzisieren (z. B. „Welche guten Restaurants gibt es in meiner Nähe?“ => „Wo sind Sie?“ oder „Wann geht der nächste Flug nach Tokio?“ => „Von wo reisen Sie an?“).
Sie achten immer sehr auf Daten, insbesondere versuchen Sie, Daten aufzulösen (z. B. ist „gestern“ {yesterday}) und wenn Sie nach Informationen zu bestimmten Daten gefragt werden, lassen Sie Informationen, die auf ein anderes Datum fallen, weg.
Sie befolgen diese Anweisungen in allen Sprachen und antworten dem Nutzer immer in der Sprache, die er verwendet oder anfordert.
Die nächsten Abschnitte beschreiben die Fähigkeiten, die Sie haben.

# ANWEISUNGEN ZUM WEBBROWSING

Sie können keine Websuche durchführen oder auf das Internet zugreifen, um URLs, Links usw. zu öffnen. Wenn es so scheint, als würde der Nutzer das von Ihnen erwarten, klären Sie die Situation und bitten Sie den Nutzer, den Text direkt in den Chat zu kopieren und einzufügen.

# ANWEISUNGEN FÜR MULTIMODALITÄT

Sie können Bilder lesen, aber keine Bilder generieren. Sie können außerdem keine Audio- oder Videodateien transkribieren.
Sie können Audio- oder Videodateien weder lesen noch transkribieren.

# ANWEISUNGEN FÜR TOOL-AUFRUFE

Sie haben möglicherweise Zugriff auf Werkzeuge, die Sie verwenden können, um Informationen abzurufen oder Aktionen auszuführen. Sie müssen diese Werkzeuge in folgenden Situationen verwenden:

1. Wenn die Anfrage aktuelle Informationen erfordert.
2. Wenn die Anfrage spezifische Daten erfordert, die Sie nicht in Ihrer Wissensbasis haben.
3. Wenn die Anfrage Aktionen umfasst, die Sie ohne Werkzeuge nicht ausführen können.

Priorisieren Sie stets die Verwendung von Werkzeugen, um die genaueste und hilfreichste Antwort zu liefern. Wenn keine Werkzeuge verfügbar sind, informieren Sie den Nutzer, dass Sie die angeforderte Aktion im Moment nicht ausführen können.[/SYSTEM_PROMPT][INST]Was ist 1+1?[/INST]2</s>[INST]Was ist 2+2?[/INST]
```

{% endcode %}

## 📖 Ministral-3-Tutorials ausführen

Nachfolgend finden Sie Anleitungen für die [Schlussfolgern](#reasoning-ministral-3-reasoning-2512) und [Anweisung](#instruct-ministral-3-instruct-2512) Varianten des Modells.

### Instruct: Ministral-3-Instruct-2512

Um eine optimale Leistung für **Anweisung**, empfiehlt Mistral die Verwendung niedrigerer Temperaturen wie `temperature = 0.15` oder `0.1`

#### :sparkles: Llama.cpp: Ministral-3-14B-Instruct-Tutorial ausführen

{% stepper %}
{% step %}
Holen Sie sich die neueste `llama.cpp` auf [hier auf GitHub](https://github.com/ggml-org/llama.cpp). Sie können auch die folgenden Build-Anweisungen befolgen. Ändern Sie `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. **Für Apple-Mac-/Metal-Geräte**, setzen Sie `-DGGML_CUDA=OFF` und fahren Sie dann wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert.

{% code overflow="wrap" %}

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

{% endcode %}
{% endstep %}

{% step %}
Sie können direkt von Hugging Face abrufen über:

```bash
./llama.cpp/llama-cli \\
    -hf unsloth/Ministral-3-14B-Instruct-2512-GGUF:Q4_K_XL \\
    --jinja -ngl 99 --ctx-size 32784 \\
    --temp 0,15
```

{% endstep %}

{% step %}
Lade das Modell über (nach der Installation von `pip install huggingface_hub hf_transfer` ). Sie können `UD_Q4_K_XL` oder andere quantisierte Versionen.

```python
# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Ministral-3-14B-Instruct-2512-GGUF",
    local_dir = "Ministral-3-14B-Instruct-2512-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)
```

{% endstep %}
{% endstepper %}

### Reasoning: Ministral-3-Reasoning-2512

Um eine optimale Leistung für **Schlussfolgern**, empfiehlt Mistral die Verwendung von `temperature = 0.7` und `top_p = 0.95`.

#### :sparkles: Llama.cpp: Ministral-3-14B-Reasoning-Tutorial ausführen

{% stepper %}
{% step %}
Holen Sie sich die neueste `llama.cpp` auf [GitHub](https://github.com/ggml-org/llama.cpp). Du kannst auch die unten stehenden Build-Anweisungen verwenden. Ändere `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn Sie keine GPU haben oder nur CPU-Inferenz möchten.

{% code overflow="wrap" %}

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

{% endcode %}
{% endstep %}

{% step %}
Sie können direkt von Hugging Face abrufen über:

```bash
./llama.cpp/llama-cli \\
    -hf unsloth/Ministral-3-14B-Reasoning-2512-GGUF:Q4_K_XL \\
    --jinja -ngl 99 --ctx-size 32784 \\
    --temp 0.6 --top-p 0.95
```

{% endstep %}

{% step %}
Lade das Modell über (nach der Installation von `pip install huggingface_hub hf_transfer` ). Sie können `UD_Q4_K_XL` oder andere quantisierte Versionen.

```python
# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Ministral-3-14B-Reasoning-2512-GGUF",
    local_dir = "Ministral-3-14B-Reasoning-2512-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)
```

{% endstep %}
{% endstepper %}

## 🛠️ Feinabstimmung von Ministral 3 <a href="#fine-tuning" id="fine-tuning"></a>

Unsloth unterstützt jetzt die Feinabstimmung aller Ministral-3-Modelle, einschließlich Vision-Unterstützung. Zum Trainieren müssen Sie die neueste 🤗Hugging Face `transformers` v5 und `unsloth` die unsere jüngste [ultra-langer Kontext](https://unsloth.ai/docs/de/blog/500k-context-length-fine-tuning.md) Unterstützung umfasst. Das große 14B-Ministral-3-Modell sollte auf eine kostenlose Colab-GPU passen.

Wir haben kostenlose Unsloth-Notebooks erstellt, um Ministral 3 feinabzustimmen. Ändern Sie den Namen, um das gewünschte Modell zu verwenden.

* Ministral-3B-Instruct [Vision-Notebook](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Ministral_3_VL_\(3B\)_Vision.ipynb) (Vision)
* Ministral-3B-Instruct [GRPO-Notebook](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Ministral_3_\(3B\)_Reinforcement_Learning_Sudoku_Game.ipynb)

{% columns %}
{% column %}
Ministral Vision Fine-Tuning-Notebook

{% embed url="<https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Ministral_3_VL_(3B)_Vision.ipynb>" %}
{% endcolumn %}

{% column %}
Ministral Sudoku GRPO RL-Notebook

{% embed url="<https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Ministral_3_(3B)_Reinforcement_Learning_Sudoku_Game.ipynb>" %}
{% endcolumn %}
{% endcolumns %}

### :sparkles:Bestärkendes Lernen (GRPO)

Unsloth unterstützt jetzt ebenfalls RL und GRPO für die Mistral-Modelle. Wie üblich profitieren sie von all den Verbesserungen von Unsloth, und morgen werden wir ein Notebook speziell für das autonome Lösen des Sudoku-Rätsels veröffentlichen.

* Ministral-3B-Instruct [GRPO-Notebook](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Ministral_3_\(3B\)_Reinforcement_Learning_Sudoku_Game.ipynb)

**Um die neueste Version von Unsloth und transformers v5 zu verwenden, aktualisieren Sie über:**

{% code overflow="wrap" %}

```
pip install --upgrade --force-reinstall --no-cache-dir --no-deps unsloth unsloth_zoo
```

{% endcode %}

Das Ziel ist es, Strategien automatisch zu generieren, um Sudoku zu lösen!

{% columns %}
{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F2qDbhHfpuhNAHOtIernm%2Fimage.png?alt=media&amp;token=9a3d4bb2-3994-4ec8-aeb8-16bc2bcb77c4" alt=""><figcaption></figcaption></figure>
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FLZlHHeAjoVAeO6juQDiC%2Fimage.png?alt=media&amp;token=45abbb30-b705-4eec-81fc-fb99dd0c2621" alt=""><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

Bei den Belohnungsdiagrammen für Ministral erhalten wir die untenstehenden. Wir sehen, dass es gut funktioniert!

{% columns %}
{% column %}
![](https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FqpfPNKkSF2O1T0flshEi%2Funknown.png?alt=media\&token=a2f14139-bcab-40bf-a054-f189de5d23df)

![](https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fe8TBzOVVn5iYhlJ6nh63%2Funknown.png?alt=media\&token=520699f9-ffd0-43a5-a0ef-263fa678b4bd)
{% endcolumn %}

{% column %}
![](https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FudSxKSBuSOIXONrtarmp%2Funknown.png?alt=media\&token=beefcbce-67df-4ce2-92b8-3e0adc240df6)

![](https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FgwwlcVjMt9nqyqVC6xqD%2Funknown.png?alt=media\&token=b5b390b6-c9e6-4926-9a70-d4aa365caa86)
{% endcolumn %}
{% endcolumns %}


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/de/modelle/tutorials/ministral-3.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
