> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/grundlagen/inference-and-deployment/saving-to-ollama.md).

# Modelle in Ollama speichern

Siehe unseren Leitfaden unten für den vollständigen Ablauf, wie Modelle gespeichert werden in [Ollama](https://github.com/ollama/ollama):

{% content-ref url="/pages/3c1de2711fe52945f90b888765c1914adeb1e704" %}
[Tutorial: Finetune Llama-3 and Use In Ollama](/docs/de/loslegen/fine-tuning-llms-guide/tutorial-how-to-finetune-llama-3-and-use-in-ollama.md)
{% endcontent-ref %}

### Speichern in Google Colab

Sie können das feinabgestimmte Modell als kleine 100-MB-Datei namens LoRA-Adapter wie unten speichern. Stattdessen können Sie auch auf den Hugging Face Hub pushen, wenn Sie Ihr Modell hochladen möchten! Denken Sie daran, sich über folgendes einen Hugging Face-Token zu holen: <https://huggingface.co/settings/tokens> und fügen Sie Ihren Token hinzu!

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-8c577103f7c4fe883cabaf35c8437307c6501686%2Fimage.png?alt=media" alt=""><figcaption></figcaption></figure>

Nachdem das Modell gespeichert wurde, können wir Unsloth erneut verwenden, um das Modell selbst auszuführen! Verwenden Sie `FastLanguageModel` noch einmal, um es für die Inferenz aufzurufen!

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-1a1be852ca551240bdce47cf99e6ccd7d31c1326%2Fimage.png?alt=media" alt=""><figcaption></figcaption></figure>

### Export nach Ollama

Schließlich können wir unser feinabgestimmtes Modell selbst nach Ollama exportieren! Zuerst müssen wir Ollama im Colab-Notebook installieren:

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-24f9429ed4a8b3a630dc8f68dcf81555da0a80ee%2Fimage.png?alt=media" alt=""><figcaption></figcaption></figure>

Dann exportieren wir das feinabgestimmte Modell in die GGUF-Formate von llama.cpp, wie unten:

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-56991ea7e2685bb9905af9baf2f3f685123dcdd8%2Fimage%20(52).png?alt=media" alt=""><figcaption></figcaption></figure>

Erinnerung zur Umstellung `Falsch` zu `Wahr` für 1 Zeile und nicht jede Zeile zu `Wahr`, sonst werden Sie sehr lange warten! Wir empfehlen normalerweise, die erste Zeile auf `Wahr`, damit wir das feinabgestimmte Modell schnell nach `Q8_0` Format (8-Bit-Quantisierung) exportieren können. Wir erlauben Ihnen auch den Export in eine ganze Liste von Quantisierungsmethoden, wobei eine beliebte `q4_k_m`.

Gehen Sie zu <https://github.com/ggml-org/llama.cpp> um mehr über GGUF zu erfahren. Wir haben hier auch einige manuelle Anweisungen, wie man nach GGUF exportiert, falls Sie möchten: <https://github.com/unslothai/unsloth/wiki#manually-saving-to-gguf>

Sie werden eine lange Liste von Text sehen wie unten – bitte warten Sie 5 bis 10 Minuten!!

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-271b392fdafd0e7d01c525d7a11a97ee5c34b713%2Fimage.png?alt=media" alt=""><figcaption></figcaption></figure>

Und ganz am Ende wird es schließlich wie unten aussehen:

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-a554bd388fd0394dd8cdef85fd9d208bfd7feee7%2Fimage.png?alt=media" alt=""><figcaption></figcaption></figure>

Dann müssen wir Ollama selbst im Hintergrund ausführen. Wir verwenden `subprocess` weil Colab keine asynchronen Aufrufe mag, aber normalerweise führt man einfach `ollama serve` im Terminal / in der Eingabeaufforderung aus.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-e431609dfc5c742f0b5ab2388dbbd0d8e15c7670%2Fimage.png?alt=media" alt=""><figcaption></figcaption></figure>

### Automatisch `Modelfile` Erstellung

Der Trick, den Unsloth bietet, ist, dass wir automatisch eine `Modelfile` erstellen, die Ollama benötigt! Dies ist nur eine Liste von Einstellungen und enthält die Chat-Vorlage, die wir für den Feinabstimmungsprozess verwendet haben! Sie können auch die `Modelfile` wie unten generiert ausgeben:

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-6945ba10a2e25cfc198848c0e863001375c32c4c%2Fimage.png?alt=media" alt=""><figcaption></figcaption></figure>

Wir bitten dann Ollama, ein mit Ollama kompatibles Modell zu erstellen, indem wir die `Modelfile`

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-d431a64613b39d913d1780c22cde37edc6564272%2Fimage.png?alt=media" alt=""><figcaption></figcaption></figure>

### Ollama-Inferenz

Und wir können das Modell jetzt für die Inferenz aufrufen, wenn Sie den Ollama-Server selbst aufrufen möchten, der im Hintergrund auf Ihrem eigenen lokalen Rechner / im kostenlosen Colab-Notebook läuft. Denken Sie daran, dass Sie den gelb unterstrichenen Teil bearbeiten können.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-49b93efa192fdd741f3ac8484cef8c3fd7415283%2FInference.png?alt=media" alt=""><figcaption></figcaption></figure>

### Das Ausführen in Unsloth funktioniert gut, aber nach dem Export und dem Ausführen in Ollama sind die Ergebnisse schlecht

Es kann vorkommen, dass Ihr Modell ausgeführt wird und in Unsloth gute Ergebnisse liefert, aber wenn Sie es auf einer anderen Plattform wie Ollama verwenden, sind die Ergebnisse schlecht oder Sie erhalten Kauderwelsch, endlose/unendliche Generierungen *oder* wiederholte Ausgabe&#x6E;**.**

* Die häufigste Ursache für diesen Fehler ist die Verwendung einer <mark style="background-color:blue;">**falschen Chat-Vorlage**</mark>**.** Es ist wichtig, dieselbe Chat-Vorlage zu verwenden, die beim Training des Modells in Unsloth verwendet wurde, und später auch, wenn Sie es in einem anderen Framework wie llama.cpp oder Ollama ausführen. Beim Inferenzieren aus einem gespeicherten Modell ist es entscheidend, die richtige Vorlage anzuwenden.
* Sie müssen das richtige `eos-Token`verwenden. Andernfalls kann es bei längeren Generierungen zu Kauderwelsch kommen.
* Es könnte auch daran liegen, dass Ihre Inferenz-Engine ein unnötiges "Start-of-Sequence"-Token hinzufügt (oder umgekehrt daran fehlt), also prüfen Sie beide Hypothesen!
* <mark style="background-color:green;">**Verwenden Sie unsere Konversations-Notebooks, um die Chat-Vorlage zu erzwingen – das behebt die meisten Probleme.**</mark>
  * Qwen-3 14B Konversations-Notebook [**In Colab öffnen**](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_\(14B\)-Reasoning-Conversational.ipynb)
  * Gemma-3 4B Konversations-Notebook [**In Colab öffnen**](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Gemma3_\(4B\).ipynb)
  * Llama-3.2 3B Konversations-Notebook [**In Colab öffnen**](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Llama3.2_\(1B_and_3B\)-Conversational.ipynb)
  * Phi-4 14B Konversations-Notebook [**In Colab öffnen**](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Phi_4-Conversational.ipynb)
  * Mistral v0.3 7B Konversations-Notebook [**In Colab öffnen**](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Mistral_v0.3_\(7B\)-Conversational.ipynb)
  * **Weitere Notebooks in unseren** [**Notebook-Dokumentationen**](/docs/de/loslegen/unsloth-notebooks.md)


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/de/grundlagen/inference-and-deployment/saving-to-ollama.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.