> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/integrationen/connections/ollama.md).
# So verbinden Sie Ollama mit Unsloth
Ollama ermöglicht es dir, lokale LLMs auf deiner eigenen Hardware auszuführen, und [Unsloth](https://github.com/unslothai/unsloth) macht es einfach, diese Modelle direkt in eine Open-Source-Chat-Oberfläche zu verbinden und dort auszuführen. In diesem Leitfaden lernst du, wie du Ollama installierst, native Ollama-Modelle oder GGUF-Modelle von Hugging Face ausführst, Ollama mit Unsloth verbindest und mit lokalen KI-Modellen zu chatten beginnst.
Egal, ob du Modelle wie [Qwen](/docs/de/modelle/qwen3.6.md), eine GGUF-Datei importieren oder deinen lokalen Ollama-Server über einen OpenAI-kompatiblen Endpunkt bereitstellen möchtest – diese Anleitung deckt die gesamte Einrichtung von der Installation bis zum ersten Chat ab.
### Einrichtung
{% stepper %}
{% step %}
#### Ollama installieren oder vorbereiten
{% tabs %}
{% tab title="macOS" %}
Installiere Ollama mit dem Installationsskript:
```bash
curl -fsSL https://ollama.com/install.sh | sh
```
Du kannst Ollama auch manuell herunterladen von [ollama.com/download](https://ollama.com/download).
{% endtab %}
{% tab title="Windows" %}
Installiere Ollama über PowerShell:
```powershell
irm https://ollama.com/install.ps1 | iex
```
Du kannst Ollama auch manuell herunterladen von [ollama.com/download](https://ollama.com/download/OllamaSetup.exe).
{% endtab %}
{% tab title="Linux" %}
Installiere Ollama mit dem Installationsskript:
```bash
curl -fsSL https://ollama.com/install.sh | sh
```
Du kannst Ollama auch manuell herunterladen von [ollama.com/download](https://docs.ollama.com/linux#manual-install).
{% endtab %}
{% tab title="Docker" %}
Das offizielle Ollama-Docker-Image ist `ollama/ollama` auf Docker Hub.
```bash
docker run -d \
-v ollama:/root/.ollama \
-p 11434:11434 \
--name ollama \
ollama/ollama
```
{% endtab %}
{% endtabs %}
Ollama läuft normalerweise unter:
```
http://localhost:11434
```
{% endstep %}
{% step %}
#### Ein Modell ausführen
Du kannst ein Modell auf zwei gängige Arten auswählen:
* Suche native Ollama-Modelle unter [ollama.com/search](https://ollama.com/search), dann kopiere den Modellnamen.
* Verwende ein GGUF-Modell von Hugging Face und kopiere dann den Ollama-Befehl von **Dieses Modell verwenden**.
Für ein Ollama-Modell: ziehe es und führe es aus:
```bash
ollama pull qwen3.6:35b-a3b
ollama run qwen3.6:35b-a3b
```
Wenn die Ollama-App oder der Dienst noch nicht läuft, starte ihn zuerst:
```bash
ollama serve
```
#### Wähle ein GGUF von Hugging Face
Wenn du ein GGUF-Modell von Hugging Face verwendest, ist der einfachste Weg, den Befehl zu erhalten, die Modellseite.
Öffne das Modell, das du verwenden möchtest, und klicke auf **Dieses Modell verwenden**, dann wähle **Ollama** aus der Liste der lokalen Apps. Wähle die gewünschte Quantisierung im Dropdown-Menü aus und kopiere dann den generierten Befehl.
Zum Beispiel mit Ollama:
```bash
ollama run hf.co/unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q4_K_XL
```
Das hilft, Fehler beim Repository-Namen oder beim Quantisierungs-Tag zu vermeiden.
{% endstep %}
{% step %}
#### Ollama mit Unsloth verbinden
Öffnen **Einstellungen → Verbindungen**, dann klicken Sie auf **Verbindung hinzufügen**.
Wählen Sie **Ollama**, dann gib deine Verbindungsdaten ein:
Verwende die in dem Unsloth-Formular angezeigte Ollama-URL. In den meisten lokalen Setups ist das:
```
http://localhost:11434
```
Wenn Unsloth nach einer OpenAI-kompatiblen Basis-URL fragt, verwende:
```
http://localhost:11434/v1
```
Ollama benötigt normalerweise keinen API-Schlüssel. Lasse das Feld für den API-Schlüssel leer, es sei denn, du verwendest einen Proxy, der einen erfordert.
Klicken Sie **Modelle laden** um die in Ollama laufenden Modelle abzurufen, oder gib die **Modell-ID** selbst ein, zum Beispiel `qwen3.6`.
{% endstep %}
{% step %}
#### Bereit zum Chatten
Nachdem du auf **Verbindung hinzufügen**, erscheinen die von dir aktivierten Modelle jetzt unter **Verbunden** im **Modell auswählen** Dropdown-Menü.
{% endstep %}
{% endstepper %}
#### Gängige Ollama-Befehle
Verwende diese beim Einrichten des Modells, das du Unsloth bereitstellen möchtest:
| Befehl | Was es bewirkt |
| ----------------------------- | ------------------------------------------------------- |
| `ollama run qwen3.6:35b-a3b` | Ein Modell ausführen und einen interaktiven Chat öffnen |
| `ollama pull qwen3.6:35b-a3b` | Ein Modell herunterladen, ohne einen Chat zu starten |
| `ollama ls` | Heruntergeladene Modelle auflisten |
| `ollama ps` | Aktuell laufende Modelle auflisten |
| `ollama stop qwen3.6:35b-a3b` | Ein laufendes Modell stoppen |
| `ollama rm qwen3.6:35b-a3b` | Ein heruntergeladenes Modell entfernen |
| `ollama serve` | Den Ollama-Server starten |
Wenn du ein lokales GGUF in Ollama importierst, erstelle eine `Modelfile`, und führe dann aus:
```bash
ollama create -f Modelfile
```
Wenn Ollama nicht erkannt wird, stelle sicher, dass die Ollama-App oder der Dienst läuft. Klicke dann auf **Modelle laden** noch einmal in Unsloth.
Die vollständige Befehlsliste findest du in der [Ollama-CLI-Referenz](https://docs.ollama.com/cli).
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.
Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:
```
GET https://unsloth.ai/docs/de/integrationen/connections/ollama.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
