> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/integrationen/connections/ollama.md).
# Wie man Ollama mit Unsloth verbindet
Ollama ermöglicht es dir, lokale LLMs auf deiner eigenen Hardware auszuführen, und [Unsloth](https://github.com/unslothai/unsloth) macht es einfach, diese Modelle direkt mit einer Open-Source-UI-Chat-Oberfläche zu verbinden und auszuführen. In diesem Leitfaden lernst du, wie du Ollama installierst, native Ollama-Modelle oder GGUF-Modelle von Hugging Face ausführst, Ollama mit Unsloth verbindest und mit lokalen KI-Modellen zu chatten beginnst.
Egal, ob du Modelle wie [Qwen](/docs/de/modelle/qwen3.6.md)verwenden, eine GGUF-Datei importieren oder deinen lokalen Ollama-Server über einen OpenAI-kompatiblen Endpunkt bereitstellen möchtest – diese Anleitung deckt das gesamte Setup von der Installation bis zum ersten Chat ab.
### Einrichtung
{% stepper %}
{% step %}
#### Ollama installieren oder vorbereiten
{% tabs %}
{% tab title="macOS" %}
Installiere Ollama mit dem Installationsskript:
```bash
curl -fsSL https://ollama.com/install.sh | sh
```
Du kannst Ollama auch manuell herunterladen von [ollama.com/download](https://ollama.com/download).
{% endtab %}
{% tab title="Windows" %}
Installiere Ollama über PowerShell:
```powershell
irm https://ollama.com/install.ps1 | iex
```
Du kannst Ollama auch manuell herunterladen von [ollama.com/download](https://ollama.com/download/OllamaSetup.exe).
{% endtab %}
{% tab title="Linux" %}
Installiere Ollama mit dem Installationsskript:
```bash
curl -fsSL https://ollama.com/install.sh | sh
```
Du kannst Ollama auch manuell herunterladen von [ollama.com/download](https://docs.ollama.com/linux#manual-install).
{% endtab %}
{% tab title="Docker" %}
Das offizielle Ollama-Docker-Image ist `ollama/ollama` auf Docker Hub.
```bash
docker run -d \
-v ollama:/root/.ollama \
-p 11434:11434 \
--name ollama \
ollama/ollama
```
{% endtab %}
{% endtabs %}
Ollama läuft normalerweise unter:
```
http://localhost:11434
```
{% endstep %}
{% step %}
#### Ein Modell ausführen
Du kannst ein Modell auf zwei gängige Arten auswählen:
* Suche native Ollama-Modelle unter [ollama.com/search](https://ollama.com/search), dann kopiere den Modellnamen.
* Verwende ein GGUF-Modell von Hugging Face und kopiere dann den Ollama-Befehl von **Dieses Modell verwenden**.
Für ein Ollama-Modell: herunterladen und ausführen:
```bash
ollama pull qwen3.6:35b-a3b
ollama run qwen3.6:35b-a3b
```
Wenn die Ollama-App oder der Dienst noch nicht läuft, starte ihn zuerst:
```bash
ollama serve
```
#### Ein GGUF von Hugging Face auswählen
Wenn du ein GGUF-Modell von Hugging Face verwendest, ist der einfachste Weg, den Befehl zu erhalten, über die Modellseite.
Öffne das Modell, das du verwenden möchtest, klicke auf **Dieses Modell verwenden**und wähle dann **Ollama** aus der Liste der lokalen Apps. Wähle die gewünschte Quantisierung aus dem Dropdown-Menü und kopiere dann den generierten Befehl.
Zum Beispiel mit Ollama:
```bash
ollama run hf.co/unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q4_K_XL
```
So vermeidest du Fehler beim Repo-Namen oder beim Quantisierungs-Tag.
{% endstep %}
{% step %}
#### Ollama mit Unsloth verbinden
Öffne **Einstellungen → Verbindungen**, dann klicke auf **Verbindung hinzufügen**.
Wähle **Ollama**aus und gib dann deine Verbindungsdetails ein:
Verwende die in der Unsloth-Formular angezeigte Ollama-URL. In den meisten lokalen Setups ist das:
```
http://localhost:11434
```
Wenn Unsloth eine OpenAI-kompatible Basis-URL verlangt, verwende:
```
http://localhost:11434/v1
```
Ollama benötigt normalerweise keinen API-Schlüssel. Lass das Feld für den API-Schlüssel leer, außer du verwendest einen Proxy, der einen erfordert.
Klicke auf **Modelle laden** um die in Ollama laufenden Modelle abzurufen, oder gib die **Modell-ID** selbst ein, zum Beispiel `qwen3.6`.
{% endstep %}
{% step %}
#### Bereit zum Chatten
Nachdem du auf **Verbindung hinzufügen**geklickt hast, werden die von dir aktivierten Modelle nun unter **Verbunden** im **Modell auswählen** Dropdown angezeigt.
{% endstep %}
{% endstepper %}
#### Häufige Ollama-Befehle
Verwende diese beim Einrichten des Modells, das du für Unsloth freigeben möchtest:
| Befehl | Was er bewirkt |
| ----------------------------- | ------------------------------------------------------- |
| `ollama run qwen3.6:35b-a3b` | Ein Modell ausführen und einen interaktiven Chat öffnen |
| `ollama pull qwen3.6:35b-a3b` | Ein Modell herunterladen, ohne den Chat zu starten |
| `ollama ls` | Heruntergeladene Modelle auflisten |
| `ollama ps` | Aktuell laufende Modelle auflisten |
| `ollama stop qwen3.6:35b-a3b` | Ein laufendes Modell stoppen |
| `ollama rm qwen3.6:35b-a3b` | Ein heruntergeladenes Modell entfernen |
| `ollama serve` | Den Ollama-Server starten |
Wenn du ein lokales GGUF in Ollama importierst, erstelle ein `Modelfile`, dann führe aus:
```bash
ollama create -f Modelfile
```
Wenn Ollama nicht erkannt wird, stelle sicher, dass die Ollama-App oder der Dienst läuft. Klicke dann erneut auf **Modelle laden** in Unsloth.
Die vollständige Befehlsliste findest du in der [Ollama-CLI-Referenz](https://docs.ollama.com/cli).
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:
```
GET https://unsloth.ai/docs/de/integrationen/connections/ollama.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.