> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/integrationen/connections.md).

# API-Anbieter und Modellserver mit Unsloth verbinden

Erfahren Sie, wie Sie Modelle von OpenAI, Anthropic, Ollama, llama.cpp, vLLM und anderen Anbietern über eine einzige lokale UI-Oberfläche mit [Unsloth](/docs/de/neu/studio.md), ein Open-Source-Repo zum Ausführen und Trainieren von LLMs.

{% columns %}
{% column %}
Sobald verbunden, können Sie Modelle mit Codeausführung, Tool-Calling, Bilderzeugung und anderen Funktionen in derselben Unsloth-Chat-Oberfläche ausführen, die sowohl für lokale als auch für Cloud-Modelle verwendet wird.

Unsloth unterstützt einzigartig [Prompt-Caching](#prompt-caching) (um Ihnen viele Tokens ohne Genauigkeitsverlust zu sparen), während der Zugriff auf anbietereigene Funktionen erhalten bleibt, wie zum Beispiel OpenAIs integrierte [Websuche](#web-search-and-thinking) und [Codeausführung](#code-execution).
{% endcolumn %}

{% column %}
{% embed url="<https://github.com/user-attachments/assets/70456395-e016-4273-8256-35adb206267e>" %}
{% endcolumn %}
{% endcolumns %}

### Verbindungen

Verbindungen fallen in zwei Gruppen: gehostete API-Anbieter, die Modelle für Sie ausführen, und Modellserver, die Sie selbst ausführen oder kontrollieren.

**Cloud-Anbieter -** Gehostete APIs, die einen Konto-API-Schlüssel verwenden:

| Verbindung | Funktionen                                                 | Einrichtungsanleitung                                                 |
| ---------- | ---------------------------------------------------------- | --------------------------------------------------------------------- |
| OpenAI     | Bild, Suche, Code, Denken                                  | [OpenAI →](/docs/de/integrationen/connections/openai.md)              |
| Anthropic  | Bild, Suche, Code, Denken                                  | [Anthropic →](/docs/de/integrationen/connections/anthropic-claude.md) |
| OpenRouter | Viele gehostete Modelle über einen einzigen API-Schlüssel. | [OpenRouter →](/docs/de/integrationen/connections/openrouter.md)      |

**Modellserver -** Inferenzserver, die lokal, in Ihrem Netzwerk oder auf Ihrer Remote-Maschine laufen:

| Server    | Beschreibung                    | Anleitung                                                                                                             |
| --------- | ------------------------------- | --------------------------------------------------------------------------------------------------------------------- |
| Llama.cpp | Effizientes GGUF-Modell-Serving | [Llama.cpp →](/docs/de/integrationen/connections/llama.cpp-mit-unsloth-verbinden-ggufs-mit-llama-server-ausfuhren.md) |
| vLLM      | Serving mit hohem Durchsatz     | [vLLM →](/docs/de/integrationen/connections/vllm.md)                                                                  |
| Ollama    | Einfacher lokaler Modellserver  | [Ollama →](/docs/de/integrationen/connections/ollama.md)                                                              |

### Schnellstart

Um ein Modell eines externen Anbieters auszuführen, fügen Sie einen API-Schlüssel hinzu und wählen Sie aus, welche Modelle Unsloth anzeigen soll. In diesem Beispiel verwenden wir [OpenAI](https://platform.openai.com/api-keys). Die gleiche Einrichtung funktioniert auch für Anthropic und andere Anbieter.

{% stepper %}
{% step %}

#### API erstellen

Erstellen Sie einen neuen API-Schlüssel im Dashboard des Anbieters und kopieren Sie ihn.

<figure><img src="/files/45e8a8781a100b32160d26b1078661b48b056871" alt=""><figcaption></figcaption></figure>
{% endstep %}

{% step %}

#### Unsloth Studio einrichten

Nun müssen wir [Unsloth](/docs/de/neu/studio.md)installieren und einrichten, [Siehe hier](/docs/de/neu/studio/install.md) für detailliertere Anweisungen.

{% tabs %}
{% tab title="MacOS" %}

#### Schritt 1: Unsloth einrichten

Starten Sie das `Terminal` auf dem Mac und installieren Sie dann Unsloth, indem Sie den folgenden Befehl eingeben.

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

Die Umgebung und die erforderlichen Pakete werden nun installiert. Geben Sie `Y` ein und drücken Sie Enter, wenn Sie aufgefordert werden fortzufahren. Nach Abschluss der Einrichtung ist der Server lokal auf Port verfügbar `8888`.

<figure><img src="/files/6337582368e5e994ddb66c8a622177d6c41fc7de" alt="" width="375"><figcaption></figcaption></figure>

{% hint style="info" %}
Falls Sie den App-Start während der Installation übersprungen haben, können Sie sie später mit `unsloth studio -p 8888`starten. Um Verbindungen von anderen Geräten in Ihrem Netzwerk zuzulassen, verwenden Sie `unsloth studio -H 0.0.0.0 -p 8888` anstelle dessen.
{% endhint %}

#### Schritt 2: Unsloth starten

Öffnen Sie Ihren bevorzugten Browser und geben Sie `http://127.0.0.1:8888`  in das URL-Feld ein. Wenn Sie Unsloth zum ersten Mal installieren, werden Sie zur Passwort-Seite weitergeleitet, wo Sie ein neues Passwort erstellen müssen. Anschließend sollten Sie die Chat-Seite sehen, wie unten gezeigt.

<figure><img src="/files/3c82d946a8c4f751f5b7fbd693e1efe2cf2a63af" alt="" width="375"><figcaption></figcaption></figure>
{% endtab %}

{% tab title="Windows" %}

#### Schritt 1: Unsloth einrichten

Öffnen Sie das Startmenü, suchen Sie nach `PowerShell`und starten Sie es. Kopieren Sie den Installationsbefehl und geben Sie ihn ein:

```powershell
irm https://unsloth.ai/install.ps1 | iex
```

die Installation wird automatisch beginnen. Nachdem die Installation abgeschlossen ist, fragt PowerShell, ob Sie Unsloth Studio starten möchte&#x6E;**.**

<figure><img src="/files/6337582368e5e994ddb66c8a622177d6c41fc7de" alt="" width="375"><figcaption></figcaption></figure>

Sie können es auch mit dem folgenden Befehl starten:

```bash
unsloth studio -H 0.0.0.0 -p 8888
```

{% hint style="info" %}
Wenn Sie möchten, dass Ihre Instanz für Clients außerhalb Ihres PCs/Computers erreichbar ist.\
Fügen Sie `-H 0.0.0.0` zum `unsloth studio` Befehl hinzu.
{% endhint %}

#### Schritt 2: Unsloth starten

Öffnen Sie `http://127.0.0.1:8888` in Ihrem Browser. Beim ersten Start erstellen Sie ein neues Passwort, um zur Chat-Seite fortzufahren. **Unsloth Studio** ist jetzt installiert und einsatzbereit.

<figure><img src="/files/3c82d946a8c4f751f5b7fbd693e1efe2cf2a63af" alt="" width="375"><figcaption></figcaption></figure>
{% endtab %}

{% tab title="Linux, WSL" %}

#### Schritt 1: Unsloth einrichten

{% tabs %}
{% tab title="Linux" %}
Öffnen Sie Ihre Terminal-Anwendung. Sie können sie starten, indem Sie `Strg + Alt + T`drücken oder nach `Terminal` im Anwendungsmenü Ihres Systems suchen.
{% endtab %}

{% tab title="WSL" %}
Klicken Sie im Windows-Startmenü und geben Sie den Namen Ihrer installierten Distribution ein (z. B. `Ubuntu`), und öffnen Sie sie dann.

{% hint style="warning" %}
Unter **WSL**, stellen Sie sicher, dass Ihre **NVIDIA-Treiber** sind installiert auf **Windows** (nicht innerhalb von WSL) und dass das **CUDA Toolkit** in Ihrer WSL-Distribution installiert ist. Weitere Details finden Sie unten unter Systemanforderungen.
{% endhint %}
{% endtab %}
{% endtabs %}

Um zu installieren, kopieren Sie den Installationsbefehl und führen Sie ihn aus:

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

Dann:

1. Klicken Sie in das Terminalfenster
2. Fügen Sie den Befehl mit ein `Strg + Umschalt + V`
3. Drücken Sie `Enter`

Unsloth beginnt nun mit der Einrichtung der Umgebung und der Installation der erforderlichen Pakete, wie unten gezeigt. Geben Sie **Y** ein und drücken Sie `Enter` wenn Sie gefragt werden, ob Sie Unsloth jetzt starten möchten. Dadurch wird Unsloth auf Ihrem lokalen **8888** Port gestartet.

<figure><img src="/files/ea07e1b505e0d11cc8f39b34d4df520d1d58fe0f" alt=""><figcaption></figcaption></figure>

{% hint style="info" %}
Wenn Sie sich dafür entschieden haben, Unsloth während der Installation nicht zu starten, können Sie die Unsloth-App jederzeit mit `unsloth studio -p 8888` starten. Wenn Sie möchten, dass Ihre Unsloth-Instanz für Clients außerhalb Ihres PCs/Computers erreichbar ist, fügen Sie `-H 0.0.0.0` zum `unsloth studio` Befehl hinzu.
{% endhint %}

#### Schritt 2: Unsloth starten

Öffnen Sie Ihren bevorzugten Browser und geben Sie `http://127.0.0.1:8888`  in das URL-Feld ein. Wenn Sie Unsloth zum ersten Mal installieren, werden Sie zur Passwort-Seite weitergeleitet, wo Sie ein neues Passwort erstellen müssen. Danach sollte Unsloth nun auf der Chat-Seite geöffnet werden, wie unten gezeigt.

<figure><img src="/files/fab3a64e6e14bb8ee47919b963bf11d7da3202ee" alt="" width="375"><figcaption></figcaption></figure>
{% endtab %}
{% endtabs %}
{% endstep %}

{% step %}

#### Verbindungen konfigurieren

Verbinden Sie als Nächstes Ihren Anbieter mit Unsloth.

1. Öffnen Sie **Einstellungen** → **Verbindungen**und klicken Sie dann auf **Verbindung hinzufügen.**
2. Wählen Sie den Anbieter aus, den Sie hinzufügen möchten, und fügen Sie dann den zuvor kopierten API-Schlüssel ein.
3. Klicken Sie auf **Modelle neu laden** um die Liste mit den für Ihr Konto verfügbaren Modellen zu aktualisieren.
4. Wählen Sie die Modelle aus, die Sie aktivieren möchten, und klicken Sie dann auf Speichern.&#x20;

<figure><img src="/files/345e500ab950eb0b3044ac8a11da658d972fdda3" alt=""><figcaption></figcaption></figure>
{% endstep %}

{% step %}

#### Bereit zum Chatten

Die von Ihnen aktivierten Modelle erscheinen nun unter **Verbunden** im **Modell auswählen** Dropdown-Menü.

<figure><img src="/files/6aafd186e31e977c832b070ee51f4eee1ddf62e2" alt="" width="563"><figcaption></figcaption></figure>

Unsloth zeigt dynamisch kompatible Denkstufen und Generierungssteuerungen für verschiedene Modelle an.
{% endstep %}
{% endstepper %}

### Mit einem Modellserver verbinden

Verwenden Sie diesen Ablauf für [**llama.cpp**](/docs/de/integrationen/connections/llama.cpp-mit-unsloth-verbinden-ggufs-mit-llama-server-ausfuhren.md), [**vLLM**](/docs/de/integrationen/connections/vllm.md), und [**Ollama**](/docs/de/integrationen/connections/ollama.md). Starten oder lokalisieren Sie den Server, mit dem Sie sich verbinden möchten. &#x20;

{% tabs %}
{% tab title="llama.cpp " %}
Starten Sie `llama-server` mit dem Modell, das Sie bereitstellen möchten:

```bash
llama-server \
  --model /path/to/model.gguf \
  --host 0.0.0.0 \
  --port 8080
```

Dadurch wird ein API-Endpunkt unter folgender Adresse bereitgestellt: `http://localhost:8080/v1`

Um einen API-Schlüssel zu verlangen, fügen Sie hinzu:

```bash
--api-key 1234-myapi-key
```

{% endtab %}

{% tab title="vLLM" %}
Starten Sie den `vLLM` Server mit dem Modell, das Sie bereitstellen möchten:

```bash
  vllm serve unsloth/gemma-4-26B-A4B-it \
  --dtype auto \
```

Um einen API-Schlüssel zu verlangen, fügen Sie hinzu:

```bash
  --api-key token-abc123
```

Dadurch wird ein API-Endpunkt unter folgender Adresse bereitgestellt: `http://localhost:8000/v1`
{% endtab %}

{% tab title="Ollama" %}
Starten Sie `Ollama`und ziehen Sie dann das Modell, das Sie verwenden möchten:

```bash
ollama serve
ollama pull qwen3:14b
```

Dadurch wird ein API-Endpunkt unter folgender Adresse bereitgestellt: `http://localhost:11434/v1`
{% endtab %}
{% endtabs %}

{% columns %}
{% column %}
Nun können wir den Modellserver verbinden. Öffnen Sie **Einstellungen → Verbindungen**und klicken Sie dann auf **Anbieter hinzufügen**.

Wählen Sie llama.cpp, vLLM oder Ollama aus und fügen Sie dann die Server- **Basis-URL**.

* llama.cpp-Beispiel: `http://localhost:8080/v1`
* Ollama-Beispiel: `http://localhost:11434/v1`
  {% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="/files/fe138c19a01cb8c33528757ee2dd23ac0490d03f" alt="" width="375"><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

Klicken Sie auf **Modelle laden** um verfügbare Modell-IDs abzurufen, oder geben Sie Modell-IDs manuell ein, wenn Ihr Server `/models`.

dann, nachdem Sie auf **Anbieter hinzufügen,** Die von Ihnen aktivierten Modelle erscheinen nun unter **Externe** im **Modell auswählen** Dropdown-Menü.

### Codeausführung

Wenn aktiviert, können unterstützte OpenAI- und Anthropic-Modelle Code in einer Anbietersandbox ausführen, um Probleme zu lösen, Daten zu analysieren und mit Dateien zu arbeiten.\
\
Anthropic-Modelle verwenden Claudes anbieterseitiges Codeausführungs-Tool. OpenAI verwendet wiederverwendbare Container, die Sie erstellen, löschen und auswählen können aus **Codeausführung** Einstellungen. Wählen Sie denselben Container in einem neuen Thread aus, um mit seinen Dateien und seinem Zustand fortzufahren.

<div data-with-frame="true"><figure><img src="/files/6f98088c18ed59977cad823ce413e95924519dfe" alt="" width="563"><figcaption></figcaption></figure></div>

### Prompt-Caching

Prompt-Caching reduziert Latenz und Kosten, wenn Anfragen dasselbe lange Präfix wiederverwenden. Es wird für kompatible Anbieter und Server unterstützt, darunter OpenAI, Anthropic und llama.cpp. Verwenden Sie die **Prompt-Caching** Einstellung in der Seitenleiste, um das Cache-Verhalten für unterstützte Verbindungen zu steuern.

<figure><img src="/files/d2dfbf9f4bda25e515dd1f2d2075a57818fa9fef" alt="" width="375"><figcaption></figcaption></figure>

Für llama.cpp ist Prompt-Caching standardmäßig aktiviert und kann beim Starten deaktiviert werden `llama-server` mit:

```bash
--no-cache-prompt
```

### Websuche & Denken

Anbieterseitige Websuche ist für unterstützte Modelle von OpenAI, Anthropic, OpenRouter, Mistral, Gemini und Kimi verfügbar. Die Denksteuerung passt sich an das ausgewählte Modell an: Einige Modelle verwenden einen Ein/Aus-Schalter, während Modelle mit Reasoning-Aufwand modellspezifische Denkstufen verwenden.

<div data-with-frame="true"><figure><img src="/files/4b56a16a65c758a171b11ccb17cf4965e34ec100" alt="" width="563"><figcaption></figcaption></figure></div>

### Bilderzeugung

Genau wie GPT und Gemini unterstützt Unsloth auch die Bilderzeugung. Sie können ein Bild direkt bearbeiten, indem Sie auf die Schaltfläche „Bild bearbeiten“ klicken und einen neuen Prompt eingeben, um es zu verfeinern oder neu zu erzeugen. Bilder werden automatisch erzeugt, wenn dies angefordert wird, aber Sie können dieses Verhalten deaktivieren. Es ist auch eine Download-Schaltfläche verfügbar, mit der Sie das Bild in seiner ursprünglichen vollen Auflösung speichern können.

<div><figure><img src="/files/b79b8e3c146ed601a41a7aed70a1a815233bd4e5" alt=""><figcaption></figcaption></figure> <figure><img src="/files/8b5c906523952d64926cc919074be4deb832b89a" alt=""><figcaption></figcaption></figure></div>

### Fehlerbehebung

Wenn eine Verbindung zu einem Anbieter fehlschlägt, überprüfen Sie, ob der API-Schlüssel zum ausgewählten Anbieter gehört und Zugriff auf das von Ihnen gewählte Modell hat.

Wenn ein Modell nach dem Klicken auf nicht angezeigt wird **Modelle neu laden**, ist es möglicherweise für Ihr Konto nicht verfügbar. Sie können trotzdem die Standardmodellliste von Unsloth verwenden oder ein anderes Modell auswählen.


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://unsloth.ai/docs/de/integrationen/connections.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.