> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/integrationen/connections.md). # API-Anbieter und Modellserver mit Unsloth verbinden Erfahren Sie, wie Sie Modelle von OpenAI, Anthropic, Ollama, llama.cpp, vLLM und anderen Anbietern über eine einzige lokale UI-Oberfläche mit [Unsloth](/docs/de/desktop.md), einem Open-Source-Repo zum Ausführen und Trainieren von LLMs. Sie können Ihr ChatGPT/Codex-Abonnement auch direkt mit Unsloth verbinden. Unabhängig davon, ob Ihr Modell über Unsloths Inferenz oder über Ihren eigenen entfernten OpenAI-kompatiblen Endpunkt läuft, können Sie ihm Zugriff auf Unsloths vollständige Tool-Suite geben, einschließlich Websuche, Codeausführung, Deep Research und mehr. {% columns %} {% column %} Sobald verbunden, können Sie Modelle mit Codeausführung, Tool-Calling, Bilderzeugung und anderen Funktionen in derselben Unsloth-Chat-Oberfläche ausführen, die sowohl für lokale als auch für Cloud-Modelle verwendet wird. Unsloth unterstützt einzigartig [Prompt-Caching](#prompt-caching) (um Ihnen viele Tokens ohne Genauigkeitsverlust zu sparen), während der Zugriff auf anbietereigene Funktionen erhalten bleibt, wie etwa OpenAIs integrierte [Websuche](#web-search-and-thinking) und [Codeausführung](#code-execution). {% endcolumn %} {% column %} {% embed url="" %} {% endcolumn %} {% endcolumns %} ### Verbindungen Verbindungen fallen in zwei Gruppen: gehostete API-Anbieter, die Modelle für Sie ausführen, und Modellserver, die Sie selbst betreiben oder kontrollieren. **Cloud-Anbieter -** Gehostete APIs, die einen Konten-API-Schlüssel verwenden: | Verbindung | Funktionen | Einrichtungsanleitung | | --------------- | ------------------------------------------------- | --------------------------------------------------------------------- | | ChatGPT / Codex | Bild, Suche, Code, Denken | [OpenAI →](/docs/de/integrationen/connections/openai.md) | | OpenAI | Bild, Suche, Code, Denken | [OpenAI →](/docs/de/integrationen/connections/openai.md) | | Anthropic | Bild, Suche, Code, Denken | [Anthropic →](/docs/de/integrationen/connections/anthropic-claude.md) | | OpenRouter | Viele gehostete Modelle über einen API-Schlüssel. | [OpenRouter →](/docs/de/integrationen/connections/openrouter.md) | **Modellserver -** Inferenzserver, die lokal, in Ihrem Netzwerk oder auf Ihrem Remote-Rechner laufen: | Server | Beschreibung | Anleitung | | --------- | ------------------------------------------- | --------------------------------------------------------------------------------------------------------------------- | | Llama.cpp | Effizientes Bereitstellen von GGUF-Modellen | [Llama.cpp →](/docs/de/integrationen/connections/llama.cpp-mit-unsloth-verbinden-ggufs-mit-llama-server-ausfuhren.md) | | vLLM | Bereitstellung mit hohem Durchsatz | [vLLM →](/docs/de/integrationen/connections/vllm.md) | | Ollama | Einfacher lokaler Modellserver | [Ollama →](/docs/de/integrationen/connections/ollama.md) | ### Schnellstart Um ein Modell eines externen Anbieters auszuführen, fügen Sie einen API-Schlüssel hinzu und wählen Sie aus, welche Modelle Unsloth anzeigen soll. In diesem Beispiel verwenden wir [OpenAI](https://platform.openai.com/api-keys). Dasselbe Setup funktioniert auch für Anthropic und andere Anbieter. {% stepper %} {% step %} #### Unsloth einrichten Der einfachste Einstieg ist die Installation der [Unsloth Desktop](/docs/de/desktop.md) App. Sie unterstützt [macOS](/docs/de/loslegen/install/mac.md), Linux, [Windows](/docs/de/loslegen/install/windows-installation.md), [NVIDIA](/docs/de/loslegen/install/pip-install.md), [AMD](/docs/de/loslegen/install/amd.md), Intel- und CPU-Setups. Unsloth herunterladen * :apple: [Für macOS herunterladen](https://unsloth.ai/download/mac) * :windows: [Für Windows herunterladen](https://unsloth.ai/download/windows) * :linux: [Für Linux herunterladen](https://unsloth.ai/download/linux) Oder, wenn Sie die manuelle Installation bevorzugen: **macOS, Linux, WSL:** ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` **Windows PowerShell:** ```bash irm https://unsloth.ai/install.ps1 | iex ``` [Hier ansehen](/docs/de/desktop.md#get-started) für detailliertere Anweisungen {% endstep %} {% step %} #### API erstellen Erstellen Sie einen neuen API-Schlüssel im Dashboard des Anbieters und kopieren Sie ihn.
{% endstep %} {% step %} #### Unsloth einrichten Jetzt müssen wir [Unsloth](/docs/de/neu/studio.md)installieren und einrichten, was es Ihnen ermöglicht, die Cloud-Modelle in einer UI-Oberfläche auszuführen. [Hier ansehen](/docs/de/neu/studio/install.md) für detailliertere Anweisungen. {% endstep %} {% step %} #### Verbindungen konfigurieren Verbinden Sie als Nächstes Ihren Anbieter mit Unsloth. 1. Öffnen **Einstellungen** → **Verbindungen**, dann klicken Sie auf **Verbindung hinzufügen.** 2. Wählen Sie den Anbieter aus, den Sie hinzufügen möchten, und fügen Sie dann den zuvor kopierten API-Schlüssel ein. 3. Klicken Sie **Modelle neu laden** um die Liste mit den für Ihr Konto verfügbaren Modellen zu aktualisieren. 4. Wählen Sie die Modelle aus, die Sie aktivieren möchten, und klicken Sie dann auf Speichern.
{% endstep %} {% step %} #### Bereit zum Chatten Die von Ihnen aktivierten Modelle erscheinen nun unter **Verbunden** im **Modell auswählen** Dropdown-Menü.
Unsloth stellt automatisch kompatible Reasoning-Stufen und Generierungssteuerungen für verschiedene Modelle bereit. {% endstep %} {% endstepper %} ### Einen Modellserver verbinden Verwenden Sie diesen Ablauf für [**llama.cpp**](/docs/de/integrationen/connections/llama.cpp-mit-unsloth-verbinden-ggufs-mit-llama-server-ausfuhren.md), [**vLLM**](/docs/de/integrationen/connections/vllm.md), und [**Ollama**](/docs/de/integrationen/connections/ollama.md). Starten oder lokalisieren Sie den Server, den Sie verbinden möchten. {% tabs %} {% tab title="llama.cpp " %} Starten `llama-server` mit dem Modell, das Sie bereitstellen möchten: ```bash llama-server \\ --model /path/to/model.gguf \ --host 0.0.0.0 \ --port 8080 ``` Dies stellt einen API-Endpunkt bereit unter: `http://localhost:8080/v1` Um einen API-Schlüssel zu verlangen, fügen Sie hinzu: ```bash --api-key 1234-myapi-key ``` {% endtab %} {% tab title="vLLM" %} Starten Sie den `vLLM` Server mit dem Modell, das Sie bereitstellen möchten: ```bash vllm serve unsloth/gemma-4-26B-A4B-it \ --dtype auto \ ``` Um einen API-Schlüssel zu verlangen, fügen Sie hinzu: ```bash --api-key token-abc123 ``` Dies stellt einen API-Endpunkt bereit unter: `http://localhost:8000/v1` {% endtab %} {% tab title="Ollama" %} Starten `Ollama`, und ziehen Sie dann das Modell, das Sie verwenden möchten: ```bash ollama serve ollama pull qwen3:14b ``` Dies stellt einen API-Endpunkt bereit unter: `http://localhost:11434/v1` {% endtab %} {% endtabs %} {% columns %} {% column %} Jetzt können wir den Modellserver verbinden. Öffnen Sie **Einstellungen → Verbindungen**, dann klicken Sie auf **Anbieter hinzufügen**. Wählen Sie llama.cpp, vLLM oder Ollama und fügen Sie dann die Server- **Basis-URL**. * llama.cpp-Beispiel: `http://localhost:8080/v1` * Ollama-Beispiel: `http://localhost:11434/v1` {% endcolumn %} {% column %}
{% endcolumn %} {% endcolumns %} Klicken Sie **Modelle laden** um verfügbare Modell-IDs abzurufen, oder geben Sie Modell-IDs manuell ein, wenn Ihr Server `/models`. Dann, nachdem Sie auf **Anbieter hinzufügen,** Die von Ihnen aktivierten Modelle erscheinen nun unter **Extern** im **Modell auswählen** Dropdown-Menü. ### Codeausführung Wenn diese Funktion aktiviert ist, können unterstützte OpenAI- und Anthropic-Modelle Code in einer Sandbox des Anbieters ausführen, um Probleme zu lösen, Daten zu analysieren und mit Dateien zu arbeiten.\ \ Anthropic-Modelle verwenden Claudes Codeausführungstool auf Anbieterseite. OpenAI verwendet wiederverwendbare Container, die Sie erstellen, löschen und auswählen können **Codeausführung** in den Einstellungen. Wählen Sie in einem neuen Thread denselben Container aus, um mit seinen Dateien und seinem Zustand fortzufahren.
### Prompt-Caching Prompt-Caching reduziert Latenz und Kosten, wenn Anfragen denselben langen Präfix wiederverwenden. Es wird von kompatiblen Anbietern und Servern unterstützt, darunter OpenAI, Anthropic und llama.cpp. Verwenden Sie die **Prompt-Caching** Einstellung in der Seitenleiste, um das Caching-Verhalten für unterstützte Verbindungen zu steuern.
Bei llama.cpp ist Prompt-Caching standardmäßig aktiviert und kann beim Starten deaktiviert werden `llama-server` mit: ```bash --no-cache-prompt ``` ### Websuche & Denken Die anbieterseitige Websuche ist für unterstützte Modelle von OpenAI, Anthropic, OpenRouter, Mistral, Gemini und Kimi verfügbar. Die Think-Steuerung passt sich dem ausgewählten Modell an: Einige Modelle verwenden einen Ein/Aus-Schalter, während Modelle mit Reasoning-Aufwand modellspezifische Denkstufen verwenden.
### Bilderzeugung Genau wie GPT und Gemini unterstützt Unsloth auch die Bilderzeugung. Sie können ein Bild direkt bearbeiten, indem Sie auf die Schaltfläche „Bild bearbeiten“ klicken und einen neuen Prompt eingeben, um es zu verfeinern oder neu zu generieren. Bilder werden automatisch erzeugt, wenn sie angefordert werden, aber Sie können dieses Verhalten deaktivieren. Außerdem ist eine Download-Schaltfläche verfügbar, mit der Sie das Bild in seiner ursprünglichen vollen Auflösung speichern können.
### Fehlerbehebung Wenn die Verbindung zu einem Anbieter fehlschlägt, überprüfen Sie, ob der API-Schlüssel zum ausgewählten Anbieter gehört und Zugriff auf das von Ihnen gewählte Modell hat. Wenn ein Modell nach dem Klicken auf **Modelle neu laden** nicht angezeigt wird, ist es möglicherweise für Ihr Konto nicht verfügbar. Sie können weiterhin Unsloths Standardmodellliste verwenden oder ein anderes Modell auswählen. --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/de/integrationen/connections.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.