> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/integrationen/connections.md). # Verbinde API-Anbieter und Model-Server mit Unsloth Erfahren Sie, wie Sie Modelle von OpenAI, Anthropic, Ollama, llama.cpp, vLLM und anderen Anbietern über eine einzige lokale UI-Oberfläche mit [Unsloth](/docs/de/desktop.md), ein Open-Source-Repo zum Ausführen und Trainieren von LLMs. Sie können Ihr ChatGPT/Codex-Abonnement auch direkt mit Unsloth verbinden. Egal, ob Ihr Modell über Unsloths Inferenz oder über Ihren eigenen entfernten OpenAI-kompatiblen Endpunkt ausgeführt wird, Sie können ihm Zugriff auf Unsloths vollständige Tool-Suite geben, einschließlich Websuche, Code-Ausführung, Deep Research und mehr. {% columns %} {% column %} Sobald die Verbindung hergestellt ist, können Sie Modelle mit Code-Ausführung, Tool-Aufrufen, Bilderzeugung und anderen Funktionen in derselben Unsloth-Chatoberfläche ausführen, die sowohl für lokale als auch für Cloud-Modelle verwendet wird. Unsloth unterstützt einzigartig [Prompt-Caching](#prompt-caching) (um Ihnen viele Tokens zu sparen, ohne Genauigkeit einzubüßen), während der Zugriff auf anbietereigene Funktionen erhalten bleibt, wie z. B. OpenAIs integrierte [Websuche](#web-search-and-thinking) und [Code-Ausführung](#code-execution). {% endcolumn %} {% column %} {% embed url="" %} {% endcolumn %} {% endcolumns %} ### Verbindungen Verbindungen fallen in zwei Gruppen: gehostete API-Anbieter, die Modelle für Sie ausführen, und Modellserver, die Sie ausführen oder steuern. **Cloud-Anbieter -** Gehostete APIs, die einen Konto-API-Schlüssel verwenden: | Verbindung | Funktionen | Einrichtungsanleitung | | --------------- | ------------------------------------------------- | --------------------------------------------------------------------- | | ChatGPT / Codex | Bild, Suche, Code, Denken | [OpenAI →](/docs/de/integrationen/connections/openai.md) | | OpenAI | Bild, Suche, Code, Denken | [OpenAI →](/docs/de/integrationen/connections/openai.md) | | Anthropic | Bild, Suche, Code, Denken | [Anthropic →](/docs/de/integrationen/connections/anthropic-claude.md) | | OpenRouter | Viele gehostete Modelle über einen API-Schlüssel. | [OpenRouter →](/docs/de/integrationen/connections/openrouter.md) | **Modellserver -** Inferenzserver, die lokal, in Ihrem Netzwerk oder auf Ihrem Remote-Rechner laufen: | Server | Beschreibung | Anleitung | | --------- | ------------------------------------------- | -------------------------------------------------------------------------------------------------------------------- | | Llama.cpp | Effizientes Bereitstellen von GGUF-Modellen | [Llama.cpp →](/docs/de/integrationen/connections/verbinde-llama.cpp-mit-unsloth-fuhre-ggufs-mit-llama-server-aus.md) | | vLLM | Bereitstellung mit hohem Durchsatz | [vLLM →](/docs/de/integrationen/connections/vllm.md) | | Ollama | Einfacher lokaler Modellserver | [Ollama →](/docs/de/integrationen/connections/ollama.md) | ### Schnellstart Um ein Modell eines externen Anbieters auszuführen, fügen Sie einen API-Schlüssel hinzu und wählen Sie aus, welche Modelle Unsloth anzeigen soll. In diesem Beispiel verwenden wir [OpenAI](https://platform.openai.com/api-keys). Das gleiche Setup funktioniert auch für Anthropic und andere Anbieter. {% stepper %} {% step %} #### Unsloth einrichten Der einfachste Weg für den Einstieg ist die Installation der [Unsloth Desktop](/docs/de/desktop.md) App. Sie unterstützt [macOS](/docs/de/erste-schritte/install/mac.md), Linux, [Windows](/docs/de/erste-schritte/install/windows-installation.md), [NVIDIA](/docs/de/erste-schritte/install/pip-install.md), [AMD](/docs/de/erste-schritte/install/amd.md), Intel und CPU-Setups. Unsloth herunterladen * :apple: [Für macOS herunterladen](https://unsloth.ai/download/mac) * :windows: [Für Windows herunterladen](https://unsloth.ai/download/windows) * :linux: [Für Linux herunterladen](https://unsloth.ai/download/linux) Oder, wenn Sie die manuelle Installation bevorzugen: **macOS, Linux, WSL:** ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` **Windows PowerShell:** ```bash irm https://unsloth.ai/install.ps1 | iex ``` [Hier ansehen](/docs/de/desktop.md#get-started) für detailliertere Anweisungen {% endstep %} {% step %} #### API erstellen Erstellen Sie im Dashboard des Anbieters einen neuen API-Schlüssel und kopieren Sie ihn.
{% endstep %} {% step %} #### Unsloth einrichten Jetzt müssen wir [Unsloth](/docs/de/neu/studio.md)installieren und einrichten, wodurch Sie die Cloud-Modelle in einer UI-Oberfläche ausführen können. [Hier ansehen](/docs/de/neu/studio/install.md) für detailliertere Anweisungen. {% endstep %} {% step %} #### Verbindungen konfigurieren Verbinden Sie als Nächstes Ihren Anbieter mit Unsloth. 1. Öffnen Sie **Einstellungen** → **Verbindungen**, dann klicken Sie auf **Verbindung hinzufügen.** 2. Wählen Sie den Anbieter aus, den Sie hinzufügen möchten, und fügen Sie dann den zuvor kopierten API-Schlüssel ein. 3. Klicken Sie auf **Modelle neu laden** um die Liste mit den für Ihr Konto verfügbaren Modellen zu aktualisieren. 4. Wählen Sie die Modelle aus, die Sie aktivieren möchten, und speichern Sie dann.
{% endstep %} {% step %} #### Bereit zum Chatten Die von Ihnen aktivierten Modelle erscheinen nun unter **Verbunden** im **Modell auswählen** Dropdown-Menü.
Unsloth stellt für verschiedene Modelle dynamisch kompatible Denkstufen und Generierungssteuerungen bereit. {% endstep %} {% endstepper %} ### Verbinden Sie einen Modellserver Verwenden Sie diesen Ablauf für [**llama.cpp**](/docs/de/integrationen/connections/verbinde-llama.cpp-mit-unsloth-fuhre-ggufs-mit-llama-server-aus.md), [**vLLM**](/docs/de/integrationen/connections/vllm.md), und [**Ollama**](/docs/de/integrationen/connections/ollama.md). Starten Sie den Server, den Sie verbinden möchten, oder lokalisieren Sie ihn. {% tabs %} {% tab title="llama.cpp " %} Starten Sie `llama-server` mit dem Modell, das Sie bereitstellen möchten: ```bash llama-server \\ --model /path/to/model.gguf \\ --host 0.0.0.0 \\ --port 8080 ``` Dadurch wird ein API-Endpunkt unter folgender Adresse bereitgestellt: `http://localhost:8080/v1` Um einen API-Schlüssel zu verlangen, fügen Sie Folgendes hinzu: ```bash --api-key 1234-myapi-key ``` {% endtab %} {% tab title="vLLM" %} Starten Sie den `vLLM` Server mit dem Modell, das Sie bereitstellen möchten: ```bash vllm serve unsloth/gemma-4-26B-A4B-it \\ --dtype auto \\ ``` Um einen API-Schlüssel zu verlangen, fügen Sie Folgendes hinzu: ```bash --api-key token-abc123 ``` Dadurch wird ein API-Endpunkt unter folgender Adresse bereitgestellt: `http://localhost:8000/v1` {% endtab %} {% tab title="Ollama" %} Starten Sie `Ollama`, und ziehen Sie dann das Modell, das Sie verwenden möchten: ```bash ollama serve ollama pull qwen3:14b ``` Dadurch wird ein API-Endpunkt unter folgender Adresse bereitgestellt: `http://localhost:11434/v1` {% endtab %} {% endtabs %} {% columns %} {% column %} Jetzt können wir den Modellserver verbinden. Öffnen Sie **Einstellungen → Verbindungen**, dann klicken Sie auf **Anbieter hinzufügen**. Wählen Sie llama.cpp, vLLM oder Ollama aus und fügen Sie dann die Server- **Basis-URL**. * llama.cpp-Beispiel: `http://localhost:8080/v1` * Ollama-Beispiel: `http://localhost:11434/v1` {% endcolumn %} {% column %}
{% endcolumn %} {% endcolumns %} Klicken Sie auf **Modelle laden** um verfügbare Modell-IDs abzurufen, oder geben Sie Modell-IDs manuell ein, wenn Ihr Server /models nicht bereitstellt `/models`. Dann, nachdem Sie auf **Anbieter hinzufügen,** Die von Ihnen aktivierten Modelle erscheinen nun unter **Extern** im **Modell auswählen** Dropdown-Menü. ### Code-Ausführung Wenn aktiviert, können unterstützte OpenAI- und Anthropic-Modelle Code in einer Sandbox des Anbieters ausführen, um Probleme zu lösen, Daten zu analysieren und mit Dateien zu arbeiten.\ \ Anthropic-Modelle verwenden Claudes Code-Ausführungstool auf Anbieterseite. OpenAI verwendet wiederverwendbare Container, die Sie erstellen, löschen und aus **Code-Ausführung** Einstellungen auswählen. Wählen Sie denselben Container in einem neuen Thread aus, um mit seinen Dateien und seinem Zustand fortzufahren.
### Prompt-Caching Prompt-Caching reduziert Latenz und Kosten, wenn Anfragen denselben langen Präfix wiederverwenden. Es wird von kompatiblen Anbietern und Servern unterstützt, darunter OpenAI, Anthropic und llama.cpp. Verwenden Sie die **Prompt-Caching** Einstellung in der Seitenleiste, um das Caching-Verhalten für unterstützte Verbindungen zu steuern.
Bei llama.cpp ist Prompt-Caching standardmäßig aktiviert und kann beim Start deaktiviert werden `llama-server` mit: ```bash --no-cache-prompt ``` ### Websuche & Denken Die webseitenseitige Websuche ist für unterstützte Modelle von OpenAI, Anthropic, OpenRouter, Mistral, Gemini und Kimi verfügbar. Die Think-Steuerung passt sich dem ausgewählten Modell an: Einige Modelle verwenden einen Ein/Aus-Schalter, während Reasoning-Effort-Modelle modellspezifische Denkstufen verwenden.
### Bilderzeugung Genau wie GPT und Gemini unterstützt Unsloth auch die Bilderzeugung. Sie können ein Bild direkt bearbeiten, indem Sie auf die Schaltfläche „Bild bearbeiten“ klicken und einen neuen Prompt eingeben, um es zu verfeinern oder neu zu erzeugen. Bilder werden automatisch generiert, wenn sie angefordert werden, aber Sie können dieses Verhalten deaktivieren. Außerdem steht eine Download-Schaltfläche zur Verfügung, mit der Sie das Bild in seiner ursprünglichen vollen Auflösung speichern können.
### Fehlerbehebung Wenn eine Verbindung zu einem Anbieter fehlschlägt, prüfen Sie, ob der API-Schlüssel zum ausgewählten Anbieter gehört und Zugriff auf das von Ihnen gewählte Modell hat. Wenn ein Modell nach dem Klicken auf **Modelle neu laden**, möglicherweise ist es für Ihr Konto nicht verfügbar. Sie können weiterhin Unsloths Standardmodellliste verwenden oder ein anderes Modell auswählen. --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://unsloth.ai/docs/de/integrationen/connections.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.