> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/neu/studio/chat.md).

# Wie man Modelle mit Unsloth ausführt

KI-Modelle, LLMs und GGUFs lokal mit Unsloth Studio ausführen.

[Unsloth Studio](/docs/de/neu/studio.md) und Unsloth Desktop ermöglicht es Ihnen, KI-Modelle 100 % offline auf Ihrem Computer auszuführen. Führen Sie Modellformate wie GGUF und safetensors von Hugging Face oder aus Ihren lokalen Dateien aus.

* **Funktioniert auf allen macOS-, CPU-, Windows-, Linux- und WSL-Setups! Keine GPU erforderlich**
* [**Selbstheilende Tool-Aufrufe**](#auto-healing-tool-calling)**,** erweitert [**Websuche**](#advanced-web-search), [**Codeausführung**](#code-execution)
* Nutzen Sie Unsloth als eine OpenAI-kompatible Inferenz [**API-Endpunkt**](/docs/de/grundlagen/api.md) oder verbinden Sie einen [Anbieter](/docs/de/integrationen/connections.md)
* Suchen + Herunterladen + Ausführen + [Vergleichen](#model-arena) jedes Modell wie GGUFs, LoRA-Adapter, safetensors usw.
* [**Auto-Inferenzparameter**](#auto-parameter-tuning) Tuning (temp, top-p usw.) und Chat-Vorlagen bearbeiten
* Laden Sie Bilder, Audio, PDFs, Code, DOCX und weitere Dateitypen hoch, um damit zu chatten.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FVrjsMhR9uLeIlqzD2jAL%2Fqwen37b.gif?alt=media&amp;token=f1bb11b4-d4fa-4765-83b7-bbba563082c9" alt="" width="563"><figcaption></figcaption></figure>

### Mit Unsloth Studio Chat

{% hint style="success" %}
Unsloth Studio Chat funktioniert automatisch auf **Multi-GPU-Setups** für Inferenz.
{% endhint %}

{% columns %}
{% column %}

#### Codeausführung

Unsloth Studio lässt LLMs Bash und Python ausführen, nicht nur JavaScript. Es isoliert außerdem Programme wie Claude Artifacts in einer Sandbox, damit Modelle Code testen, Dateien erzeugen und Antworten mit echter Berechnung verifizieren können.

Dadurch werden die Antworten der Modelle zuverlässiger und genauer.
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fel6jjv4rUTRCRwcRpIr7%2Flong%20code%20exec.png?alt=media&amp;token=9d3d5930-0fdc-4d97-941c-983e5629296d" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}

#### Selbstheilende Tool-Aufrufe

Unsloth Studio ermöglicht nicht nur [Tool-Aufrufe](#id-50-tool-calling-accuracy), sondern behebt auch fehlerhafte oder defekte Tool-Aufrufe automatisch zu 50 %.

Das bedeutet, dass Sie immer Inferenz-Ausgaben erhalten **ohne** fehlerhafte Tool-Aufrufe.&#x20;

Z. B. durchsuchte Qwen3.5-4B über 20 Websites und zitierte Quellen, wobei die Websuche innerhalb seines Denkverlaufs stattfand.
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FXPQGEEr1YoKofrTatAKK%2Ftoolcallingif.gif?alt=media&amp;token=25d68698-fb13-4c46-99b2-d39fb025df08" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}

#### Erweiterte Websuche

Unsloths unbegrenzte und sichere Websuche ruft Seiten tatsächlich direkt auf, um relevante Informationen und Daten zu sammeln, und durchsucht nicht nur Website-Zusammenfassungen. Dadurch erhalten Sie wesentlich genauere / tiefergehende Informationen und Kontext. Die Suche nutzt die private und sichere API von DuckDuckGo.
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FVrjsMhR9uLeIlqzD2jAL%2Fqwen37b.gif?alt=media&amp;token=f1bb11b4-d4fa-4765-83b7-bbba563082c9" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}

#### Nutzen Sie Unsloth als API-Endpunkt

Sie können jetzt lokale LLMs über Tools wie [Claude Code](/docs/de/grundlagen/claude-code.md) und [Codex](/docs/de/grundlagen/codex.md) durch Verbindung mit Unsloths [API-Endpunkt](#use-unsloth-as-an-api-endpoint). Das bedeutet, dass Sie Qwen- und Gemma-Modelle direkt in diesen Tools mit Unsloths Inferenz ausführen können, die Funktionen wie selbstheilende Tool-Aufrufe, Websuche usw. umfasst.
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F1s98Id9xclzwMfxjXw2O%2Funsloth%20api%20cropped.png?alt=media&amp;token=64fac263-ca5b-4447-a740-41f58ec94904" alt=""><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}

#### Automatische Inferenz-Einstellungen

Inferenzparameter wie **Temperatur**, **top-p**, **top-k**, [**MTP**](/docs/de/modelle/qwen3.6.md#mtp-guide) werden für neue Modelle wie Qwen3.5 automatisch voreingestellt, damit Sie die besten Ausgaben erhalten, ohne sich um Einstellungen kümmern zu müssen. Sie können die Parameter auch manuell anpassen und den System-Prompt bearbeiten.

Eine Anpassung der Kontextlänge ist mit dem intelligenten Auto-Kontext von llama.cpp nicht mehr nötig, da nur der Kontext verwendet wird, den Sie benötigen, ohne etwas zusätzlich zu laden.
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FAQKsjtynvCXKtadvKhq1%2FRecording%202026-03-13%20114257.gif?alt=media&amp;token=b5bfff0c-8189-4358-9344-08d0ae17782a" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}

#### Anbieter verbinden

[Unsloth verbindet](/docs/de/integrationen/connections.md) sich mit OpenAI, Anthropic, Ollama, llama.cpp, vLLM und anderen.

Fügen Sie API-Schlüssel oder Modellserver-URLs hinzu und verwenden Sie dann externe Modelle in derselben Chat-Oberfläche wie lokale + Cloud-Modelle. Ausführen mit [Prompt-Caching](/docs/de/integrationen/connections.md#prompt-caching), Tool-Aufrufen, Thinking und anbietereigenen Funktionen wie OpenAIs [Websuche](#web-search-and-thinking) und [Codeausführung](#code-execution).
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FAQKsjtynvCXKtadvKhq1%2FRecording%202026-03-13%20114257.gif?alt=media&amp;token=b5bfff0c-8189-4358-9344-08d0ae17782a" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}

#### Modelle suchen und ausführen

Sie können jedes Modell über Hugging Face suchen und herunterladen oder lokale Dateien verwenden.

Unsloth unterstützt eine breite Palette von Modelltypen, darunter **GGUF**, Vision-Language- und Text-to-Speech-Modelle. Führen Sie die neuesten Modelle wie [Qwen3.5](/docs/de/modelle/qwen3.5.md) oder NVIDIA [Nemotron 3](/docs/de/modelle/nemotron-3.md).

Laden Sie Bilder, Audio, PDFs, Code, DOCX und weitere Dateitypen hoch, um damit zu chatten.
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FBf3UDywdNSlvCBhUuVsp%2FScreenshot%202026-03-17%20at%2012.34.23%E2%80%AFAM.png?alt=media&amp;token=b6127cbf-76f7-48da-b869-3760ed5e9b42" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}

#### Chat-Arbeitsbereich

Geben Sie Prompts ein, fügen Sie beliebige Dokumente, Bilder (webp, png), Code-Dateien, txt oder Audio als zusätzlichen Kontext an und sehen Sie die Antworten des Modells in Echtzeit.

Ein- oder ausschalten: Thinking + Websuche.
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FHlOKWnSB6slhE1EXgAeZ%2Fimage.png?alt=media&amp;token=b5bdfe4e-fe0e-4a2a-9eba-b04b15a79018" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

### **+50 % Genauigkeit bei Tool-Aufrufen**

Unsloth bietet mehrere einzigartige Funktionen, die Tool-Aufrufe verbessern, darunter:

* Tool-Aufrufe in allen Modellen in Unsloth sind **30 % bis 80 % genauer**.
* Websuche ruft tatsächliche Webinhalte ab, statt nur Zusammenfassungen.
* Die maximale Anzahl erlaubter Tool-Aufrufe beträgt **mehr als 25.**
* Tool-Aufrufe beenden sich zuverlässiger, wodurch Schleifen und wiederholte Aufrufe reduziert werden.
* Eine verbesserte Logik zur Reparatur von Tool-Aufrufen und zur Deduplizierung hilft, zu verhindern, dass XML in Ausgaben durchdringt.

Sehen Sie Testergebnisse mit `unsloth/Qwen3.5-4B-GGUF (UD-Q4_K_XL)` mit aktivierter Websuche, Codeausführung und Thinking:

| Metrik                             | Normale Tool-Aufrufe | Unsloth-Tool-Aufrufe |
| ---------------------------------- | -------------------- | -------------------- |
| XML-Lecks in der Antwort           | 10/10                | 0/10                 |
| Verwendete URL-Abrufe              | 0                    | 4/10 Durchläufe      |
| Durchläufe mit korrekten Songnamen | 0/10                 | 2/10                 |
| Ø Tool-Aufrufe                     | 5.5                  | 3.8                  |
| Ø Antwortzeit                      | 12,3 s               | 9,8 s                |

### Modell-Arena

Mit Unsloth Chat können Sie zwei beliebige Modelle mit demselben Prompt nebeneinander vergleichen. Vergleichen Sie z. B. das Basismodell und den LoRA-Adapter. Die Inferenz lädt zunächst ein Modell und dann das zweite (an paralleler Inferenz wird gearbeitet).

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FC3xjqlunbpUr7nx6sQ4j%2Fimage.png?alt=media&amp;token=65501d63-1346-4a1e-b055-c94294a24305" alt="" width="563"><figcaption></figcaption></figure></div>

{% columns %}
{% column %}
Nach dem Training können Sie das Basis- und das feinabgestimmte Modell mit demselben Prompt nebeneinander vergleichen, um zu sehen, was sich geändert hat und ob sich die Ergebnisse verbessert haben.

Dieser Workflow macht es einfach zu erkennen, wie Ihr Fine-Tuning die Antworten des Modells verändert hat und ob es die Ergebnisse für Ihren Anwendungsfall verbessert hat.
{% endcolumn %}

{% column %}

<div align="center" data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FVgnE7eMPQk2vaFboJ4BU%2Fmodel%20arena%20closeup.png?alt=media&amp;token=8b0a910b-440c-4859-a846-0060e61e157b" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% hint style="success" %}
Unsloth Studio Chat funktioniert automatisch auf **Multi-GPU-Setups** für Inferenz.
{% endhint %}

### Verwendung alter / vorhandener GGUF-Modelle

{% columns %}
{% column %}
**Update vom 1. Apr.:** Sie können jetzt einen vorhandenen Ordner auswählen, aus dem Unsloth erkennen soll.

**Update vom 27. März:** Unsloth Studio erkennt jetzt **automatisch ältere / bereits vorhandene Modelle** von Hugging Face, LM Studio usw. heruntergeladen wurden.
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FBn3Fs1cchFchl328wSOs%2FScreenshot%202026-04-05%20at%205.43.57%E2%80%AFAM.png?alt=media&amp;token=cc57ec6e-653a-4824-8e8d-a6bfbcd27493" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

**Manuelle Anleitung:** Unsloth Studio erkennt Modelle, die in Ihren Hugging Face Hub-Cache heruntergeladen wurden `(C:\Users{your_username}.cache\huggingface\hub)`. Wenn Sie GGUF-Modelle über LM Studio heruntergeladen haben, beachten Sie, dass diese gespeichert werden in `C:\Users\{your_username}.cache\lm-studio\models` ***ODER*** `C:\Users{your_username}\lm-studio\models` und standardmäßig für llama.cpp nicht sichtbar sind - Sie müssen diese .gguf-Dateien in Ihr Hugging Face Hub-Cache-Verzeichnis (oder einen anderen für llama.cpp zugänglichen Pfad) verschieben oder kopieren, damit Unsloth Studio sie laden kann.

Nachdem Sie in Unsloth ein Modell oder einen Adapter feinabgestimmt haben, können Sie es nach GGUF exportieren und lokale Inferenz mit **llama.cpp** direkt in Unsloth Chat ausführen. Unsloth Studio wird von llama.cpp und Hugging Face angetrieben.

### Dateien als Kontext hinzufügen

Unsloth Chat unterstützt multimodale Eingaben direkt in der Unterhaltung. Sie können Dokumente, Bilder oder Audio als zusätzlichen Kontext für einen Prompt anhängen.

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FSitddQpGkOwUvirMem5P%2Fimage.png?alt=media&amp;token=43b7af91-ea86-4279-a787-b4b444640d82" alt="" width="563"><figcaption></figcaption></figure></div>

So lässt sich leicht testen, wie ein Modell mit realen Eingaben wie PDFs, Screenshots oder Referenzmaterial umgeht. Dateien werden lokal verarbeitet und als Kontext für das Modell einbezogen.

### **Modell-Dateien löschen**

Sie können alte Modell-Dateien entweder über das Papierkorb-Symbol in der Modellsuche löschen oder den entsprechenden zwischengespeicherten Modellordner aus dem standardmäßigen Hugging Face-Cache-Verzeichnis entfernen. Standardmäßig verwendet Hugging Face `~/.cache/huggingface/hub/` auf macOS/Linux/WSL und `C:\Users\<username>\.cache\huggingface\hub\` unter Windows.

* **macOS, Linux, WSL:** `~/.cache/huggingface/hub/`
* **Windows:** `%USERPROFILE%\.cache\huggingface\hub\`

Wenn `HF_HUB_CACHE` oder `HF_HOME` festgelegt ist, verwenden Sie stattdessen diesen Speicherort. Unter Linux und WSL kann `XDG_CACHE_HOME` auch den standardmäßigen Cache-Stamm ändern.

### **Unsloth erkennt oder verwendet meine GPU nicht**

Wenn das Modell Ihre GPU speziell für Docker nicht verwendet, versuchen Sie Folgendes:

Das neueste Image manuell ziehen:

```bash
 docker pull unsloth/unsloth:latest
```

* Starten Sie den Container mit GPU-Zugriff:
  * `docker run`: `--gpus all`
  * Docker Compose: `capabilities: [gpu]`
* Unter Linux stellen Sie sicher, dass das NVIDIA Container Toolkit installiert ist.
* Unter Windows:
  * Prüfen Sie, ob `nvcc --version` mit der CUDA-Version übereinstimmt, die in `nvidia-smi`
  * Folgen Sie: <https://docs.docker.com/desktop/features/gpu/>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/de/neu/studio/chat.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.