> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/neu/studio/chat.md).

# Wie man Modelle mit Unsloth ausführt

KI-Modelle, LLMs und GGUFs lokal mit Unsloth Studio ausführen.

[Unsloth Studio](https://unsloth.ai/docs/de/neu/studio.md) und mit Unsloth Desktop kannst du KI-Modelle zu 100 % offline auf deinem Computer ausführen. Führe Modellformate wie GGUF und safetensors von Hugging Face oder aus deinen lokalen Dateien aus.

* **Funktioniert auf allen macOS-, CPU-, Windows-, Linux- und WSL-Setups! Keine GPU erforderlich**
* [**Selbstheilende Tool-Aufrufe**](#auto-healing-tool-calling)**,** erweiterte [**Websuche**](#advanced-web-search), [**Codeausführung**](#code-execution)
* Verwende Unsloth als OpenAI-kompatiblen Inferenz- [**API-Endpunkt**](https://unsloth.ai/docs/de/grundlagen/api.md) oder verbinde einen [Anbieter](https://unsloth.ai/docs/de/integrationen/connections.md)
* Suchen + Herunterladen + Ausführen + [Vergleichen](#model-arena) beliebige Modelle wie GGUFs, LoRA-Adapter, safetensors usw.
* [**Automatische Inferenzparameter-**](#auto-parameter-tuning) anpassung (Temp, Top-p usw.) und Bearbeitung von Chat-Vorlagen
* Lade Bilder, Audiodateien, PDFs, Code, DOCX-Dateien und weitere Dateitypen hoch, um darüber zu chatten.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FVrjsMhR9uLeIlqzD2jAL%2Fqwen37b.gif?alt=media&amp;token=f1bb11b4-d4fa-4765-83b7-bbba563082c9" alt="" width="563"><figcaption></figcaption></figure>

### Unsloth Studio Chat verwenden

{% hint style="success" %}
Unsloth Studio Chat funktioniert automatisch auf **Multi-GPU-Setups** für die Inferenz.
{% endhint %}

{% columns %}
{% column %}

#### Codeausführung

Mit Unsloth Studio können LLMs Bash und Python ausführen, nicht nur JavaScript. Außerdem führt es Programme in einer Sandbox aus – ähnlich wie Claude Artifacts –, sodass Modelle Code testen, Dateien generieren und Antworten durch tatsächliche Berechnungen überprüfen können.

Dadurch werden die Antworten der Modelle zuverlässiger und genauer.
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fel6jjv4rUTRCRwcRpIr7%2Flong%20code%20exec.png?alt=media&amp;token=9d3d5930-0fdc-4d97-941c-983e5629296d" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}

#### Automatisch reparierte Tool-Aufrufe

Unsloth Studio ermöglicht nicht nur [Tool-Aufrufe](#id-50-tool-calling-accuracy), sondern behebt auch automatisch 50 % der fehlerhaften oder ungültigen Tool-Aufrufe.

So erhältst du immer Inferenz-Ausgaben **ohne** fehlerhafte Tool-Aufrufe.&#x20;

Zum Beispiel durchsuchte Qwen3.5-4B mehr als 20 Websites und zitierte Quellen. Die Websuche fand dabei innerhalb seiner Gedankenspur statt.
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FXPQGEEr1YoKofrTatAKK%2Ftoolcallingif.gif?alt=media&amp;token=25d68698-fb13-4c46-99b2-d39fb025df08" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}

#### Erweiterte Websuche

Die unbegrenzte und sichere Websuche von Unsloth besucht Seiten direkt, um relevante Informationen und Daten zu sammeln, statt lediglich Website-Zusammenfassungen zu durchsuchen. Dadurch sind die Ergebnisse wesentlich genauer und enthalten detailliertere Informationen und mehr Kontext. Die Suche verwendet die private und sichere API von DuckDuckGo.
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FVrjsMhR9uLeIlqzD2jAL%2Fqwen37b.gif?alt=media&amp;token=f1bb11b4-d4fa-4765-83b7-bbba563082c9" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}

#### Unsloth als API-Endpunkt verwenden

Du kannst lokale LLMs jetzt über Tools wie [Claude Code](https://unsloth.ai/docs/de/grundlagen/claude-code.md) und [Codex](https://unsloth.ai/docs/de/grundlagen/codex.md) mit dem [API-Endpunkt](#use-unsloth-as-an-api-endpoint)von Unsloth verbinden. So kannst du Qwen- und Gemma-Modelle direkt in diesen Tools mit der Inferenz von Unsloth ausführen, einschließlich Funktionen wie selbstheilenden Tool-Aufrufen, Websuche usw.
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F1s98Id9xclzwMfxjXw2O%2Funsloth%20api%20cropped.png?alt=media&amp;token=64fac263-ca5b-4447-a740-41f58ec94904" alt=""><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}

#### Automatische Inferenzeinstellungen

Inferenzparameter wie **Temperatur**, **Top-p**, **Top-k**, [**MTP**](https://unsloth.ai/docs/de/modelle/qwen3.6.md#mtp-guide) werden für neue Modelle wie Qwen3.5 automatisch voreingestellt. So erhältst du optimale Ergebnisse, ohne dich um die Einstellungen kümmern zu müssen. Du kannst die Parameter auch manuell anpassen und den System-Prompt bearbeiten.

Dank der intelligenten automatischen Kontextverwaltung von llama.cpp musst du die Kontextlänge nicht mehr anpassen. Sie verwendet nur den benötigten Kontext, ohne zusätzliche Inhalte zu laden.
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FAQKsjtynvCXKtadvKhq1%2FRecording%202026-03-13%20114257.gif?alt=media&amp;token=b5bfff0c-8189-4358-9344-08d0ae17782a" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}

#### Anbieter verbinden

[Unsloth verbindet sich](https://unsloth.ai/docs/de/integrationen/connections.md) mit OpenAI, Anthropic, Ollama, llama.cpp, vLLM und anderen.

Füge API-Schlüssel oder Modellserver-URLs hinzu und verwende externe Modelle anschließend in derselben Chat-Oberfläche wie lokale und Cloud-Modelle. Nutze [Prompt-Caching](https://unsloth.ai/docs/de/integrationen/connections.md#prompt-caching), Tool-Aufrufe, Thinking und anbieterspezifische Funktionen wie die von OpenAI: [Websuche](#web-search-and-thinking) und [Codeausführung](#code-execution).
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FAQKsjtynvCXKtadvKhq1%2FRecording%202026-03-13%20114257.gif?alt=media&amp;token=b5bfff0c-8189-4358-9344-08d0ae17782a" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}

#### Modelle suchen und ausführen

Du kannst über Hugging Face nach beliebigen Modellen suchen und sie herunterladen oder lokale Dateien verwenden.

Unsloth unterstützt eine breite Palette von Modelltypen, darunter **GGUF**, Vision-Language- und Text-to-Speech-Modelle. Führe aktuelle Modelle wie [Qwen3.5](https://unsloth.ai/docs/de/modelle/qwen3.5.md) oder NVIDIA [Nemotron 3](https://unsloth.ai/docs/de/modelle/nemotron-3.md).

Lade Bilder, Audiodateien, PDFs, Code, DOCX-Dateien und weitere Dateitypen hoch, um darüber zu chatten.
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FBf3UDywdNSlvCBhUuVsp%2FScreenshot%202026-03-17%20at%2012.34.23%E2%80%AFAM.png?alt=media&amp;token=b6127cbf-76f7-48da-b869-3760ed5e9b42" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}

#### Chat-Arbeitsbereich

Gib Prompts ein, füge Dokumente, Bilder (webp, png), Codedateien, Textdateien oder Audiodateien als zusätzlichen Kontext hinzu und sieh dir die Antworten des Modells in Echtzeit an.

Thinking und Websuche ein- oder ausschalten.
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FHlOKWnSB6slhE1EXgAeZ%2Fimage.png?alt=media&amp;token=b5bdfe4e-fe0e-4a2a-9eba-b04b15a79018" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

### **+50 % Genauigkeit bei Tool-Aufrufen**

Unsloth bietet mehrere einzigartige Funktionen, die Tool-Aufrufe verbessern, darunter:

* Tool-Aufrufe sind bei allen Modellen in Unsloth **30 % bis 80 % genauer**.
* Die Websuche ruft tatsächliche Webinhalte ab, statt nur Zusammenfassungen zu liefern.
* Die maximal zulässige Anzahl von Tool-Aufrufen beträgt **mehr als 25.**
* Tool-Aufrufe werden zuverlässiger beendet, wodurch Schleifen und wiederholte Aufrufe reduziert werden.
* Eine verbesserte Fehlerkorrektur und Deduplizierungslogik für Tool-Aufrufe verhindert, dass XML in die Ausgaben gelangt.

Sieh dir die Testergebnisse mit `unsloth/Qwen3.5-4B-GGUF (UD-Q4_K_XL)` bei aktivierter Websuche, Codeausführung und Thinking an:

| Metrik                                    | Normale Tool-Aufrufe | Unsloth-Tool-Aufrufe |
| ----------------------------------------- | -------------------- | -------------------- |
| XML-Lecks in der Antwort                  | 10/10                | 0/10                 |
| Verwendete URL-Abrufe                     | 0                    | 4 von 10 Durchläufen |
| Durchläufe mit korrekten Songtiteln       | 0/10                 | 2/10                 |
| Durchschnittliche Anzahl der Tool-Aufrufe | 5.5                  | 3.8                  |
| Durchschnittliche Antwortzeit             | 12,3 s               | 9,8 s                |

### Modellarena

Mit Unsloth Chat kannst du beliebige zwei Modelle anhand desselben Prompts nebeneinander vergleichen. Vergleiche zum Beispiel das Basismodell mit einem LoRA-Adapter. Die Inferenz lädt zuerst ein Modell und anschließend das zweite (an paralleler Inferenz wird gearbeitet).

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FC3xjqlunbpUr7nx6sQ4j%2Fimage.png?alt=media&amp;token=65501d63-1346-4a1e-b055-c94294a24305" alt="" width="563"><figcaption></figcaption></figure></div>

{% columns %}
{% column %}
Nach dem Training kannst du das Basis- und das feinabgestimmte Modell mit demselben Prompt nebeneinander vergleichen, um zu sehen, was sich geändert hat und ob sich die Ergebnisse verbessert haben.

Mit diesem Workflow lässt sich leicht erkennen, wie sich durch die Feinabstimmung die Antworten des Modells verändert haben und ob sich die Ergebnisse für deinen Anwendungsfall verbessert haben.
{% endcolumn %}

{% column %}

<div align="center" data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FVgnE7eMPQk2vaFboJ4BU%2Fmodel%20arena%20closeup.png?alt=media&amp;token=8b0a910b-440c-4859-a846-0060e61e157b" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% hint style="success" %}
Unsloth Studio Chat funktioniert bei der Inferenz automatisch mit **Multi-GPU-Konfigurationen** .
{% endhint %}

### Alte / vorhandene GGUF-Modelle verwenden

{% columns %}
{% column %}
**Update vom 1. Apr.:** Du kannst jetzt einen vorhandenen Ordner auswählen, den Unsloth durchsuchen soll.

**Update vom 27. März:** Unsloth Studio erkennt jetzt **automatisch ältere / bereits vorhandene Modelle,** die von Hugging Face, LM Studio usw. heruntergeladen wurden.
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FBn3Fs1cchFchl328wSOs%2FScreenshot%202026-04-05%20at%205.43.57%E2%80%AFAM.png?alt=media&amp;token=cc57ec6e-653a-4824-8e8d-a6bfbcd27493" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

**Manuelle Anleitung:** Unsloth Studio erkennt Modelle, die in deinen Hugging-Face-Hub-Cache heruntergeladen wurden `(C:\Users{your_username}.cache\huggingface\hub)`. Wenn du GGUF-Modelle über LM Studio heruntergeladen hast, beachte, dass diese hier gespeichert werden: `C:\Users\{your_username}.cache\lm-studio\models` ***ODER*** `C:\Users{your_username}\lm-studio\models` und standardmäßig für llama.cpp nicht sichtbar sind. Du musst diese .gguf-Dateien in dein Hugging-Face-Hub-Cache-Verzeichnis (oder einen anderen für llama.cpp zugänglichen Pfad) verschieben oder kopieren, damit Unsloth Studio sie laden kann.

Nachdem du ein Modell oder einen Adapter in Unsloth feinabgestimmt hast, kannst du es bzw. ihn nach GGUF exportieren und lokale Inferenz mit **llama.cpp** direkt in Unsloth Chat ausführen. Unsloth Studio basiert auf llama.cpp und Hugging Face.

### Dateien als Kontext hinzufügen

Unsloth Chat unterstützt multimodale Eingaben direkt im Gespräch. Du kannst Dokumente, Bilder oder Audiodateien als zusätzlichen Kontext für einen Prompt anhängen.

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FSitddQpGkOwUvirMem5P%2Fimage.png?alt=media&amp;token=43b7af91-ea86-4279-a787-b4b444640d82" alt="" width="563"><figcaption></figcaption></figure></div>

So lässt sich ganz einfach testen, wie ein Modell mit realen Eingaben wie PDFs, Screenshots oder Referenzmaterial umgeht. Dateien werden lokal verarbeitet und als Kontext für das Modell eingebunden.

### Projektquellen und verknüpfte Ordner

Verwende **Quellen hinzufügen** für einzelne Dateien oder **Ordner hinzufügen** , um einen Ordner zu verknüpfen. Unsloth prüft verknüpfte Ordner alle 30 Sekunden auf hinzugefügte, geänderte und gelöschte Dateien, ohne deine Originaldateien zu bearbeiten.

Die drei Indexierungszähler messen unterschiedliche Dinge:

| Zähler                                   | Bedeutung                                                                                                                                                                                                                                                                                                                 |
| ---------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| **Quellordner**: `750 of 7692 files`     | In dieser Synchronisierung verarbeitete Dateien (hinzugefügt, aktualisiert, entfernt oder fehlgeschlagen) im Verhältnis zu allen gefundenen unterstützten Dateien. Bereits indexierte Dateien werden übersprungen, daher kann eine fortgesetzte Synchronisierung abgeschlossen werden, bevor der Gesamtwert erreicht ist. |
| **Ordner-Chip**: `1342 files`            | Dateien aus diesem Ordner, die bereits im Projektindex enthalten sind. Der Prozentsatz des Kreisindikators zeigt den vollständig indexierten Anteil.                                                                                                                                                                      |
| **Projektquellen**: `Indexing 2 of 1342` | Dateien, die gerade gelesen und eingebettet werden, bezogen auf die Anzahl im Ordner-Chip. **Kein Gesamtfortschritt.**                                                                                                                                                                                                    |

Wenn die Indexierung abgeschlossen ist, hört der **Quellordner-** Kreisindikator auf, sich zu drehen, und die Zeile zeigt `N files indexed`. Übersprungene Dateien werden unter dem Ordner aufgeführt: `Treffer auf .gitignore` , Build-Ordner, sehr große Datendateien und Dateien, die das Limit von 10.000 Dateien überschreiten.

Das Ordnermenü bietet die Optionen **Änderungen synchronisieren**, **Index neu erstellen** sowie das Aufheben der Verknüpfung mit oder ohne Beibehaltung der indizierten Dateien.

### **Modelldateien löschen**

Sie können alte Modelldateien entweder über das Papierkorbsymbol in der Modellsuche löschen oder den entsprechenden zwischengespeicherten Modellordner aus dem standardmäßigen Hugging-Face-Cache-Verzeichnis entfernen. Standardmäßig verwendet Hugging Face `~/.cache/huggingface/hub/` unter macOS/Linux/WSL und `C:\Users\<username>\.cache\huggingface\hub\` unter Windows.

* **macOS, Linux, WSL:** `~/.cache/huggingface/hub/`
* **Windows:** `%USERPROFILE%\.cache\huggingface\hub\`

Wenn `HF_HUB_CACHE` oder `HF_HOME` gesetzt ist, verwenden Sie stattdessen diesen Speicherort. Unter Linux und WSL kann auch `XDG_CACHE_HOME` das standardmäßige Cache-Stammverzeichnis ändern.

### **Unsloth erkennt meine GPU nicht oder verwendet sie nicht**

Wenn das Modell insbesondere in Docker nicht Ihre GPU verwendet, versuchen Sie Folgendes:

Manuelles Herunterladen des neuesten Images:

```bash
 docker pull unsloth/unsloth:latest
```

* Starten Sie den Container mit GPU-Zugriff:
  * `docker run`: `--gpus all`
  * Docker Compose: `capabilities: [gpu]`
* Stellen Sie unter Linux sicher, dass das NVIDIA Container Toolkit installiert ist.
* Unter Windows:
  * Prüfen Sie, ob `nvcc --version` mit der in `nvidia-smi`
  * angezeigten CUDA-Version übereinstimmt. [Befolgen Sie die Anleitung unter: https://docs.docker.com/desktop/features/gpu/](https://docs.docker.com/desktop/features/gpu/)


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/de/neu/studio/chat.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
