> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/integrationen/hermes-agent.md).

# Wie man lokale KI-Modelle mit Hermes Agent ausführt

Dieser Leitfaden ermöglicht es dir, offene LLMs lokal auszuführen mit **Hermes Agent** über [**Unsloth**](https://github.com/unslothai/unsloth). Hermes Agent von Nous Research ist ein **Open-Source** autonomer KI-Agent, der sich mit einem Modell-Endpunkt verbindet, Aufgaben ausführt und sich im Laufe der Zeit durch Speicher und erlernte Fähigkeiten verbessert.

{% columns %}
{% column width="58.333333333333336%" %}
Hermes funktioniert mit jedem **lokalen Modell** bereitgestellt über Unsloths **OpenAI-kompatible API**, einschließlich: DeepSeek, Qwen, Gemma und mehr. Hermes dient als Agent-Client, während Unsloth Modelle über die [lokale API](/docs/de/grundlagen/api.md) vollständig offline.

Nach dem Einrichten wird jede über Hermes gesendete Eingabe mit deinem lokalen Modell auf deinem Gerät ausgeführt.
{% endcolumn %}

{% column width="41.666666666666664%" %}

<figure><img src="/files/02aed238a541b26d292ad49b68358c6fd008e3ed" alt=""><figcaption><p>Lokal in Hermes über Unsloth ausgeführtes Qwen3.5.</p></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

<a href="https://unsloth.ai/docs/integrations/hermes-agent#setup-hermes-agent" class="button primary" data-icon="caduceus">Hermes einrichten</a><a href="https://unsloth.ai/docs/integrations/hermes-agent#integrate-hermes-with-unsloth-api" class="button primary">🦥 Verbinde dein lokales Modell</a>

{% hint style="info" %}
In diesem Tutorial installierst du Hermes und konfigurierst ihn so, dass er `unsloth/Qwen3.6-27B-GGUF` bereitgestellt von Unsloth verwendet. Bevorzugst du ein anderes Modell? Tausche es einfach gegen ein anderes Modell aus, indem du es in Unsloth lädst und die Konfiguration aktualisierst.
{% endhint %}

### <i class="fa-caduceus">:caduceus:</i> Hermes Agent einrichten

**Voraussetzungen:**

Das [Hermes](https://github.com/NousResearch/hermes-agent/blob/main/website/docs/getting-started/installation.md) Der Befehlszeilen-Installer unterstützt Linux, macOS und WSL2. Stelle sicher, **Git** installiert ist; installiere unter Linux außerdem **curl** und **xz-utils**. Der Installer richtet automatisch ein `uv`, Python 3.11, Node.js 22, `ripgrep`, und `ffmpeg`.

#### 1. Führe den Installer aus

```bash
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
```

Der Installer:

* Erkennt deine Plattform und prüft Abhängigkeiten.
* Kloniert Hermes nach `~/.hermes/hermes-agent/`.
* Erstellt eine Python-virtuelle Umgebung und installiert die Python-Abhängigkeiten.
* Installiert die Browser-Tool-Abhängigkeiten und die Chromium-Engine von Playwright.
* Fügt den `hermes` Befehl hinzu und startet den Einrichtungsassistenten.

{% columns %}
{% column %}
Playwright kann `sudo` anfordern, um die gemeinsam genutzten Systembibliotheken von Chromium zu installieren. Hermes selbst benötigt keinen Root-Zugriff.
{% endcolumn %}

{% column %}

<figure><img src="/files/932af71741779f2f9d2fc782e77bb6d4a614415f" alt="" width="375"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

#### **2. Lade deine Shell neu** damit der `hermes` Befehl in deinem `PATH`:

{% code title="bash" %}

```bash
source ~/.bashrc
```

{% endcode %}

{% code title="zsh" %}

```bash
source ~/.zshrc
```

{% endcode %}

#### **3. Überprüfe die Installation:**

```bash
hermes --version
```

Wenn der Befehl aufgelöst wird, ist Hermes installiert. Alles befindet sich unter `~/.hermes/`:

| Pfad                                    | Was es ist                                              |
| --------------------------------------- | ------------------------------------------------------- |
| `~/.hermes/config.yaml`                 | Haupteinstellungen (Modell, Anbieter, Tools, TTS, …)    |
| `~/.hermes/.env`                        | API-Schlüssel und andere Geheimnisse                    |
| `~/.hermes/hermes-agent/`               | Der Hermes-Quellcode + virtuelle Umgebung               |
| `~/.hermes/cron/`, `sessions/`, `logs/` | Laufzeitdaten                                           |
| `~/.hermes/skills/`                     | Installierte Skills (aus dem Skills Hub synchronisiert) |

{% hint style="info" %}
Vollständige Installationsreferenz: [hermes-agent.nousresearch.com/docs/getting-started/installation](https://hermes-agent.nousresearch.com/docs/getting-started/installation). Wenn der Installer eine fehlende Voraussetzung meldet, installiere sie und führe die Ein-Zeilen-Anweisung erneut aus. Der Installer ist idempotent.
{% endhint %}

### ⚡ Schnellstart

Nach der Installation von Hermes müssen wir Unsloth Desktop installieren, damit Hermes lokale Modelle bereitstellen und Inferenz ausführen kann.

{% stepper %}
{% step %}

#### Unsloth herunterladen

Der einfachste Einstieg ist die Installation der [Unsloth Desktop](/docs/de/desktop.md) -App. Sie unterstützt [macOS](/docs/de/erste-schritte/install/mac.md), Linux, [Windows](/docs/de/erste-schritte/install/windows-installation.md), [NVIDIA](/docs/de/erste-schritte/install/pip-install.md), [AMD](/docs/de/erste-schritte/install/amd.md), Intel- und CPU-Setups.

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">Unsloth herunterladen</a>

* <i class="fa-apple">:apple:</i> [Für macOS herunterladen](https://unsloth.ai/download/mac)
* <i class="fa-windows">:windows:</i> [Für Windows herunterladen](https://unsloth.ai/download/windows)
* <i class="fa-linux">:linux:</i> [Für Linux herunterladen](https://unsloth.ai/download/linux)

Oder, wenn du die manuelle Installation bevorzugst:

**macOS, Linux, WSL:**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows PowerShell:**

```bash
irm https://unsloth.ai/install.ps1 | iex
```

{% endstep %}

{% step %}

#### Installieren

1. Öffne den Unsloth-Installer (`.dmg`, `.exe` Dateien)
2. Ziehe Unsloth auf dem Mac in den Ordner „Applications“ oder schließe das Setup unter Windows ab.
3. Starte die App und warte, bis die Installation abgeschlossen ist
   {% endstep %}

{% step %}

#### Wähle ein Modell

Öffne oben das Dropdown „Select model“ oder den Tab „Model hub“, wähle ein Modell und eine Quantisierung, die zu deinem Gerät passt, und lade es dann herunter. Sobald es fertig ist, kannst du mit dem Chatten beginnen – keine Einrichtung erforderlich.

<figure><img src="/files/c2bbae8035ca6e09125d7a93cb309bb6599d7402" alt="" width="563"><figcaption></figcaption></figure>
{% endstep %}

{% step %}

### Unsloth ist jetzt bereit

Um mit dem Chatten zu beginnen, tippe eine Nachricht ein und drücke Enter.

**Verbinde Hermes.** Ausführen `unsloth start hermes` im Terminal aus, während Unsloth geöffnet ist. Es erstellt einen API-Schlüssel, schreibt die Konfiguration und startet Hermes gegen dein geladenes Modell.

<figure><img src="/files/7dd332eeb14ab9597f3e5b90e819b2fc153fd3ca" alt="" width="563"><figcaption></figcaption></figure>
{% endstep %}
{% endstepper %}

### ⚡ Führe Hermes Agent aus mit `unsloth start`

Um Hermes direkt mit einem Modell zu starten, führe aus:

```bash
unsloth start hermes \
    --model unsloth/qwen3.8-27B-GGUF-GGUF:UD-Q4_K_XL
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.0 \
    --chat-template-kwargs '{"reasoning_effort":"medium"}'
```

Unsloth wählt automatisch die richtigen zu verwendenden Parameter aus, Sie können sie aber trotzdem ändern.

Wenn ein Modell in Unsloth Studio geladen ist, führe aus:

```bash
unsloth start hermes
```

<figure><img src="/files/e3fbea10babf14e205e8d37e09fa790df2d7f87c" alt="Hermes Agent connected to a local model through Unsloth Studio"><figcaption><p>Hermes Agent läuft über seinen Unsloth-Studio-Anbieter.</p></figcaption></figure>

Unsloth startet Hermes aus einem separaten verwalteten Home-Verzeichnis, in dem der Unsloth-Anbieter, das Modell und die Kontext-Einstellungen bereits konfiguriert sind. Deine bestehende Hermes-Einrichtung bleibt unverändert.

Dieses verwaltete Home-Verzeichnis ist standardmäßig temporär. Um deine Sitzungen und deinen Zustand beizubehalten, füge `--persist` beim ersten Start hinzu:

```bash
unsloth start hermes --persist
```

Um später zu deiner neuesten Sitzung zurückzukehren, führe aus:

```bash
unsloth start hermes --persist --continue
```

Um eine bestimmte Sitzung erneut zu öffnen, verwende `--resume <session-id-or-title>` stattdessen.

Siehe die vollständige [unsloth start](/docs/de/integrationen/unsloth-start.md) als Referenz für Modellauswahl, Remote-Verbindungen und erweiterte Optionen.

Der Einrichtungsassistent unten bleibt verfügbar, wenn du den Hermes-Anbieter lieber selbst verwalten möchtest.

### 🔑 Erstellen eines API-Schlüssels

1. Öffne die Seitenleiste und klicke auf deinen **Unsloth** Avatar unten links.
2. Gehe zu **Einstellungen** → **API**.
3. Gib einen aussagekräftigen Namen ein (z. B. `hermes-agent-macbook`).
4. *(Optional)* Legen Sie ein Ablaufdatum fest.
5. Klicke auf **Erstellen**.
6. **Kopieren Sie den Schlüssel sofort.** Unsloth speichert nur einen Hash und du kannst ihn nicht erneut anzeigen.

<figure><img src="/files/79728a63bf4bfe0057e70c6f0dd283ee1d2806b8" alt="" width="375"><figcaption></figcaption></figure>

Alle Schlüssel beginnen mit dem `sk-unsloth-` Präfix. Du kannst einen Schlüssel jederzeit auf derselben Seite widerrufen. Anfragen mit einem widerrufenen Schlüssel schlagen mit `401 Unauthorized`.

### 🦥 Hermes mit der Unsloth-API integrieren

Hermes sendet jeden Chat-Beitrag an einen konfigurierten Inferenz-Anbieter und verbindet sich mit **OpenAI-kompatibel** Endpunkten. Konfiguriere den Anbieter während der Installation oder später im Einrichtungsassistenten.

**1. Öffne den Einrichtungsassistenten:**

{% columns %}
{% column %}

```bash
hermes setup
```

Wähle **Modell & Anbieter** aus dem Menü „Was möchtest du tun?“ aus, um nur den Inferenz-Endpunkt zu konfigurieren, oder **Vollständige Einrichtung** um alles durchzugehen (TTS, Tools, Messaging-Gateway, Agent-Einstellungen).
{% endcolumn %}

{% column %}

<figure><img src="/files/e7a7da86f26a471938fd8e4ee222c249662194b4" alt="" width="539"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

**2. Wähle den benutzerdefinierten OpenAI-kompatiblen Endpunkt** wenn Hermes dich nach einem Inferenz-Anbieter fragt.

<figure><img src="/files/27752896ebf149358fda6b303cda373d0f34e648" alt="" width="563"><figcaption></figcaption></figure>

**3. Fülle die Eingabeaufforderungen aus** während Hermes dich durch sie führt:

| Prompt                                           | Wert                                                                |
| ------------------------------------------------ | ------------------------------------------------------------------- |
| **API-Basis-URL**                                | `http://localhost:8888/v1` *(dein Unsloth-Port + `/v1`)*            |
| **API-Schlüssel**                                | Deine `sk-unsloth-…` Schlüssel                                      |
| **Erkanntes Modell: … Dieses Modell verwenden?** | `J` *(Hermes erkennt das Modell automatisch über `GET /v1/models`)* |
| **Kontextlänge in Token**                        | *(für automatische Erkennung leer lassen)*                          |
| **Anzeigename**                                  | Beliebig, z. B. `unsloth-api`                                       |

Hermes überprüft den Endpunkt anhand von `/v1/models` und bestätigt das erkannte Modell, bevor es fortfährt.

<figure><img src="/files/232bf24f030406cb5c5c2e8adbe4b431fda9d7b5" alt=""><figcaption></figcaption></figure>

**4. Übernimm die Standardwerte für die verbleibenden Eingabeaufforderungen** (TTS, Tools, Messaging-Gateway, Agent-Einstellungen) kannst du später alle erneut konfigurieren. Hermes schreibt alles in `~/.hermes/config.yaml` und `~/.hermes/.env`.

<figure><img src="/files/d2da50b981641dbabea1dc2a35b8856b467351eb" alt=""><figcaption></figcaption></figure>

**5. Starte Hermes:**

```bash
hermes
```

Das Startbanner zeigt deinen Unsloth-Modellnamen in der Statusleiste an (z. B. `unsloth/Qwen3.6-27B-GGUF`), und die Eingabeaufforderung ist bereit für Eingaben.

<figure><img src="/files/792db6bf9a5c120d93e2c536e2851485bf42d32b" alt=""><figcaption></figcaption></figure>

{% hint style="info" %}
Um später nur das Modell neu zu konfigurieren, führe `hermes setup model`. Um die Konfigurationsdatei direkt zu bearbeiten, `hermes config edit` öffnet `~/.hermes/config.yaml` in deinem `$EDITOR`.
{% endhint %}

### Optional: den Unsloth-Server anpassen

`unsloth run` startet den lokalen API-Server und lädt ein Modell, mit dem sich deine App verbinden kann. Du kannst auch anpassen, wie sich der Server beim Start verhält.

```bash
# Hermes bereitstellen (--disable-tools reicht die eigenen Tools des Agents durch)
unsloth run \
  --model unsloth/gemma-4-26B-A4B-it-GGUF \
  --disable-tools \
  --reasoning off \
  -p 8888
```

{% hint style="warning" %}
Verwende `--disable-tools` beim Steuern von Hermes (oder jedem externen Agenten mit eigenen Tools). Standardmäßig führt Unsloth Studio seine eigenen serverseitigen Tools aus, wodurch die Tool-Aufrufe des Agents verschluckt werden, sodass Hermes antwortet, aber seine Tools nie ausführt. `--disable-tools` wechselt auf Passthrough, sodass Hermes' eigene Tools verwendet werden.
{% endhint %}

Verwende `--reasoning off` um das Denken auszuschalten, oder `--reasoning on` um es für Modelle einzuschalten, die Reasoning unterstützen.

```bash
# Die API im lokalen Netzwerk bereitstellen
unsloth run \
  --model unsloth/gemma-4-26B-A4B-it-GGUF \
  -H 0.0.0.0 \
  -p 8888
```

Dies startet den Server auf `0.0.0.0:8888`, sodass sich andere Geräte in Ihrem lokalen Netzwerk verbinden können. `-p` ändert, auf welchem Port der Server läuft. Wenn sich Telefone, Laptops oder andere Geräte in deinem Netzwerk mit dem API-Server verbinden sollen, starte ihn mit `-H 0.0.0.0`.

Einige Apps können die Generierungseinstellungen für einzelne Anfragen dennoch überschreiben. Für eine fortgeschrittenere Laufzeitkonfiguration siehe die Haupt [API-Abstimmung](https://unsloth.ai/docs/basics/api#unsloth-run-command) Abschnitt.


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://unsloth.ai/docs/de/integrationen/hermes-agent.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.