> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/integrationen/hermes-agent.md).

# Lokale KI-Modelle mit Hermes Agent ausführen

Anleitung zur lokalen Nutzung offener LLMs mit Hermes Agent.

Diese Anleitung ermöglicht es Ihnen, lokale Open-LLMs mit **Hermes Agent** über [**Unsloth**](https://github.com/unslothai/unsloth). Hermes Agent von Nous Research ist ein **Open-Source-** autonomer KI-Agent, der sich mit einem Modell-Endpunkt verbindet, Aufgaben ausführt und sich durch Speicher und erlernte Fähigkeiten mit der Zeit verbessert.

{% columns %}
{% column width="58.333333333333336%" %}
Hermes funktioniert mit jedem **lokalen Modell** , das über Unsloths **OpenAI-kompatible API** bereitgestellt wird, einschließlich: DeepSeek, Qwen, Gemma und mehr. Hermes fungiert als Agent-Client, während Unsloth Modelle über die [lokale API](/docs/de/grundlagen/api.md) vollständig offline.

Nach der Einrichtung wird jede über Hermes gesendete Eingabe mit Ihrem lokalen Modell auf Ihrem Gerät ausgeführt.
{% endcolumn %}

{% column width="41.666666666666664%" %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FYhiTzkyz0fVPMxIfWg6D%2FScreenshot_20260718_122219.png?alt=media&amp;token=a8063d58-0d49-467a-aa2a-35b30c448390" alt=""><figcaption><p>Lokal in Hermes über Unsloth laufendes Qwen3.5.</p></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

<a href="https://unsloth.ai/docs/integrations/hermes-agent#setup-hermes-agent" class="button primary" data-icon="caduceus">Hermes einrichten</a><a href="https://unsloth.ai/docs/integrations/hermes-agent#integrate-hermes-with-unsloth-api" class="button primary">🦥 Ihr lokales Modell verbinden</a>

{% hint style="info" %}
In diesem Tutorial installieren Sie Hermes und konfigurieren es so, dass es `unsloth/Qwen3.6-27B-GGUF` von Unsloth bereitgestellt wird. Bevorzugen Sie ein anderes Modell? Tauschen Sie es gegen ein anderes Modell aus, indem Sie es in Unsloth laden und die Konfiguration aktualisieren.
{% endhint %}

### <i class="fa-caduceus">:caduceus:</i> Hermes Agent einrichten

**Voraussetzungen:**

Der [Hermes](https://github.com/NousResearch/hermes-agent/blob/main/website/docs/getting-started/installation.md) Kommandozeilen-Installer unterstützt Linux, macOS und WSL2. Stellen Sie sicher, dass **Git** installiert ist; installieren Sie unter Linux außerdem **curl** und **xz-utils**. Der Installer richtet automatisch `uv`, Python 3.11, Node.js 22, `ripgrep`und `ffmpeg`.

#### 1. Führen Sie den Installer aus

```bash
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
```

Der Installer:

* Erkennt Ihre Plattform und prüft die Abhängigkeiten.
* Kloniert Hermes nach `~/.hermes/hermes-agent/`.
* Erstellt eine Python-virtuelle Umgebung und installiert die Python-Abhängigkeiten.
* Installiert die Abhängigkeiten für das Browser-Tool und Playwrights Chromium-Engine.
* Fügt den `hermes` -Befehl hinzu und startet den Einrichtungsassistenten.

{% columns %}
{% column %}
Playwright kann `sudo` anfordern, um die gemeinsamen Systembibliotheken von Chromium zu installieren. Hermes selbst benötigt keinen Root-Zugriff.
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FnabBNaHLvb1rH58cQwyC%2FScreenshot%202026-07-18%20at%205.31.57%E2%80%AFAM.png?alt=media&amp;token=4ac35864-89aa-45ce-84db-ad5b17f8b3e5" alt="" width="375"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

#### **2. Laden Sie Ihre Shell neu** damit der `hermes` Befehl in Ihrem `PATH`:

{% code title="bash" %}

```bash
source ~/.bashrc
```

{% endcode %}

{% code title="zsh" %}

```bash
source ~/.zshrc
```

{% endcode %}

#### **3. Installation überprüfen:**

```bash
hermes --version
```

Wenn der Befehl aufgelöst wird, ist Hermes installiert. Alles befindet sich unter `~/.hermes/`:

| Pfad                                    | Was es ist                                                   |
| --------------------------------------- | ------------------------------------------------------------ |
| `~/.hermes/config.yaml`                 | Haupteinstellungen (Modell, Anbieter, Tools, TTS, …)         |
| `~/.hermes/.env`                        | API-Schlüssel und andere Geheimnisse                         |
| `~/.hermes/hermes-agent/`               | Der Hermes-Quellcode + virtuelle Umgebung                    |
| `~/.hermes/cron/`, `sessions/`, `logs/` | Laufzeitdaten                                                |
| `~/.hermes/skills/`                     | Installierte Fähigkeiten (synchronisiert aus dem Skills Hub) |

{% hint style="info" %}
Vollständige Installationsreferenz: [hermes-agent.nousresearch.com/docs/getting-started/installation](https://hermes-agent.nousresearch.com/docs/getting-started/installation). Wenn der Installer eine fehlende Voraussetzung meldet, installieren Sie sie und führen Sie den Einzeiler erneut aus. Der Installer ist idempotent.
{% endhint %}

### ⚡ Schnellstart

Nach der Installation von Hermes müssen wir Unsloth Desktop installieren, damit Hermes lokale Modelle bereitstellen und Inferenz ausführen kann.

{% stepper %}
{% step %}

#### Unsloth herunterladen

Der einfachste Einstieg ist die Installation der [Unsloth-Desktop](/docs/de/desktop.md) App. Sie unterstützt [macOS](/docs/de/loslegen/install/mac.md), Linux, [Windows](/docs/de/loslegen/install/windows-installation.md), [NVIDIA](/docs/de/loslegen/install/pip-install.md), [AMD](/docs/de/loslegen/install/amd.md), Intel- und CPU-Setups.

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">Unsloth herunterladen</a>

* <i class="fa-apple">:apple:</i> [Für macOS herunterladen](https://unsloth.ai/download/mac)
* <i class="fa-windows">:windows:</i> [Für Windows herunterladen](https://unsloth.ai/download/windows)
* <i class="fa-linux">:linux:</i> [Für Linux herunterladen](https://unsloth.ai/download/linux)

Oder, wenn du die manuelle Installation bevorzugst:

**macOS, Linux, WSL:**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows PowerShell:**

```bash
irm https://unsloth.ai/install.ps1 | iex
```

{% endstep %}

{% step %}

#### Installieren

1. Öffne das Unsloth-Installationsprogramm (`.dmg`, `.exe` -Dateien)
2. Ziehe Unsloth auf dem Mac in den Ordner „Programme“ oder schließe die Einrichtung unter Windows ab.
3. Starte die App und warte, bis die Installation abgeschlossen ist
   {% endstep %}

{% step %}

#### Wähle ein Modell

Öffne oben im Dropdown „Modell auswählen“ oder den Tab „Model Hub“, wähle ein Modell und eine Quantisierung, die zu deinem Gerät passt, und lade es dann herunter. Sobald der Download abgeschlossen ist, kannst du mit dem Chatten beginnen – keine Einrichtung erforderlich.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FNCEVgKLJI0goPqjgcg9B%2Fmodel%20hub%20models.png?alt=media&amp;token=533b5e3c-a901-4b33-963e-4a703cc9d5a6" alt="" width="563"><figcaption></figcaption></figure>
{% endstep %}

{% step %}

### Unsloth ist jetzt bereit

Um mit dem Chatten zu beginnen, gib eine Nachricht ein und drücke Enter.

**Hermes verbinden.** Ausführen `unsloth start hermes` in Ihrem Terminal aus, während Unsloth geöffnet ist. Dabei wird ein API-Schlüssel erstellt, die Konfiguration geschrieben und Hermes gegen Ihr geladenes Modell gestartet.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FpAGvwjGD0iVMZKBoyu7m%2Fgreeennn.png?alt=media&amp;token=d17a5528-8375-444c-9aff-f9e9f7903bcd" alt="" width="563"><figcaption></figcaption></figure>
{% endstep %}
{% endstepper %}

### ⚡ Hermes Agent ausführen mit `unsloth start`

Um Hermes direkt mit einem Modell zu starten, führen Sie aus:

```bash
unsloth start hermes \
    --model unsloth/Qwen3.8-27B-GGUF-GGUF:UD-Q4_K_XL
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.0 \
    --reasoning-effort medium
```

{% hint style="success" %}
Wenn keine Einstellungen/Sampling-Flags gesetzt sind, wählt Unsloth automatisch die besten/empfohlenen Einstellungen für das Modell, einschließlich Kontextlänge, Temperatur usw.
{% endhint %}

Wenn ein Modell in Unsloth Studio geladen ist, führen Sie aus:

```bash
unsloth start hermes
```

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FOaFdKwRASHSoxDQx06l5%2FScreenshot_20260714_152023.png?alt=media&amp;token=c7e13fb2-e03e-49d1-8efa-f7494578943a" alt="Hermes Agent connected to a local model through Unsloth Studio"><figcaption><p>Hermes Agent, der über seinen Unsloth-Studio-Anbieter läuft.</p></figcaption></figure>

Unsloth startet Hermes aus einem separaten verwalteten Home-Verzeichnis mit dem Unsloth-Anbieter, dem Modell und den Kontext-Einstellungen, die bereits konfiguriert sind. Ihre bestehende Hermes-Einrichtung bleibt unverändert.

Dieses verwaltete Home-Verzeichnis ist standardmäßig temporär. Um Ihre Sitzungen und Ihren Status beizubehalten, fügen Sie `--persist` von Ihrem ersten Start an hinzu:

```bash
unsloth start hermes --persist
```

Um später zu Ihrer neuesten Sitzung zurückzukehren, führen Sie aus:

```bash
unsloth start hermes --persist --continue
```

Um eine bestimmte Sitzung erneut zu öffnen, verwenden Sie stattdessen `--resume <session-id-or-title>` .

Siehe die vollständige [unsloth start](/docs/de/integrationen/unsloth-start.md) Referenz für Modellauswahl, Remote-Verbindungen und erweiterte Optionen.

Der folgende Einrichtungsassistent bleibt verfügbar, falls Sie den Hermes-Anbieter lieber selbst verwalten möchten.

### 🔑 Erstellen eines API-Schlüssels

1. Öffne die Seitenleiste und klicke unten links auf deinen **Unsloth** Avatar.
2. Gehe zu **Einstellungen** → **API**.
3. Gib einen freundlichen Namen ein (z. B. `hermes-agent-macbook`).
4. *(Optional)* Legen Sie ein Ablaufdatum fest.
5. Klicke **Erstellen**.
6. **Kopieren Sie den Schlüssel sofort.** Unsloth speichert nur einen Hash, und du kannst ihn später nicht erneut ansehen.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FrWnqY5PgvZdbWK8pmlD5%2Fimage.png?alt=media&amp;token=3507e7d7-b552-447f-b503-2418802b8f6e" alt="" width="375"><figcaption></figcaption></figure>

Alle Schlüssel beginnen mit dem `sk-unsloth-` Präfix. Du kannst einen Schlüssel jederzeit auf derselben Seite widerrufen. Anfragen mit einem widerrufenen Schlüssel schlagen fehl mit `401 Unauthorized`.

### 🦥 Hermes mit Unsloth API integrieren

Hermes sendet jeden Chat-Turn an einen konfigurierten Inferenzanbieter und verbindet sich mit **OpenAI-kompatibel** Endpunkten. Konfigurieren Sie den Anbieter während der Installation oder später im Einrichtungsassistenten.

**1. Öffnen Sie den Einrichtungsassistenten:**

{% columns %}
{% column %}

```bash
hermes setup
```

Wählen Sie **Modell & Anbieter** im Menü „Was möchten Sie tun?“ aus, um nur den Inferenz-Endpunkt zu konfigurieren, oder **Vollständige Einrichtung** , um alles durchzugehen (TTS, Tools, Messaging-Gateway, Agent-Einstellungen).
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FChF6By1Dl44hVQl63kGW%2FScreenshot%202026-07-18%20at%205.34.39%E2%80%AFAM.png?alt=media&amp;token=371a287e-1264-47d2-af3e-fa3ed302e038" alt="" width="539"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

**2. Wählen Sie den benutzerdefinierten OpenAI-kompatiblen Endpunkt** wenn Hermes Sie nach einem Inferenzanbieter fragt.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FA5VVaVsL7GzZGq9Dn3Bt%2Fhermes_agent_setup_2.png?alt=media&amp;token=a234d29d-14f6-431f-be1f-9a4e14f5951d" alt="" width="563"><figcaption></figcaption></figure>

**3. Füllen Sie die Eingabeaufforderungen aus** während Hermes sie durchläuft:

| Eingabeaufforderung                              | Wert                                                                |
| ------------------------------------------------ | ------------------------------------------------------------------- |
| **API-Basis-URL**                                | `http://localhost:8888/v1` *(Ihr Unsloth-Port + `/v1`)*             |
| **API-Schlüssel**                                | Deine `sk-unsloth-…` Schlüssel                                      |
| **Erkanntes Modell: … Dieses Modell verwenden?** | `J` *(Hermes erkennt das Modell automatisch über `GET /v1/models`)* |
| **Kontextlänge in Tokens**                       | *(für automatische Erkennung leer lassen)*                          |
| **Anzeigename**                                  | Beliebig, z. B. `unsloth-api`                                       |

Hermes prüft den Endpunkt gegen `/v1/models` und bestätigt das erkannte Modell, bevor fortgefahren wird.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FehQjrLJ0ztoSdNp94dfH%2Fhermes_agent_setup_3.png?alt=media&amp;token=641c6e6a-44c3-4013-8c08-32472b256283" alt=""><figcaption></figcaption></figure>

**4. Akzeptieren Sie die Standardwerte für die restlichen Eingaben** (TTS, Tools, Messaging-Gateway, Agent-Einstellungen) Sie können später alles davon neu konfigurieren. Hermes schreibt alles nach `~/.hermes/config.yaml` und `~/.hermes/.env`.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FWbj2YWKpXw9T2jR0QQjh%2Fhermes_agent_setup_5.png?alt=media&amp;token=59985534-69e3-46ec-8ab9-1db8829c1721" alt=""><figcaption></figcaption></figure>

**5. Hermes starten:**

```bash
hermes
```

Das Startbanner zeigt Ihren Unsloth-Modellnamen in der Statusleiste an (z. B. `unsloth/Qwen3.6-27B-GGUF`), und die Eingabeaufforderung ist bereit für Eingaben.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FU8UlRyw9n1SrENvZXSjD%2Fhermes_unsloth_run.png?alt=media&amp;token=6fd14920-a287-4aed-815e-33b7e4d09c68" alt=""><figcaption></figcaption></figure>

{% hint style="info" %}
Um später nur das Modell neu zu konfigurieren, führen Sie `hermes setup model`. Um die Konfigurationsdatei direkt zu bearbeiten, `hermes config edit` öffnet `~/.hermes/config.yaml` in Ihrem `$EDITOR`.
{% endhint %}

### Optional: Den Unsloth-Server anpassen

`unsloth run` startet den lokalen API-Server und lädt ein Modell, mit dem Ihre App sich verbinden kann. Sie können auch das Verhalten des Servers beim Starten anpassen.

```bash
# Hermes bereitstellen (--disable-tools reicht die eigenen Tools des Agents durch)
unsloth run \
  --model unsloth/gemma-4-26B-A4B-it-GGUF \\
  --disable-tools \\
  --reasoning off \\
  -p 8888
```

{% hint style="warning" %}
Verwende `--disable-tools` beim Steuern von Hermes (oder jedem externen Agenten mit eigenen Tools). Standardmäßig führt Unsloth Studio seine eigenen serverseitigen Tools aus, wodurch die Tool-Aufrufe des Agents geschluckt werden, sodass Hermes antwortet, aber nie seine Tools ausführt. `--disable-tools` wechselt zu Passthrough, sodass die eigenen Tools von Hermes verwendet werden.
{% endhint %}

Verwende `--reasoning off` um das Denken auszuschalten, oder `--reasoning on` um es für Modelle einzuschalten, die Reasoning unterstützen.

```bash
# Die API im lokalen Netzwerk bereitstellen
unsloth run \
  --model unsloth/gemma-4-26B-A4B-it-GGUF \\
  -H 0.0.0.0 \
  -p 8888
```

Dies startet den Server auf `0.0.0.0:8888`, sodass andere Geräte in Ihrem lokalen Netzwerk eine Verbindung herstellen können. `-p` ändert den Port, auf dem der Server läuft. Wenn Sie möchten, dass Telefone, Laptops oder andere Geräte in Ihrem Netzwerk eine Verbindung zum API-Server herstellen, starten Sie ihn mit `-H 0.0.0.0`.

Einige Apps können die Generierungseinstellungen für einzelne Anfragen weiterhin überschreiben. Für eine fortgeschrittenere Laufzeitkonfiguration siehe das Haupt- [API-Tuning](https://unsloth.ai/docs/basics/api#unsloth-run-command) .


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/de/integrationen/hermes-agent.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.