> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/grundlagen/api/hermes-agent.md).

# Hermes Agent

Anleitung zur lokalen Nutzung offener LLMs mit Hermes Agent.

Diese Anleitung ermöglicht es Ihnen, offene LLMs lokal mit **Hermes Agent** über [**Unsloth**](https://github.com/unslothai/unsloth). Hermes Agent von Nous Research ist ein **Open-Source-** autonomer KI-Agent, der sich mit einem Modell-Endpunkt verbindet, Aufgaben ausführt und sich im Laufe der Zeit durch Speicher und erlernte Fähigkeiten verbessert.

{% columns %}
{% column width="58.333333333333336%" %}
Hermes funktioniert mit jedem **lokalen Modell** das über Unsloths **OpenAI-kompatible API**, darunter: DeepSeek, Qwen, Gemma und mehr. Hermes fungiert als Agent-Client, während Unsloth Modelle über das [lokale API](/docs/de/grundlagen/api.md) vollständig offline.

Nach der Einrichtung wird jede über Hermes gesendete Eingabe mit Ihrem lokalen Modell auf Ihrem Gerät ausgeführt.
{% endcolumn %}

{% column width="41.666666666666664%" %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FYhiTzkyz0fVPMxIfWg6D%2FScreenshot_20260718_122219.png?alt=media&amp;token=a8063d58-0d49-467a-aa2a-35b30c448390" alt=""><figcaption><p>Qwen3.5 läuft lokal in Hermes über Unsloth.</p></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

<a href="https://unsloth.ai/docs/integrations/hermes-agent#setup-hermes-agent" class="button primary" data-icon="caduceus">Hermes einrichten</a><a href="https://unsloth.ai/docs/integrations/hermes-agent#integrate-hermes-with-unsloth-api" class="button primary">🦥 Verbinden Sie Ihr lokales Modell</a>

{% hint style="info" %}
In diesem Tutorial installieren Sie Hermes und konfigurieren es so, dass es `unsloth/Qwen3.6-27B-GGUF` von Unsloth bereitgestellt wird. Möchten Sie ein anderes Modell? Wechseln Sie zu jedem anderen Modell, indem Sie es in Unsloth laden und die Konfiguration aktualisieren.
{% endhint %}

### <i class="fa-caduceus">:caduceus:</i> Hermes-Agent einrichten

**Voraussetzungen:**

Der [Hermes](https://github.com/NousResearch/hermes-agent/blob/main/website/docs/getting-started/installation.md) Der Kommandozeilen-Installer unterstützt Linux, macOS und WSL2. Stellen Sie sicher, **Git** dass es installiert ist; installieren Sie unter Linux außerdem **curl** und **xz-utils**. Der Installer richtet automatisch `uv`, Python 3.11, Node.js 22, `ripgrep`, und `ffmpeg`.

#### 1. Führen Sie den Installer aus

```bash
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
```

Der Installer:

* Erkennt Ihre Plattform und prüft Abhängigkeiten.
* Klonen Sie Hermes nach `~/.hermes/hermes-agent/`.
* Erstellt eine Python-virtuelle Umgebung und installiert die Python-Abhängigkeiten.
* Installiert die Abhängigkeiten für das Browser-Tool und die Chromium-Engine von Playwright.
* Fügt den `hermes` Befehl hinzu und startet den Einrichtungsassistenten.

{% columns %}
{% column %}
Playwright kann anfordern, `sudo` die gemeinsam genutzten Systembibliotheken von Chromium zu installieren. Hermes selbst benötigt keinen Root-Zugriff.
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FnabBNaHLvb1rH58cQwyC%2FScreenshot%202026-07-18%20at%205.31.57%E2%80%AFAM.png?alt=media&amp;token=4ac35864-89aa-45ce-84db-ad5b17f8b3e5" alt="" width="375"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

#### **2. Laden Sie Ihre Shell neu** damit der `hermes` Befehl in Ihrem `PATH`:

{% code title="bash" %}

```bash
source ~/.bashrc
```

{% endcode %}

{% code title="zsh" %}

```bash
source ~/.zshrc
```

{% endcode %}

#### **3. Überprüfen Sie die Installation:**

```bash
hermes --version
```

Wenn der Befehl aufgelöst wird, ist Hermes installiert. Alles befindet sich unter `~/.hermes/`:

| Pfad                                    | Was es ist                                           |
| --------------------------------------- | ---------------------------------------------------- |
| `~/.hermes/config.yaml`                 | Haupteinstellungen (Modell, Anbieter, Tools, TTS, …) |
| `~/.hermes/.env`                        | API-Schlüssel und andere Geheimnisse                 |
| `~/.hermes/hermes-agent/`               | Der Hermes-Quellcode + virtuelle Umgebung            |
| `~/.hermes/cron/`, `sessions/`, `logs/` | Laufzeitdaten                                        |
| `~/.hermes/skills/`                     | Installierte Skills (vom Skills Hub synchronisiert)  |

{% hint style="info" %}
Vollständige Installationsreferenz: [hermes-agent.nousresearch.com/docs/getting-started/installation](https://hermes-agent.nousresearch.com/docs/getting-started/installation). Wenn der Installer eine fehlende Voraussetzung meldet, installieren Sie sie und führen Sie den Einzeiler erneut aus. Der Installer ist idempotent.
{% endhint %}

### ⚡ Schnellstart

Nach der Installation von Hermes müssen wir Unsloth Desktop installieren, damit Hermes lokale Modelle bereitstellen und Inferenz ausführen kann.

{% stepper %}
{% step %}

#### Unsloth herunterladen

Der einfachste Einstieg ist die Installation der [Unsloth Desktop](/docs/de/desktop.md) App. Sie unterstützt [MacOS](/docs/de/loslegen/install/mac.md), Linux, [Windows](/docs/de/loslegen/install/windows-installation.md), [NVIDIA](/docs/de/loslegen/install/pip-install.md), [AMD](/docs/de/loslegen/install/amd.md), Intel- und CPU-Setups.

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">Unsloth herunterladen</a>

* <i class="fa-apple">:apple:</i> [Download für macOS](https://unsloth.ai/download/mac)
* <i class="fa-windows">:windows:</i> [Download für Windows](https://unsloth.ai/download/windows)
* <i class="fa-linux">:linux:</i> [Download für Linux](https://unsloth.ai/download/linux)

Oder, wenn Sie eine manuelle Installation bevorzugen:

**MacOS, Linux, WSL:**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows PowerShell:**

```bash
irm https://unsloth.ai/install.ps1 | iex
```

{% endstep %}

{% step %}

#### Installieren

1. Öffnen Sie das Unsloth-Installationsprogramm (`.dmg`, `.exe` Dateien)
2. Ziehen Sie Unsloth unter macOS in den Ordner „Programme“ oder schließen Sie die Einrichtung unter Windows ab.
3. Starten Sie die App und warten Sie, bis die Installation abgeschlossen ist
   {% endstep %}

{% step %}

#### Wähle ein Modell

Öffnen Sie das Dropdown „Select model“ oben oder die Registerkarte „Model hub“, wählen Sie ein Modell und eine Quantisierung, die zu Ihrem Gerät passt, und laden Sie es dann herunter. Sobald der Download abgeschlossen ist, können Sie mit dem Chatten beginnen – keine Einrichtung erforderlich.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FNCEVgKLJI0goPqjgcg9B%2Fmodel%20hub%20models.png?alt=media&amp;token=533b5e3c-a901-4b33-963e-4a703cc9d5a6" alt="" width="563"><figcaption></figcaption></figure>
{% endstep %}

{% step %}

### Unsloth ist jetzt bereit

Um mit dem Chatten zu beginnen, geben Sie eine Nachricht ein und drücken Sie Enter.

**Verbinden Sie Hermes.** Ausführen `unsloth start hermes` in Ihrem Terminal aus, während Unsloth geöffnet ist. Es erstellt einen API-Schlüssel, schreibt die Konfiguration und startet Hermes mit Ihrem geladenen Modell.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FpAGvwjGD0iVMZKBoyu7m%2Fgreeennn.png?alt=media&amp;token=d17a5528-8375-444c-9aff-f9e9f7903bcd" alt="" width="563"><figcaption></figcaption></figure>
{% endstep %}
{% endstepper %}

### ⚡ Führen Sie Hermes Agent aus mit `unsloth start`

Um Hermes direkt mit einem Modell zu starten, führen Sie aus:

```bash
unsloth start hermes \
    --model unsloth/qwen3.8-27B-GGUF-GGUF:UD-Q4_K_XL
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 20 \
    --min-p 0.0 \
    --reasoning-effort mittel
```

{% hint style="success" %}
Wenn keine Einstellungs-/Sampling-Flags gesetzt sind, wählt Unsloth automatisch die besten/empfohlenen Einstellungen für das Modell aus, einschließlich Kontextlänge, Temperatur usw.
{% endhint %}

Mit einem in Unsloth Studio geladenen Modell führen Sie aus:

```bash
unsloth start hermes
```

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FOaFdKwRASHSoxDQx06l5%2FScreenshot_20260714_152023.png?alt=media&amp;token=c7e13fb2-e03e-49d1-8efa-f7494578943a" alt="Hermes Agent connected to a local model through Unsloth Studio"><figcaption><p>Hermes Agent, der über seinen Unsloth-Studio-Anbieter läuft.</p></figcaption></figure>

Unsloth startet Hermes aus einem separaten verwalteten Home-Verzeichnis, in dem der Unsloth-Anbieter, das Modell und die Kontext-Einstellungen bereits konfiguriert sind. Ihre vorhandene Hermes-Einrichtung bleibt unverändert.

Dieses verwaltete Home-Verzeichnis ist standardmäßig temporär. Um Ihre Sitzungen und Ihren Zustand beizubehalten, fügen Sie `--persist` ab Ihrem ersten Start hinzu:

```bash
unsloth start hermes --persist
```

Um später zu Ihrer letzten Sitzung zurückzukehren, führen Sie aus:

```bash
unsloth start hermes --persist --continue
```

Um eine bestimmte Sitzung erneut zu öffnen, verwenden Sie `--resume <session-id-or-title>` stattdessen.

Siehe die vollständige [unsloth start](/docs/de/desktop/unsloth-start.md) Referenz für Modellauswahl, Remote-Verbindungen und erweiterte Optionen.

Der untenstehende Einrichtungsassistent bleibt verfügbar, wenn Sie den Hermes-Anbieter lieber selbst verwalten.

### 🔑 Einen API-Schlüssel erstellen

1. Öffnen Sie die Seitenleiste und klicken Sie auf Ihr **Unsloth** Avatar unten links.
2. Gehe zu **Einstellungen** → **API**.
3. Geben Sie einen aussagekräftigen Namen ein (z. B. `hermes-agent-macbook`).
4. *(Optional)* Legen Sie ein Ablaufdatum fest.
5. Klicken Sie auf **Erstellen**.
6. **Kopieren Sie den Schlüssel sofort.** Unsloth speichert nur einen Hash, und Sie können ihn nicht erneut anzeigen.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FrWnqY5PgvZdbWK8pmlD5%2Fimage.png?alt=media&amp;token=3507e7d7-b552-447f-b503-2418802b8f6e" alt="" width="375"><figcaption></figcaption></figure>

Alle Schlüssel beginnen mit dem `sk-unsloth-` Präfix. Sie können einen Schlüssel jederzeit auf derselben Seite widerrufen. Anfragen mit einem widerrufenen Schlüssel schlagen mit `401 Nicht autorisiert`.

### 🦥 Integrieren Sie Hermes mit der Unsloth-API

Hermes sendet jede Chat-Runde an einen konfigurierten Inferenzanbieter und verbindet sich mit **OpenAI-kompatibel** Endpunkten. Konfigurieren Sie den Anbieter während der Installation oder später im Einrichtungsassistenten.

**1. Öffnen Sie den Einrichtungsassistenten:**

{% columns %}
{% column %}

```bash
hermes setup
```

Wähle **Modell & Anbieter** im Menü „Was möchten Sie tun?“ aus, um nur den Inferenz-Endpunkt zu konfigurieren, oder **Vollständige Einrichtung** um alles durchzugehen (TTS, Tools, Messaging-Gateway, Agent-Einstellungen).
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FChF6By1Dl44hVQl63kGW%2FScreenshot%202026-07-18%20at%205.34.39%E2%80%AFAM.png?alt=media&amp;token=371a287e-1264-47d2-af3e-fa3ed302e038" alt="" width="539"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

**2. Wählen Sie den benutzerdefinierten OpenAI-kompatiblen Endpunkt** wenn Hermes Sie nach einem Inferenzanbieter fragt.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FA5VVaVsL7GzZGq9Dn3Bt%2Fhermes_agent_setup_2.png?alt=media&amp;token=a234d29d-14f6-431f-be1f-9a4e14f5951d" alt="" width="563"><figcaption></figcaption></figure>

**3. Füllen Sie die Eingabeaufforderungen aus** während Hermes sie nacheinander durchgeht:

| Prompt                                           | Wert                                                                |
| ------------------------------------------------ | ------------------------------------------------------------------- |
| **API-Basis-URL**                                | `http://localhost:8888/v1` *(Ihr Unsloth-Port + `/v1`)*             |
| **API-Schlüssel**                                | Ihre `sk-unsloth-…` Schlüssel                                       |
| **Erkanntes Modell: … Dieses Modell verwenden?** | `Y` *(Hermes erkennt das Modell automatisch über `GET /v1/models`)* |
| **Kontextlänge in Token**                        | *(leer lassen für automatische Erkennung)*                          |
| **Anzeigename**                                  | Beliebiger Name, z. B. `unsloth-api`                                |

Hermes überprüft den Endpunkt anhand von `/v1/models` und bestätigt das erkannte Modell, bevor es fortfährt.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FehQjrLJ0ztoSdNp94dfH%2Fhermes_agent_setup_3.png?alt=media&amp;token=641c6e6a-44c3-4013-8c08-32472b256283" alt=""><figcaption></figcaption></figure>

**4. Übernehmen Sie die Standardwerte für die übrigen Eingaben** (TTS, Tools, Messaging-Gateway, Agent-Einstellungen) Sie können alles später neu konfigurieren. Hermes schreibt alles in `~/.hermes/config.yaml` und `~/.hermes/.env`.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FWbj2YWKpXw9T2jR0QQjh%2Fhermes_agent_setup_5.png?alt=media&amp;token=59985534-69e3-46ec-8ab9-1db8829c1721" alt=""><figcaption></figcaption></figure>

**5. Starten Sie Hermes:**

```bash
hermes
```

Das Startbanner zeigt den Namen Ihres Unsloth-Modells in der Statusleiste an (z. B. `unsloth/Qwen3.6-27B-GGUF`), und die Eingabeaufforderung ist bereit für Eingaben.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FU8UlRyw9n1SrENvZXSjD%2Fhermes_unsloth_run.png?alt=media&amp;token=6fd14920-a287-4aed-815e-33b7e4d09c68" alt=""><figcaption></figcaption></figure>

{% hint style="info" %}
Um später nur das Modell neu zu konfigurieren, führen Sie aus `hermes setup model`. Um die Konfigurationsdatei direkt zu bearbeiten, `hermes config edit` öffnet `~/.hermes/config.yaml` in Ihrem `$EDITOR`.
{% endhint %}

### Optional: den Unsloth-Server anpassen

`unsloth run` startet den lokalen API-Server und lädt ein Modell, mit dem sich Ihre App verbinden kann. Sie können auch anpassen, wie sich der Server beim Start verhält.

```bash
# Hermes bereitstellen (--disable-tools reicht die eigenen Tools des Agents durch)
unsloth run \
  --model unsloth/gemma-4-26B-A4B-it-GGUF \
  --disable-tools \
  --reasoning off \
  -p 8888
```

{% hint style="warning" %}
Verwende `--disable-tools` wenn Sie Hermes (oder einen anderen externen Agenten mit eigenen Tools) steuern. Standardmäßig führt Unsloth Studio seine eigenen serverseitigen Tools aus, wodurch die Tool-Aufrufe des Agents geschluckt werden, sodass Hermes antwortet, aber seine Tools nie ausführt. `--disable-tools` schaltet auf Passthrough um, sodass Hermes' eigene Tools verwendet werden.
{% endhint %}

Verwende `--reasoning off` um das Denken auszuschalten, oder `--reasoning on` um es für Modelle einzuschalten, die Reasoning unterstützen.

```bash
# Die API in deinem lokalen Netzwerk freigeben
unsloth run \
  --model unsloth/gemma-4-26B-A4B-it-GGUF \
  -H 0.0.0.0 \
  -p 8888
```

Dadurch startet der Server auf `0.0.0.0:8888`, sodass sich andere Geräte in deinem lokalen Netzwerk verbinden können. `-p` ändert den Port, auf dem der Server läuft. Wenn Sie möchten, dass Telefone, Laptops oder andere Geräte in Ihrem Netzwerk eine Verbindung zum API-Server herstellen, starten Sie ihn mit `-H 0.0.0.0`.

Einige Apps können die Generierungseinstellungen für einzelne Anfragen weiterhin überschreiben. Für eine weitergehende Laufzeitkonfiguration siehe die Haupt [API-Abstimmung](https://unsloth.ai/docs/basics/api#unsloth-run-command) Abschnitt.


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/de/grundlagen/api/hermes-agent.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.