> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/integrationen/hermes-agent.md).

# So führen Sie lokale KI-Modelle mit Hermes Agent aus

Leitfaden zur lokalen Verwendung offener LLMs mit Hermes Agent.

Dieser Leitfaden ermöglicht es dir, offene LLMs lokal mit **Hermes-Agent** über [**Unsloth**](https://github.com/unslothai/unsloth). Hermes Agent von Nous Research ist ein **Open-Source-** autonomer KI-Agent, der sich mit einem Modell-Endpunkt verbindet, Aufgaben ausführt und sich mit der Zeit durch Speicher und erlernte Fähigkeiten verbessert.

{% columns %}
{% column width="58.333333333333336%" %}
Hermes funktioniert mit jedem **lokalen Modell** bereitgestellt über Unsloths **OpenAI-kompatible API**einschließlich: DeepSeek, Qwen, Gemma und mehr. Hermes fungiert als Agent-Client, während Unsloth Modelle über die [lokale API](/docs/de/grundlagen/api.md) vollständig offline lädt und bereitstellt.

Nach der Einrichtung wird jede über Hermes gesendete Eingabe mithilfe deines lokalen Modells auf deinem Gerät ausgeführt.
{% endcolumn %}

{% column width="41.666666666666664%" %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FYhiTzkyz0fVPMxIfWg6D%2FScreenshot_20260718_122219.png?alt=media&amp;token=a8063d58-0d49-467a-aa2a-35b30c448390" alt=""><figcaption><p>Qwen3.5 läuft lokal in Hermes über Unsloth.</p></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

<a href="https://unsloth.ai/docs/integrations/hermes-agent#setup-hermes-agent" class="button primary" data-icon="caduceus">Hermes einrichten</a><a href="https://unsloth.ai/docs/integrations/hermes-agent#integrate-hermes-with-unsloth-api" class="button primary">🦥 Verbinde dein lokales Modell</a>

{% hint style="info" %}
In diesem Tutorial installierst du Hermes und konfigurierst es so, dass es `unsloth/Qwen3.6-27B-GGUF` verwendet, das von Unsloth bereitgestellt wird. Bevorzugst du ein anderes Modell? Tausche es einfach aus, indem du es in Unsloth lädst und die Konfiguration aktualisierst.
{% endhint %}

### <i class="fa-caduceus">:caduceus:</i> Hermes Agent einrichten

**Voraussetzungen:**

Die [Hermes](https://github.com/NousResearch/hermes-agent/blob/main/website/docs/getting-started/installation.md) Der Kommandozeilen-Installer unterstützt Linux, macOS und WSL2. Stelle sicher, **Git** ist installiert; unter Linux installiere außerdem **curl** und **xz-utils**. Der Installer richtet automatisch ein `uv`, Python 3.11, Node.js 22, `ripgrep` und `ffmpeg`.

#### 1. Führe den Installer aus

```bash
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
```

Der Installer:

* erkennt deine Plattform und prüft die Abhängigkeiten.
* klont Hermes nach `~/.hermes/hermes-agent/`.
* erstellt eine Python-virtuelle Umgebung und installiert die Python-Abhängigkeiten.
* installiert die Browser-Tool-Abhängigkeiten und Playwrights Chromium-Engine.
* fügt den `hermes` Befehl hinzu und startet den Einrichtungsassistenten.

{% columns %}
{% column %}
Playwright kann `sudo` anfordern, um die freigegebenen Systembibliotheken von Chromium zu installieren. Hermes selbst benötigt keinen Root-Zugriff.
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FnabBNaHLvb1rH58cQwyC%2FScreenshot%202026-07-18%20at%205.31.57%E2%80%AFAM.png?alt=media&amp;token=4ac35864-89aa-45ce-84db-ad5b17f8b3e5" alt="" width="375"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

#### **2. Lade deine Shell neu** damit der `hermes` Befehl in deinem `PATH`:

{% code title="bash" %}

```bash
source ~/.bashrc
```

{% endcode %}

{% code title="zsh" %}

```bash
source ~/.zshrc
```

{% endcode %}

#### **3. Prüfe die Installation:**

```bash
hermes --version
```

Wenn der Befehl aufgelöst wird, ist Hermes installiert. Alles befindet sich unter `~/.hermes/`:

| Pfad                                    | Was es ist                                              |
| --------------------------------------- | ------------------------------------------------------- |
| `~/.hermes/config.yaml`                 | Haupteinstellungen (Modell, Provider, Tools, TTS, …)    |
| `~/.hermes/.env`                        | API-Schlüssel und andere Geheimnisse                    |
| `~/.hermes/hermes-agent/`               | Der Hermes-Quellcode + virtuelle Umgebung               |
| `~/.hermes/cron/`, `sessions/`, `logs/` | Laufzeitdaten                                           |
| `~/.hermes/skills/`                     | Installierte Skills (aus dem Skills Hub synchronisiert) |

{% hint style="info" %}
Vollständige Installationsreferenz: [hermes-agent.nousresearch.com/docs/getting-started/installation](https://hermes-agent.nousresearch.com/docs/getting-started/installation). Wenn der Installer eine fehlende Voraussetzung meldet, installiere sie und führe den Einzeiler erneut aus. Der Installer ist idempotent.
{% endhint %}

### ⚡ Schnellstart

Nach der Installation von Hermes müssen wir Unsloth Desktop installieren, damit Hermes lokale Modelle bereitstellen und Inferenz ausführen kann.

{% stepper %}
{% step %}

#### Unsloth herunterladen

Am einfachsten kommst du los, indem du die [Unsloth Desktop](/docs/de/desktop.md) App installierst. Sie unterstützt [MacOS](/docs/de/erste-schritte/install/mac.md), Linux, [Windows](/docs/de/erste-schritte/install/windows-installation.md), [NVIDIA](/docs/de/erste-schritte/install/pip-install.md), [AMD](/docs/de/erste-schritte/install/amd.md), Intel- und CPU-Konfigurationen.

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">Unsloth herunterladen</a>

* <i class="fa-apple">:apple:</i> [Für macOS herunterladen](https://unsloth.ai/download/mac)
* <i class="fa-windows">:windows:</i> [Für Windows herunterladen](https://unsloth.ai/download/windows)
* <i class="fa-linux">:linux:</i> [Für Linux herunterladen](https://unsloth.ai/download/linux)

Oder, wenn du die manuelle Installation bevorzugst:

**MacOS, Linux, WSL:**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows PowerShell:**

```bash
irm https://unsloth.ai/install.ps1 | iex
```

{% endstep %}

{% step %}

#### Installieren

1. Öffne den Unsloth-Installer (`.dmg`, `.exe` -Dateien)
2. Ziehe Unsloth unter Mac in den Ordner „Programme“ oder schließe die Einrichtung unter Windows ab.
3. Starte die App und warte, bis die Installation abgeschlossen ist
   {% endstep %}

{% step %}

#### Wähle ein Modell

Öffne oben das Dropdown „Modell auswählen“ oder den Tab „Model Hub“, wähle ein Modell und eine Quantisierung, die zu deinem Gerät passt, und lade es dann herunter. Sobald der Download abgeschlossen ist, kannst du mit dem Chatten beginnen – keine Einrichtung erforderlich.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FNCEVgKLJI0goPqjgcg9B%2Fmodel%20hub%20models.png?alt=media&amp;token=533b5e3c-a901-4b33-963e-4a703cc9d5a6" alt="" width="563"><figcaption></figcaption></figure>
{% endstep %}

{% step %}

### Unsloth ist jetzt bereit

Um mit dem Chatten zu beginnen, gib eine Nachricht ein und drücke Enter.

**Verbinde Hermes.** Ausführen `unsloth start hermes` in deinem Terminal aus, während Unsloth geöffnet ist. Es erstellt einen API-Schlüssel, schreibt die Konfiguration und startet Hermes gegen dein geladenes Modell.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FpAGvwjGD0iVMZKBoyu7m%2Fgreeennn.png?alt=media&amp;token=d17a5528-8375-444c-9aff-f9e9f7903bcd" alt="" width="563"><figcaption></figcaption></figure>
{% endstep %}
{% endstepper %}

### ⚡ Hermes Agent starten mit `unsloth start`

Um Hermes direkt mit einem Modell zu starten, führe aus:

```bash
unsloth start hermes \
    --model unsloth/qwen3.8-27B-GGUF-GGUF:UD-Q4_K_XL
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.0 \
    --reasoning-effort medium
```

{% hint style="success" %}
Wenn keine Einstellungen-/Sampling-Flags gesetzt sind, wählt Unsloth automatisch die besten/empfohlenen Einstellungen für das Modell aus, einschließlich Kontextlänge, Temperatur usw.
{% endhint %}

Wenn ein Modell in Unsloth Studio geladen ist, führe aus:

```bash
unsloth start hermes
```

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FOaFdKwRASHSoxDQx06l5%2FScreenshot_20260714_152023.png?alt=media&amp;token=c7e13fb2-e03e-49d1-8efa-f7494578943a" alt="Hermes Agent connected to a local model through Unsloth Studio"><figcaption><p>Hermes Agent, der über seinen Unsloth-Studio-Provider läuft.</p></figcaption></figure>

Unsloth startet Hermes aus einem separaten verwalteten Home-Verzeichnis, in dem der Unsloth-Provider, das Modell und die Kontexteinstellungen bereits konfiguriert sind. Deine bestehende Hermes-Einrichtung bleibt unverändert.

Dieses verwaltete Home-Verzeichnis ist standardmäßig temporär. Um deine Sitzungen und deinen Status zu behalten, füge `--persist` bei deinem ersten Start hinzu:

```bash
unsloth start hermes --persist
```

Um später zu deiner neuesten Sitzung zurückzukehren, führe aus:

```bash
unsloth start hermes --persist --continue
```

Um eine bestimmte Sitzung erneut zu öffnen, verwende `--resume <session-id-or-title>` stattdessen.

Sieh dir die vollständige [unsloth start](/docs/de/integrationen/unsloth-start.md) Referenz für Modellauswahl, Fernverbindungen und erweiterte Optionen an.

Der Einrichtungsassistent unten bleibt verfügbar, wenn du den Hermes-Provider lieber selbst verwalten möchtest.

### 🔑 Einen API-Schlüssel erstellen

1. Öffne die Seitenleiste und klicke auf dein **Unsloth** Profilbild unten links.
2. Gehe zu **Einstellungen** → **API**.
3. Gib einen freundlichen Namen ein (z. B. `hermes-agent-macbook`).
4. *(Optional)* Lege ein Ablaufdatum fest.
5. Klicke auf **Erstellen**.
6. **Kopiere den Schlüssel sofort.** Unsloth speichert nur einen Hash und du kannst ihn nicht erneut ansehen.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FrWnqY5PgvZdbWK8pmlD5%2Fimage.png?alt=media&amp;token=3507e7d7-b552-447f-b503-2418802b8f6e" alt="" width="375"><figcaption></figcaption></figure>

Alle Schlüssel beginnen mit dem `sk-unsloth-` Präfix. Du kannst einen Schlüssel jederzeit auf derselben Seite widerrufen. Anfragen mit einem widerrufenen Schlüssel schlagen mit `401 Unauthorized`.

### 🦥 Hermes mit der Unsloth-API integrieren

Hermes sendet jede Chat-Nachricht an einen konfigurierten Inferenz-Provider und verbindet sich mit **OpenAI-kompatiblen** Endpunkten. Konfiguriere den Provider während der Installation oder später im Einrichtungsassistenten.

**1. Öffne den Einrichtungsassistenten:**

{% columns %}
{% column %}

```bash
hermes setup
```

Wähle **Modell & Provider** aus dem Menü „Was möchtest du tun?“ aus, um nur den Inferenz-Endpunkt zu konfigurieren, oder **Vollständige Einrichtung** um alles durchzugehen (TTS, Tools, Messaging-Gateway, Agent-Einstellungen).
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FChF6By1Dl44hVQl63kGW%2FScreenshot%202026-07-18%20at%205.34.39%E2%80%AFAM.png?alt=media&amp;token=371a287e-1264-47d2-af3e-fa3ed302e038" alt="" width="539"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

**2. Wähle den benutzerdefinierten OpenAI-kompatiblen Endpunkt** wenn Hermes dich nach einem Inferenz-Provider fragt.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FA5VVaVsL7GzZGq9Dn3Bt%2Fhermes_agent_setup_2.png?alt=media&amp;token=a234d29d-14f6-431f-be1f-9a4e14f5951d" alt="" width="563"><figcaption></figcaption></figure>

**3. Fülle die Eingaben aus** während Hermes sie nacheinander durchgeht:

| Eingabeaufforderung                              | Wert                                                                |
| ------------------------------------------------ | ------------------------------------------------------------------- |
| **API-Basis-URL**                                | `http://localhost:8888/v1` *(dein Unsloth-Port + `/v1`)*            |
| **API-Schlüssel**                                | Dein `sk-unsloth-…` Schlüssel                                       |
| **Erkanntes Modell: … Dieses Modell verwenden?** | `Y` *(Hermes erkennt das Modell automatisch über `GET /v1/models`)* |
| **Kontextlänge in Tokens**                       | *(für automatische Erkennung leer lassen)*                          |
| **Anzeigename**                                  | Beliebig, z. B. `unsloth-api`                                       |

Hermes überprüft den Endpunkt anhand von `/v1/models` und bestätigt das erkannte Modell, bevor es fortfährt.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FehQjrLJ0ztoSdNp94dfH%2Fhermes_agent_setup_3.png?alt=media&amp;token=641c6e6a-44c3-4013-8c08-32472b256283" alt=""><figcaption></figcaption></figure>

**4. Übernimm die Standardwerte für die übrigen Eingaben** (TTS, Tools, Messaging-Gateway, Agent-Einstellungen) kannst du später beliebig neu konfigurieren. Hermes schreibt alles in `~/.hermes/config.yaml` und `~/.hermes/.env`.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FWbj2YWKpXw9T2jR0QQjh%2Fhermes_agent_setup_5.png?alt=media&amp;token=59985534-69e3-46ec-8ab9-1db8829c1721" alt=""><figcaption></figcaption></figure>

**5. Starte Hermes:**

```bash
hermes
```

Das Startbanner zeigt den Namen deines Unsloth-Modells in der Statusleiste an (z. B. `unsloth/Qwen3.6-27B-GGUF`), und die Eingabeaufforderung ist bereit für deine Eingabe.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FU8UlRyw9n1SrENvZXSjD%2Fhermes_unsloth_run.png?alt=media&amp;token=6fd14920-a287-4aed-815e-33b7e4d09c68" alt=""><figcaption></figcaption></figure>

{% hint style="info" %}
Um später nur das Modell neu zu konfigurieren, führe aus `hermes setup model`. Um die Konfigurationsdatei direkt zu bearbeiten, `hermes config edit` öffnet `~/.hermes/config.yaml` in deinem `$EDITOR`.
{% endhint %}

### Optional: den Unsloth-Server anpassen

`unsloth run` startet den lokalen API-Server und lädt ein Modell, mit dem sich deine App verbinden kann. Du kannst auch anpassen, wie sich der Server beim Start verhält.

```bash
# Hermes bereitstellen (--disable-tools reicht die eigenen Tools des Agents durch)
unsloth run \
  --model unsloth/gemma-4-26B-A4B-it-GGUF \
  --disable-tools \
  --reasoning off \
  -p 8888
```

{% hint style="warning" %}
Verwende `--disable-tools` wenn du Hermes (oder einen anderen externen Agenten mit eigenen Tools) steuerst. Standardmäßig führt Unsloth Studio seine eigenen serverseitigen Tools aus, wodurch die Tool-Aufrufe des Agents abgefangen werden, sodass Hermes antwortet, aber seine Tools nie ausführt. `--disable-tools` schaltet auf Durchleitung um, sodass Hermes' eigene Tools verwendet werden.
{% endhint %}

Verwende `--reasoning off` um das Nachdenken auszuschalten, oder `--reasoning on` um es für Modelle mit Reasoning-Unterstützung einzuschalten.

```bash
# Die API im lokalen Netzwerk freigeben
unsloth run \
  --model unsloth/gemma-4-26B-A4B-it-GGUF \
  -H 0.0.0.0 \
  -p 8888
```

Dadurch startet der Server auf `0.0.0.0:8888`, sodass andere Geräte in deinem lokalen Netzwerk eine Verbindung herstellen können. `-p` ändert den Port, auf dem der Server läuft. Wenn du möchtest, dass sich Handys, Laptops oder andere Geräte in deinem Netzwerk mit dem API-Server verbinden, starte ihn mit `-H 0.0.0.0`.

Einige Apps können die Generierungseinstellungen für einzelne Anfragen weiterhin überschreiben. Für eine weitergehende Laufzeitkonfiguration siehe den Hauptabschnitt [API-Feinabstimmung](https://unsloth.ai/docs/basics/api#unsloth-run-command) Abschnitt.


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://unsloth.ai/docs/de/integrationen/hermes-agent.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.