> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/integrationen/hermes-agent.md).

# Wie man lokale KI-Modelle mit Hermes Agent ausführt

Dieser Leitfaden ermöglicht es Ihnen, offene LLMs lokal auszuführen mit **Hermes Agent** über [**Unsloth**](https://github.com/unslothai/unsloth). Hermes Agent von Nous Research ist ein **Open-Source** autonomer KI-Agent, der sich mit einem Modell-Endpunkt verbindet, Aufgaben ausführt und sich im Laufe der Zeit durch Speicher und erlernte Fähigkeiten verbessert.

{% columns %}
{% column width="58.333333333333336%" %}
Hermes funktioniert mit jedem **lokalen Modell** das über Unsloths **OpenAI-kompatible API**bereitgestellt wird, einschließlich: DeepSeek, Qwen, Gemma und mehr. Hermes fungiert als Agent-Client, während Unsloth Modelle lädt und bereitstellt über die [lokale API](/docs/de/grundlagen/api.md) vollständig offline.

Nach dem Setup wird jeder Prompt, der über Hermes gesendet wird, mit Ihrem lokalen Modell auf Ihrem Gerät ausgeführt.
{% endcolumn %}

{% column width="41.666666666666664%" %}

<figure><img src="/files/02aed238a541b26d292ad49b68358c6fd008e3ed" alt=""><figcaption><p>Qwen3.5 läuft lokal in Hermes über Unsloth.</p></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

<a href="https://unsloth.ai/docs/integrations/hermes-agent#setup-hermes-agent" class="button primary" data-icon="caduceus">Hermes einrichten</a><a href="https://unsloth.ai/docs/integrations/hermes-agent#integrate-hermes-with-unsloth-api" class="button primary">🦥 Verbinden Sie Ihr lokales Modell</a>

{% hint style="info" %}
In diesem Tutorial installieren Sie Hermes und konfigurieren es so, dass es `unsloth/Qwen3.6-27B-GGUF` von Unsloth bereitgestellt wird. Bevorzugen Sie ein anderes Modell? Tauschen Sie es gegen ein beliebiges anderes Modell aus, indem Sie es in Unsloth laden und die Konfiguration aktualisieren.
{% endhint %}

### <i class="fa-caduceus">:caduceus:</i> Hermes Agent einrichten

**Voraussetzungen:**

Der [Hermes](https://github.com/NousResearch/hermes-agent/blob/main/website/docs/getting-started/installation.md) Kommandozeilen-Installer unterstützt Linux, macOS und WSL2. Stellen Sie sicher, dass **Git** installiert ist; unter Linux installieren Sie außerdem **curl** und **xz-utils**. Der Installer richtet automatisch `uv`ein, Python 3.11, Node.js 22, `ripgrep`, und `ffmpeg`.

#### 1. Führen Sie den Installer aus

```bash
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
```

Der Installer:

* Erkennt Ihre Plattform und prüft Abhängigkeiten.
* Klonen Sie Hermes nach `~/.hermes/hermes-agent/`.
* Erstellt eine Python-virtuelle Umgebung und installiert die Python-Abhängigkeiten.
* Installiert die Browser-Tool-Abhängigkeiten und die Chromium-Engine von Playwright.
* Fügt den `hermes` Befehl hinzu und startet den Einrichtungsassistenten.

{% columns %}
{% column %}
Playwright kann möglicherweise `sudo` anfordern, die gemeinsamen Systembibliotheken von Chromiums zu installieren. Hermes selbst benötigt keinen Root-Zugriff.
{% endcolumn %}

{% column %}

<figure><img src="/files/932af71741779f2f9d2fc782e77bb6d4a614415f" alt="" width="375"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

#### **2. Laden Sie Ihre Shell neu** damit der `hermes` Befehl in Ihrem `PATH`:

{% code title="bash" %}

```bash
source ~/.bashrc
```

{% endcode %}

{% code title="zsh" %}

```bash
source ~/.zshrc
```

{% endcode %}

#### **3. Überprüfen Sie die Installation:**

```bash
hermes --version
```

Wenn der Befehl gefunden wird, ist Hermes installiert. Alles befindet sich unter `~/.hermes/`:

| Path                                    | Was es ist                                           |
| --------------------------------------- | ---------------------------------------------------- |
| `~/.hermes/config.yaml`                 | Haupteinstellungen (Modell, Anbieter, Tools, TTS, …) |
| `~/.hermes/.env`                        | API-Schlüssel und andere Geheimnisse                 |
| `~/.hermes/hermes-agent/`               | Der Hermes-Quellcode + virtuelle Umgebung            |
| `~/.hermes/cron/`, `sessions/`, `logs/` | Laufzeitdaten                                        |
| `~/.hermes/skills/`                     | Installierte Skills (synchronisiert vom Skills Hub)  |

{% hint style="info" %}
Vollständige Installationsreferenz: [hermes-agent.nousresearch.com/docs/getting-started/installation](https://hermes-agent.nousresearch.com/docs/getting-started/installation). Wenn der Installer eine fehlende Voraussetzung meldet, installieren Sie sie und führen Sie den Einzeiler erneut aus. Der Installer ist idempotent.
{% endhint %}

### ⚡ Schnellstart

Nachdem Hermes installiert ist, müssen wir Unsloth Studio installieren, damit Hermes lokale Modelle bereitstellen und die Inferenz dafür ausführen kann.

1. **Installiere oder aktualisiere Unsloth Studio.** Frühere Versionen stellen die externe API nicht bereit. Siehe Installation.
2. **Starten Sie Unsloth.** Beachten Sie, dass der Port, auf dem es startet, normalerweise `8000` oder `8888`. Sie sehen ihn in der Terminalausgabe und in der Browser-URL (`http://localhost:PORT`).
3. **Lade ein Modell.** Klicken Sie auf **Neuer Chat**, wähle oder suche ein Modell (GGUF) und warte, bis das Laden abgeschlossen ist.
4. **Verbinden Sie Hermes.** Führen Sie aus `unsloth start hermes`. Es erstellt einen API-Schlüssel, schreibt die Konfiguration und startet Hermes mit Ihrem geladenen Modell.

### ⚡ Führen Sie Hermes Agent mit `unsloth start`

Um Hermes direkt mit einem Modell zu starten, führen Sie aus:

```bash
unsloth start hermes \
  --model unsloth/gemma-4-E2B-it-GGUF:UD-Q4_K_XL \\
  --context-length 32768
```

Wenn ein Modell in Unsloth Studio geladen ist, führen Sie aus:

```bash
unsloth start hermes
```

<figure><img src="/files/e3fbea10babf14e205e8d37e09fa790df2d7f87c" alt="Hermes Agent connected to a local model through Unsloth Studio"><figcaption><p>Hermes Agent läuft über seinen Unsloth-Studio-Anbieter.</p></figcaption></figure>

Unsloth startet Hermes aus einem separaten verwalteten Home-Verzeichnis, wobei der Unsloth-Anbieter, das Modell und die Kontexteinstellungen bereits konfiguriert sind. Ihre bestehende Hermes-Einrichtung bleibt unverändert.

Dieses verwaltete Home-Verzeichnis ist standardmäßig temporär. Um Ihre Sitzungen und Ihren Status beizubehalten, fügen Sie `--persist` bei Ihrem ersten Start hinzu:

```bash
unsloth start hermes --persist
```

Um später zu Ihrer letzten Sitzung zurückzukehren, führen Sie aus:

```bash
unsloth start hermes --persist --continue
```

Um eine bestimmte Sitzung erneut zu öffnen, verwenden Sie `--resume <sitzungs-id-oder-titel>` .

Siehe die vollständige [unsloth start](/docs/de/integrationen/unsloth-start.md) Referenz für Modellauswahl, entfernte Verbindungen und erweiterte Optionen.

Der untenstehende Einrichtungsassistent bleibt verfügbar, wenn Sie den Hermes-Anbieter lieber selbst verwalten möchten.

### 🔑 Einen API-Schlüssel erstellen

1. Öffne die Seitenleiste und klicke unten links auf dein **Unsloth** Profilbild.
2. Gehe zu **Einstellungen** → **API**.
3. Gib einen aussagekräftigen Namen ein (z. B. `hermes-agent-macbook`).
4. *(Optional)* Legen Sie ein Ablaufdatum fest.
5. Klicken Sie auf **Erstellen**.
6. **Kopieren Sie den Schlüssel sofort.** Unsloth speichert nur einen Hash und du kannst ihn nicht erneut ansehen.

<figure><img src="/files/79728a63bf4bfe0057e70c6f0dd283ee1d2806b8" alt="" width="375"><figcaption></figcaption></figure>

Alle Schlüssel beginnen mit dem `sk-unsloth-` Präfix. Widerrufe einen Schlüssel jederzeit auf derselben Seite. Anfragen mit einem widerrufenen Schlüssel schlagen mit `401 Unauthorized`.

### 🦥 Hermes mit der Unsloth-API integrieren

Hermes sendet jeden Chat-Turn an einen konfigurierten Inferenzanbieter und verbindet sich mit **OpenAI-kompatibel** Endpunkten. Konfigurieren Sie den Anbieter während der Installation oder später im Einrichtungsassistenten.

**1. Öffnen Sie den Einrichtungsassistenten:**

{% columns %}
{% column %}

```bash
hermes setup
```

Wählen Sie **Modell & Anbieter** aus dem Menü „Was möchten Sie tun?“ aus, um nur den Inferenz-Endpunkt zu konfigurieren, oder **Vollständiges Setup** um alles durchzugehen (TTS, Tools, Messaging-Gateway, Agent-Einstellungen).
{% endcolumn %}

{% column %}

<figure><img src="/files/e7a7da86f26a471938fd8e4ee222c249662194b4" alt="" width="539"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

**2. Wählen Sie den benutzerdefinierten OpenAI-kompatiblen Endpunkt** wenn Hermes Sie nach einem Inferenzanbieter fragt.

<figure><img src="/files/27752896ebf149358fda6b303cda373d0f34e648" alt="" width="563"><figcaption></figcaption></figure>

**3. Füllen Sie die Eingabeaufforderungen aus** während Hermes sie durchgeht:

| Eingabeaufforderung                              | Wert                                                                |
| ------------------------------------------------ | ------------------------------------------------------------------- |
| **API-Basis-URL**                                | `http://localhost:8888/v1` *(Ihr Unsloth-Port + `/v1`)*             |
| **API-Schlüssel**                                | Deine `sk-unsloth-…` Schlüssel                                      |
| **Erkanntes Modell: … Dieses Modell verwenden?** | `Y` *(Hermes erkennt das Modell automatisch über `GET /v1/models`)* |
| **Kontextlänge in Tokens**                       | *(für automatische Erkennung leer lassen)*                          |
| **Anzeigename**                                  | Alles, was Sie möchten, z. B. `unsloth-api`                         |

Hermes überprüft den Endpunkt gegen `/v1/models` und bestätigt das erkannte Modell, bevor es fortfährt.

<figure><img src="/files/232bf24f030406cb5c5c2e8adbe4b431fda9d7b5" alt=""><figcaption></figcaption></figure>

**4. Akzeptieren Sie die Standardwerte für die übrigen Eingabeaufforderungen** (TTS, Tools, Messaging-Gateway, Agent-Einstellungen) Sie können jede davon später neu konfigurieren. Hermes schreibt alles nach `~/.hermes/config.yaml` und `~/.hermes/.env`.

<figure><img src="/files/d2da50b981641dbabea1dc2a35b8856b467351eb" alt=""><figcaption></figcaption></figure>

**5. Starten Sie Hermes:**

```bash
hermes
```

Das Startbanner zeigt Ihren Unsloth-Modellnamen in der Statusleiste an (z. B. `unsloth/Qwen3.6-27B-GGUF`), und die Eingabeaufforderung ist bereit für Eingaben.

<figure><img src="/files/792db6bf9a5c120d93e2c536e2851485bf42d32b" alt=""><figcaption></figcaption></figure>

{% hint style="info" %}
Um später nur das Modell neu zu konfigurieren, führen Sie `hermes setup model`. Um die Konfigurationsdatei direkt zu bearbeiten, `hermes config edit` öffnet `~/.hermes/config.yaml` in Ihrem `$EDITOR`.
{% endhint %}

### Optional: Den Unsloth-Server anpassen

`unsloth run` startet den lokalen API-Server und lädt ein Modell, damit sich Ihre App verbinden kann. Sie können außerdem das Verhalten des Servers beim Start anpassen.

```bash
# Hermes bereitstellen (--disable-tools leitet die eigenen Tools des Agenten durch)
unsloth run \\
  --model unsloth/gemma-4-26B-A4B-it-GGUF \\
  --disable-tools \\
  --reasoning off \\
  -p 8888
```

{% hint style="warning" %}
Verwende `--disable-tools` beim Steuern von Hermes (oder einem beliebigen externen Agenten mit eigenen Tools). Standardmäßig führt Unsloth Studio seine eigenen serverseitigen Tools aus, die die Tool-Aufrufe des Agenten schlucken, sodass Hermes antwortet, aber seine Tools nie ausführt. `--disable-tools` wechselt zu Durchleitung, sodass Hermes' eigene Tools verwendet werden.
{% endhint %}

Verwende `--reasoning off` um das Denken auszuschalten, oder `--reasoning on` um es für Modelle, die Schlussfolgern unterstützen, einzuschalten.

```bash
# Die API in Ihrem lokalen Netzwerk bereitstellen
unsloth run \\
  --model unsloth/gemma-4-26B-A4B-it-GGUF \\
  -H 0.0.0.0 \\
  -p 8888
```

Dadurch startet der Server auf `0.0.0.0:8888`, sodass andere Geräte in Ihrem lokalen Netzwerk eine Verbindung herstellen können. `-p` ändert den Port, auf dem der Server läuft. Wenn Sie möchten, dass Telefone, Laptops oder andere Geräte in Ihrem Netzwerk eine Verbindung zum API-Server herstellen, starten Sie ihn mit `-H 0.0.0.0`.

Einige Apps überschreiben möglicherweise dennoch die Generierungseinstellungen für einzelne Anfragen. Für eine weitergehende Laufzeitkonfiguration siehe das Haupt- [API-Optimierung](https://unsloth.ai/docs/basics/api#unsloth-run-command) .


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://unsloth.ai/docs/de/integrationen/hermes-agent.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.