# Wie man lokale KI-Modelle mit Hermes Agent ausführt

Dieser Leitfaden ermöglicht es dir, offene LLMs lokal auszuführen mit **Hermes Agent** über [**Unsloth**](https://github.com/unslothai/unsloth). Hermes Agent ist ein **Open-Source-** autonomer KI-Agent, der sich mit einem Modellendpunkt verbindet, Aufgaben ausführt und sich im Laufe der Zeit durch Speicher und erlernte Fähigkeiten verbessert.

Er funktioniert mit jedem **lokalen Modell** das über Unsloths **OpenAI-kompatible API**bereitgestellt wird, einschließlich: DeepSeek, Qwen, Gemma und mehr. Hermes fungiert als Agent-Client, während Unsloth Modelle über eine lokale API lädt und bereitstellt.

Nach der Einrichtung wird jede über Hermes gesendete Eingabeanfrage gegen dein lokales Modell statt gegen einen Remote-Anbieter ausgeführt.

<a href="https://sites.gitbook.com/preview/site_mXXTe/~/revisions/8qhhFNFFeOYycrfr36Ug/integrations/hermes-agent?theme=light#setup-hermes-agent" class="button primary" data-icon="caduceus">Hermes einrichten</a><a href="/pages/d063f905fd9c48e1a14e204b6afea83a23b390f3#integrate-hermes-agent-with-the-unsloth-studio-api" class="button primary">🦥 Offene Modelle mit Unsloth verwenden</a>

{% hint style="info" %}
&#x20;In diesem Tutorial installierst du Hermes und konfigurierst es so, dass es `unsloth/Qwen3.6-27B-GGUF` verwendet, bereitgestellt von Unsloth. Bevorzugst du ein anderes Modell? Ersetze es durch jedes andere Modell, indem du es in Unsloth lädst und die Konfiguration aktualisierst.
{% endhint %}

### <i class="fa-caduceus">:caduceus:</i> Hermes Agent einrichten

**Voraussetzungen.** Das Installationsprogramm prüft diese und bricht ab, falls etwas fehlt. Installiere zuerst alles, was noch nicht auf deinem System vorhanden ist:

* **Betriebssystem** Linux, macOS oder Windows über WSL.
* **uv** Python-Paketmanager. Installiere mit `curl -LsSf https://astral.sh/uv/install.sh | sh`.
* **Python 3.11+** der Installer kann dies bereitstellen über `uv` falls es fehlt.
* **Git** um das Hermes-Repository zu klonen.
* **Node.js** 18+ für Hermesis Browser-Tools.
* **ripgrep** (`rg`) für die schnelle Dateisuche.
* **ffmpeg** für TTS-/Sprachnachrichten.

#### **1. Führe den Installer aus** in einem Terminal:

```bash
curl -fsSL https://raw.githubusercontent.com/NousResearch/hermes-agent/main/scripts/install.sh | bash
```

Der Installer wird:

1. Dein Betriebssystem erkennen.
2. Jede der oben aufgeführten Voraussetzungen überprüfen und für jede ein ✓ oder ✗ ausgeben.
3. Hermes klonen nach `~/.hermes/hermes-agent/` (über SSH, wenn ein GitHub-SSH-Schlüssel konfiguriert ist, andernfalls HTTPS).
4. Eine Python-3.11-Virtualenv erstellen unter `~/.hermes/hermes-agent/venv/`.
5. Hermes und alle Python-Abhängigkeiten installieren.
6. Node.js-Abhängigkeiten für die Browser-Tools installieren.
7. Die Chromium-Engine von Playwright installieren. **Dieser Schritt fordert `sudo`** an, damit Playwright gemeinsam genutzte Bibliotheken installieren kann. Hermes selbst benötigt kein Root.

<figure><img src="/files/f3a3db9c7819b02ffb5bece85a5d1ecafa59a25d" alt=""><figcaption></figcaption></figure>

#### **2. Lade deine Shell neu** damit der `hermes` Befehl in deinem `PATH`:

{% code title="bash" %}

```bash
source ~/.bashrc
```

{% endcode %}

{% code title="zsh" %}

```bash
source ~/.zshrc
```

{% endcode %}

#### **3. Überprüfe die Installation:**

```bash
hermes --version
```

Wenn der Befehl aufgelöst wird, ist Hermes installiert. Alles befindet sich unter `~/.hermes/`:

| Pfad                                    | Was es ist                                               |
| --------------------------------------- | -------------------------------------------------------- |
| `~/.hermes/config.yaml`                 | Haupteinstellungen (Modell, Anbieter, Tools, TTS, …)     |
| `~/.hermes/.env`                        | API-Schlüssel und andere Geheimnisse                     |
| `~/.hermes/hermes-agent/`               | Die Hermes-Quellen + Virtualenv                          |
| `~/.hermes/cron/`, `sessions/`, `logs/` | Laufzeitdaten                                            |
| `~/.hermes/skills/`                     | Installierte Fähigkeiten (synchronisiert vom Skills Hub) |

{% hint style="info" %}
Vollständige Installationsreferenz: [hermes-agent.nousresearch.com/docs/getting-started/installation](https://hermes-agent.nousresearch.com/docs/getting-started/installation). Wenn der Installer eine fehlende Voraussetzung meldet, installiere sie und führe den Einzeiler erneut aus. Der Installer ist idempotent.
{% endhint %}

### Unsloth installieren

### ⚡ Schnellstart

Nach der Installation von OpenCode müssen wir Unsloth Studio installieren, damit OpenCode lokale Modelle bereitstellen und Inferenz dafür ausführen kann.

1. **Unsloth Studio installieren oder aktualisieren.** Frühere Versionen stellen die externe API nicht bereit. Siehe Installation.
2. **Starte Unsloth.** Beachte, dass der Port, auf dem es startet, normalerweise `8000` oder `8888`ist. Du siehst ihn in der Terminalausgabe und in der Browser-URL (`http://localhost:PORT`).
3. **Ein Modell laden.** Klicke auf **New Chat**, wähle oder suche ein Modell (GGUF) aus und warte, bis es vollständig geladen ist.
4. **Einen API-Schlüssel erstellen.** Klicke in Unsloth auf dein **Unsloth** Avatar unten links → **Einstellungen** → **API** → gib einen Schlüsselnamen ein → **Erstellen**. Kopiere den `sk-unsloth-…` Wert, der erscheint. Unsloth zeigt ihn nur einmal an.
5. **Richte deinen Client auf Unsloth aus.** Verwende `http://localhost:PORT` als Basis-URL und deinen `sk-unsloth-…` Schlüssel für die Authentifizierung. Springe unten zur Anleitung für dein Tool.

### 🔑 Einen API-Schlüssel erstellen

1. Öffne die Seitenleiste und klicke unten links auf deinen **Unsloth** Avatar.
2. Gehe zu **Einstellungen** → **API**.
3. Gib einen aussagekräftigen Namen ein (z. B. `claude-code-macbook`).
4. *(Optional)* Lege ein Ablaufdatum fest.
5. Klicke auf **Erstellen**.
6. **Kopiere den Schlüssel sofort.** Unsloth speichert nur einen Hash, und du kannst ihn später nicht mehr anzeigen.

<div data-with-frame="true"><figure><img src="/files/67a8c8b8df05a09f74fb22b504d79bc62f7b6236" alt="" width="375"><figcaption></figcaption></figure></div>

Alle Schlüssel beginnen mit dem `sk-unsloth-` Präfix. Du kannst einen Schlüssel jederzeit auf derselben Seite widerrufen. Anfragen mit einem widerrufenen Schlüssel schlagen mit `401 Unauthorized`.

{% hint style="warning" %}
Behandle deinen API-Schlüssel wie ein Passwort. Jeder, der den Schlüssel und Netzwerkzugriff auf deine Unsloth-Instanz hat, kann Anfragen an dein geladenes Modell senden.
{% endhint %}

### 🦥 Hermes mit der Unsloth-API integrieren

Hermes sendet jeden Chat-Zug an einen konfigurierten Inferenzanbieter und verbindet sich mit **OpenAI-kompatiblen** Endpunkten. Konfiguriere den Anbieter während der Installation oder später im Einrichtungsassistenten.

**1. Öffne den Einrichtungsassistenten:**

```bash
hermes setup
```

Wähle **Modell & Anbieter** aus dem Menü „Was möchtest du tun?“, um nur den Inferenzendpunkt zu konfigurieren, oder **Vollständige Einrichtung** um alles durchzugehen (TTS, Tools, Messaging-Gateway, Agenteneinstellungen).

<figure><img src="/files/afa311acef2e6a86ad55fa9a70f51d6fd34f6638" alt="" width="563"><figcaption></figcaption></figure>

**2. Wähle den benutzerdefinierten OpenAI-kompatiblen Endpunkt** wenn Hermes dich nach einem Inferenzanbieter fragt.

<figure><img src="/files/27752896ebf149358fda6b303cda373d0f34e648" alt="" width="563"><figcaption></figcaption></figure>

**3. Fülle die Eingabeaufforderungen aus** während Hermes sie nacheinander durchgeht:

| Eingabeaufforderung                              | Wert                                                                |
| ------------------------------------------------ | ------------------------------------------------------------------- |
| **API-Basis-URL**                                | `http://localhost:8888/v1` *(dein Unsloth-Port + `/v1`)*            |
| **API-Schlüssel**                                | Dein `sk-unsloth-…` Schlüssel                                       |
| **Erkanntes Modell: … Dieses Modell verwenden?** | `J` *(Hermes erkennt das Modell automatisch über `GET /v1/models`)* |
| **Kontextlänge in Tokens**                       | *(für automatische Erkennung leer lassen)*                          |
| **Anzeigename**                                  | Alles, was du möchtest, z. B. `unsloth-api`                         |

Hermes überprüft den Endpunkt gegen `/v1/models` und bestätigt das erkannte Modell, bevor es fortfährt.

<figure><img src="/files/232bf24f030406cb5c5c2e8adbe4b431fda9d7b5" alt=""><figcaption></figcaption></figure>

**4. Akzeptiere die Standardwerte für die übrigen Eingabeaufforderungen** (TTS, Tools, Messaging-Gateway, Agenteneinstellungen); du kannst sie später jederzeit neu konfigurieren. Hermes schreibt alles in `~/.hermes/config.yaml` und `~/.hermes/.env`.

<figure><img src="/files/d2da50b981641dbabea1dc2a35b8856b467351eb" alt=""><figcaption></figcaption></figure>

**5. Starte Hermes:**

```bash
hermes
```

Das Startbanner zeigt den Namen deines Unsloth-Modells in der Statusleiste an (z. B. `unsloth/Qwen3.6-27B-GGUF`), und die Eingabeaufforderung ist bereit für Eingaben.

<figure><img src="/files/792db6bf9a5c120d93e2c536e2851485bf42d32b" alt=""><figcaption></figcaption></figure>

{% hint style="info" %}
Um später nur das Modell neu zu konfigurieren, führe `hermes setup model`aus. Um die Konfigurationsdatei direkt zu bearbeiten, `hermes config edit` öffnet `~/.hermes/config.yaml` in deinem `$EDITOR`.
{% endhint %}


---

# Agent Instructions: Querying This Documentation

If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://unsloth.ai/docs/de/integrationen/hermes-agent.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.