> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/integrationen/hermes-agent.md). # Wie man lokale KI-Modelle mit Hermes Agent ausführt Diese Anleitung ermöglicht es dir, lokale Open LLMs mit **Hermes Agent** über [**Unsloth**](https://github.com/unslothai/unsloth). Hermes Agent ist ein **Open-Source-** autonomer KI-Agent, der sich mit einem Modell-Endpunkt verbindet, Aufgaben ausführt und sich im Laufe der Zeit durch Gedächtnis und erlernte Fähigkeiten verbessert. Es funktioniert mit jedem **lokalen Modell** bereitgestellt über Unsloths **OpenAI-kompatible API**, einschließlich: DeepSeek, Qwen, Gemma und mehr. Hermes fungiert als Agent-Client, während Unsloth Modelle über eine lokale API lädt und bereitstellt. Nach der Einrichtung wird jede über Hermes gesendete Eingabe gegen dein lokales Modell statt gegen einen entfernten Anbieter ausgeführt. Hermes einrichten🦥 Open Models mit Unsloth verwenden {% hint style="info" %} In diesem Tutorial installierst du Hermes und konfigurierst es so, dass es `unsloth/Qwen3.6-27B-GGUF` von Unsloth bereitgestellt wird. Du bevorzugst ein anderes Modell? Ersetze es durch ein beliebiges anderes Modell, indem du es in Unsloth lädst und die Konfiguration aktualisierst. {% endhint %} ### :caduceus: Hermes Agent einrichten **Voraussetzungen.** Der Installer prüft diese und bricht ab, wenn etwas fehlt. Installiere zuerst alles, was noch nicht auf deinem Rechner vorhanden ist: * **OS** Linux, macOS oder Windows via WSL. * **uv** Python-Paketmanager. Installation mit `curl -LsSf https://astral.sh/uv/install.sh | sh`. * **Python 3.11+** der Installer kann dies bereitstellen über `uv` wenn es fehlt. * **Git** um das Hermes-Repo zu klonen. * **Node.js** 18+ für Hermes' Browser-Tools. * **ripgrep** (`rg`) für die schnelle Dateisuche. * **ffmpeg** für TTS-/Sprachnachrichten. #### **1. Führe den Installer aus** in einem Terminal: ```bash curl -fsSL https://raw.githubusercontent.com/NousResearch/hermes-agent/main/scripts/install.sh | bash ``` Der Installer wird: 1. Dein Betriebssystem erkennen. 2. Jede der oben aufgeführten Voraussetzungen überprüfen und für jede ein ✓ oder ✗ ausgeben. 3. Hermes klonen nach `~/.hermes/hermes-agent/` (über SSH, wenn ein GitHub-SSH-Schlüssel konfiguriert ist, andernfalls über HTTPS). 4. Eine Python-3.11-Virtualenv erstellen unter `~/.hermes/hermes-agent/venv/`. 5. Hermes und alle Python-Abhängigkeiten installieren. 6. Node.js-Abhängigkeiten für die Browser-Tools installieren. 7. Playwrights Chromium-Engine installieren. **Dieser Schritt fordert `sudo`** an, damit Playwright gemeinsame Bibliotheken installieren kann. Hermes selbst benötigt kein Root.
#### **2. Lade deine Shell neu** damit der `hermes` Befehl in deinem `PATH`: {% code title="bash" %} ```bash source ~/.bashrc ``` {% endcode %} {% code title="zsh" %} ```bash source ~/.zshrc ``` {% endcode %} #### **3. Installation verifizieren:** ```bash hermes --version ``` Wenn der Befehl aufgelöst wird, ist Hermes installiert. Alles befindet sich unter `~/.hermes/`: | Pfad | Was es ist | | --------------------------------------- | ------------------------------------------------------- | | `~/.hermes/config.yaml` | Haupteinstellungen (Modell, Anbieter, Tools, TTS, …) | | `~/.hermes/.env` | API-Schlüssel und andere Geheimnisse | | `~/.hermes/hermes-agent/` | Der Hermes-Quellcode + virtuelle Umgebung | | `~/.hermes/cron/`, `sessions/`, `logs/` | Laufzeitdaten | | `~/.hermes/skills/` | Installierte Skills (synchronisiert aus dem Skills Hub) | {% hint style="info" %} Vollständige Installationsreferenz: [hermes-agent.nousresearch.com/docs/getting-started/installation](https://hermes-agent.nousresearch.com/docs/getting-started/installation). Wenn der Installer eine fehlende Voraussetzung meldet, installiere sie und führe den One-Liner erneut aus. Der Installer ist idempotent. {% endhint %} ### Unsloth installieren ### ⚡ Schnellstart Nach der Installation von Hermes müssen wir Unsloth Studio installieren, damit Hermes lokale Modelle bereitstellen und Inferenz ausführen kann. 1. **Unsloth Studio installieren oder aktualisieren.** Frühere Versionen stellen die externe API nicht bereit. Siehe Installation. 2. **Starte Unsloth.** Merke dir den Port, auf dem es startet; das ist normalerweise `8000` oder `8888`. Du siehst ihn in der Terminalausgabe und in der Browser-URL (`http://localhost:PORT`). 3. **Lade ein Modell.** Klicke auf **Neuer Chat**, wähle oder suche ein Modell (GGUF) aus und warte, bis es vollständig geladen ist. 4. **Einen API-Schlüssel erstellen.** Klicke in Unsloth auf deinen **Unsloth** Avatar unten links → **Einstellungen** → **API** → gib einen Schlüsselnamen ein → **Erstellen**. Kopiere den `sk-unsloth-…` Wert, der angezeigt wird. Unsloth zeigt ihn nur einmal an. 5. **Richte deinen Client auf Unsloth aus.** Verwende `http://localhost:PORT` als Basis-URL und deinen `sk-unsloth-…` Schlüssel zur Authentifizierung. Springe unten zum Rezept für dein Tool. ### 🔑 Einen API-Schlüssel erstellen 1. Öffne die Seitenleiste, klicke auf deinen **Unsloth** Avatar unten links. 2. Gehe zu **Einstellungen** → **API**. 3. Gib einen freundlichen Namen ein (z. B. `claude-code-macbook`). 4. *(Optional)* Lege ein Ablaufdatum fest. 5. Klicke auf **Erstellen**. 6. **Kopiere den Schlüssel sofort.** Unsloth speichert nur einen Hash und du kannst ihn nicht erneut anzeigen.
Alle Schlüssel beginnen mit dem `sk-unsloth-` Präfix. Du kannst einen Schlüssel jederzeit auf derselben Seite widerrufen. Anfragen mit einem widerrufenen Schlüssel schlagen mit `401 Nicht autorisiert`. {% hint style="warning" %} Behandle deinen API-Schlüssel wie ein Passwort. Jeder mit dem Schlüssel und Netzwerkzugriff auf deine Unsloth-Instanz kann Anfragen an dein geladenes Modell senden. {% endhint %} ### 🦥 Hermes mit der Unsloth-API integrieren Hermes sendet jede Chat-Runde an einen konfigurierten Inferenzanbieter und verbindet sich mit **OpenAI-kompatiblen** Endpunkten. Konfiguriere den Anbieter während der Installation oder später im Einrichtungsassistenten. **1. Öffne den Einrichtungsassistenten:** ```bash hermes setup ``` Wähle **Modell & Anbieter** aus dem Menü „What would you like to do?“ , um nur den Inferenz-Endpunkt zu konfigurieren, oder **Vollständige Einrichtung** um alles durchzugehen (TTS, Tools, Messaging-Gateway, Agent-Einstellungen).
**2. Wähle den benutzerdefinierten OpenAI-kompatiblen Endpunkt** wenn Hermes dich nach einem Inferenzanbieter fragt.
**3. Fülle die Eingaben aus** während Hermes sie durchgeht: | Eingabeaufforderung | Wert | | ------------------------------------------------ | ------------------------------------------------------------------- | | **API-Basis-URL** | `http://localhost:8888/v1` *(dein Unsloth-Port + `/v1`)* | | **API-Schlüssel** | Dein `sk-unsloth-…` Schlüssel | | **Erkanntes Modell: … Dieses Modell verwenden?** | `J` *(Hermes erkennt das Modell automatisch über `GET /v1/models`)* | | **Kontextlänge in Tokens** | *(für automatische Erkennung leer lassen)* | | **Anzeigename** | Beliebig, z. B. `unsloth-api` | Hermes prüft den Endpunkt anhand von `/v1/models` und bestätigt das erkannte Modell, bevor es fortfährt.
**4. Übernimm die Standardwerte für die restlichen Eingaben** (TTS, Tools, Messaging-Gateway, Agent-Einstellungen) kannst du später jederzeit neu konfigurieren. Hermes schreibt alles in `~/.hermes/config.yaml` und `~/.hermes/.env`.
**5. Starte Hermes:** ```bash hermes ``` Das Startbanner zeigt deinen Unsloth-Modellnamen in der Statusleiste an (z. B. `unsloth/Qwen3.6-27B-GGUF`), und die Eingabeaufforderung ist bereit zur Eingabe.
{% hint style="info" %} Um später nur das Modell neu zu konfigurieren, führe `hermes setup model`. Um die Konfigurationsdatei direkt zu bearbeiten, `hermes config edit` öffnet `~/.hermes/config.yaml` in deinem `$EDITOR`. {% endhint %} ### Optional: den Unsloth-Server anpassen `unsloth run` startet den lokalen API-Server und lädt ein Modell, mit dem sich deine App verbinden kann. Du kannst auch anpassen, wie sich der Server beim Start verhält. ```bash # Hermes bereitstellen (--disable-tools reicht die eigenen Werkzeuge des Agenten durch) unsloth run \ --model unsloth/gemma-4-26B-A4B-it-GGUF \ --disable-tools \ --reasoning off \ -p 8888 ``` {% hint style="warning" %} Verwende `--disable-tools` beim Steuern von Hermes (oder einem anderen externen Agenten mit eigenen Werkzeugen). Standardmäßig führt Unsloth Studio seine eigenen serverseitigen Werkzeuge aus, wodurch die Werkzeugaufrufe des Agenten geschluckt werden; Hermes antwortet dann, führt aber seine Werkzeuge nie aus. `--disable-tools` schaltet auf Durchleitung um, sodass Hermes' eigene Werkzeuge verwendet werden. {% endhint %} Verwende `--reasoning off` um das Denken auszuschalten, oder `--reasoning on` um es für Modelle einzuschalten, die Reasoning unterstützen. ```bash # API im lokalen Netzwerk freigeben unsloth run \ --model unsloth/gemma-4-26B-A4B-it-GGUF \ -H 0.0.0.0 \ -p 8888 ``` Dadurch startet der Server auf `0.0.0.0:8888`, sodass andere Geräte in deinem lokalen Netzwerk verbinden können. `-p` ändert den Port, auf dem der Server läuft. Wenn du möchtest, dass sich Telefone, Laptops oder andere Geräte in deinem Netzwerk mit dem API-Server verbinden, starte ihn mit `-H 0.0.0.0`. Einige Apps können die Generierungseinstellungen für einzelne Anfragen dennoch überschreiben. Für weitergehende Laufzeitkonfiguration siehe die Haupt- [API-Anpassung](https://unsloth.ai/docs/basics/api#unsloth-run-command) . --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://unsloth.ai/docs/de/integrationen/hermes-agent.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.