Introducing Unsloth Studio: a new web UI for local AI
🦥
Ctrlk
RedditDiscordGitHub
For the complete documentation index, see llms.txt. This page is also available as Markdown.

Wie man lokale KI-Modelle mit Hermes Agent ausführt

Leitfaden zur lokalen Verwendung offener LLMs mit Hermes Agent.

Diese Anleitung ermöglicht es Ihnen, offene LLMs lokal mit Hermes Agent über Unsloth. Hermes Agent ist ein Open-Source autonomer KI-Agent, der sich mit einem Modell-Endpunkt verbindet, Aufgaben ausführt und sich im Laufe der Zeit durch Speicher und erlernte Fähigkeiten verbessert.

Es funktioniert mit jedem lokalen Modell das über Unsloths OpenAI-kompatible API, einschließlich: DeepSeek, Qwen, Gemma und mehr. Hermes fungiert als Agent-Client, während Unsloth Modelle über eine lokale API lädt und bereitstellt.

Nach der Einrichtung wird jede über Hermes gesendete Eingabeaufforderung gegen Ihr lokales Modell statt gegen einen entfernten Anbieter ausgeführt.

Hermes einrichten🦥 Verwenden Sie offene Modelle mit Unsloth

In diesem Tutorial installieren Sie Hermes und konfigurieren es für die Verwendung von unsloth/Qwen3.6-27B-GGUF das von Unsloth bereitgestellt wird. Bevorzugen Sie ein anderes Modell? Tauschen Sie es gegen jedes andere Modell aus, indem Sie es in Unsloth laden und die Konfiguration aktualisieren.

Hermes Agent einrichten

Voraussetzungen. Das Installationsprogramm prüft diese und bricht ab, wenn etwas fehlt. Installieren Sie zuerst alles, was noch nicht auf Ihrem Rechner vorhanden ist:

  • Betriebssystem Linux, macOS oder Windows über WSL.

  • uv Python-Paketmanager. Installieren mit curl -LsSf https://astral.sh/uv/install.sh | sh.

  • Python 3.11+ das Installationsprogramm kann dies bereitstellen über uv wenn es fehlt.

  • Git um das Hermes-Repository zu klonen.

  • Node.js 18+ für die Browser-Tools von Hermes.

  • ripgrep (rg) für schnelle Dateisuche.

  • ffmpeg für TTS-/Sprachnachrichten.

1. Führen Sie das Installationsprogramm aus in einem Terminal aus:

curl -fsSL https://raw.githubusercontent.com/NousResearch/hermes-agent/main/scripts/install.sh | bash

Das Installationsprogramm wird:

  1. Ihr Betriebssystem erkennen.

  2. Jede der oben aufgeführten Voraussetzungen überprüfen und für jede ein ✓ oder ✗ ausgeben.

  3. Hermes klonen in ~/.hermes/hermes-agent/ (über SSH, wenn ein GitHub-SSH-Schlüssel konfiguriert ist, andernfalls HTTPS).

  4. Erstellen Sie eine Python-3.11-virtuelle Umgebung unter ~/.hermes/hermes-agent/venv/.

  5. Hermes und alle Python-Abhängigkeiten installieren.

  6. Node.js-Abhängigkeiten für die Browser-Tools installieren.

  7. Playwrights Chromium-Engine installieren. Dieser Schritt fordert sudo an, damit Playwright gemeinsam genutzte Bibliotheken installieren kann. Hermes selbst benötigt kein Root.

2. Laden Sie Ihre Shell neu damit der hermes Befehl in Ihrem PATH:

3. Überprüfen Sie die Installation:

Wenn der Befehl aufgelöst wird, ist Hermes installiert. Alles befindet sich unter ~/.hermes/:

Pfad
Was es ist

~/.hermes/config.yaml

Haupteinstellungen (Modell, Anbieter, Tools, TTS, …)

~/.hermes/.env

API-Schlüssel und andere Geheimnisse

~/.hermes/hermes-agent/

Der Hermes-Quellcode + virtuelle Umgebung

~/.hermes/cron/, sessions/, logs/

Laufzeitdaten

~/.hermes/skills/

Installierte Skills (aus dem Skills Hub synchronisiert)

Vollständige Installationsreferenz: hermes-agent.nousresearch.com/docs/getting-started/installation. Wenn das Installationsprogramm eine fehlende Voraussetzung meldet, installieren Sie diese und führen Sie den Einzeiler erneut aus. Das Installationsprogramm ist idempotent.

Unsloth installieren

⚡ Schnellstart

Nach der Installation von OpenCode müssen wir Unsloth Studio installieren, damit OpenCode lokale Modelle bereitstellen und Inferenz ausführen kann.

  1. Unsloth Studio installieren oder aktualisieren. Frühere Versionen stellen die externe API nicht bereit. Siehe Installation.

  2. Unsloth starten. Merken Sie sich den Port, auf dem es startet; das ist normalerweise 8000 oder 8888. Sie sehen ihn in der Terminalausgabe und in der Browser-URL (http://localhost:PORT).

  3. Ein Modell laden. Klicken Sie auf Neuer Chat, wählen oder suchen Sie ein Modell (GGUF) und warten Sie, bis es vollständig geladen ist.

  4. Einen API-Schlüssel erstellen. Klicken Sie in Unsloth auf Ihr Unsloth Profilbild unten links → Einstellungen → API → geben Sie einen Schlüsselnamen ein → Erstellen. Kopieren Sie den sk-unsloth-… angezeigten Wert. Unsloth zeigt ihn nur einmal an.

  5. Richten Sie Ihren Client auf Unsloth aus. Verwenden Sie http://localhost:PORT als Basis-URL und Ihren sk-unsloth-… Schlüssel zur Authentifizierung. Springen Sie unten zum Rezept für Ihr Tool.

🔑 Einen API-Schlüssel erstellen

  1. Öffnen Sie die Seitenleiste, klicken Sie auf Ihr Unsloth Profilbild unten links.

  2. Gehen Sie zu Einstellungen → API.

  3. Geben Sie einen aussagekräftigen Namen ein (z. B. claude-code-macbook).

  4. (Optional) Legen Sie ein Ablaufdatum fest.

  5. Klicken Sie auf Erstellen.

  6. Kopieren Sie den Schlüssel sofort. Unsloth speichert nur einen Hash, und Sie können ihn nicht erneut anzeigen.

Alle Schlüssel beginnen mit dem sk-unsloth- Präfix. Sie können einen Schlüssel jederzeit auf derselben Seite widerrufen. Anfragen mit einem widerrufenen Schlüssel schlagen mit 401 Unauthorized.

Behandeln Sie Ihren API-Schlüssel wie ein Passwort. Jeder, der den Schlüssel und Netzwerkzugriff auf Ihre Unsloth-Instanz hat, kann Anfragen an Ihr geladenes Modell senden.

🦥 Hermes mit der Unsloth-API integrieren

Hermes sendet jede Chat-Runde an einen konfigurierten Inferenzanbieter und verbindet sich mit OpenAI-kompatiblen Endpunkten. Konfigurieren Sie den Anbieter während der Installation oder später im Einrichtungsassistenten.

1. Öffnen Sie den Einrichtungsassistenten:

Wählen Sie Modell & Anbieter aus dem Menü „Was möchten Sie tun?“ aus, um nur den Inferenz-Endpunkt zu konfigurieren, oder Vollständige Einrichtung um alles durchzugehen (TTS, Tools, Messaging-Gateway, Agent-Einstellungen).

2. Wählen Sie den benutzerdefinierten OpenAI-kompatiblen Endpunkt aus, wenn Hermes Sie nach einem Inferenzanbieter fragt.

3. Füllen Sie die Eingabeaufforderungen aus während Hermes Sie hindurchführt:

Eingabeaufforderung
Wert

API-Basis-URL

http://localhost:8888/v1 (Ihr Unsloth-Port + /v1)

API-Schlüssel

Ihr sk-unsloth-… Schlüssel

Erkanntes Modell: … Dieses Modell verwenden?

J (Hermes erkennt das Modell automatisch über GET /v1/models)

Kontextlänge in Tokens

(für automatische Erkennung leer lassen)

Anzeigename

Beliebig, z. B. unsloth-api

Hermes überprüft den Endpunkt anhand von /v1/models und bestätigt das erkannte Modell, bevor es fortfährt.

4. Akzeptieren Sie die Standardwerte für die übrigen Eingabeaufforderungen (TTS, Tools, Messaging-Gateway, Agent-Einstellungen) können Sie später jederzeit neu konfigurieren. Hermes schreibt alles nach ~/.hermes/config.yaml und ~/.hermes/.env.

5. Starten Sie Hermes:

Das Startbanner zeigt Ihren Unsloth-Modellnamen in der Statusleiste an (z. B. unsloth/Qwen3.6-27B-GGUF), und die Eingabeaufforderung ist bereit für Eingaben.

Um später nur das Modell neu zu konfigurieren, führen Sie hermes setup model. Um die Konfigurationsdatei direkt zu bearbeiten, hermes config edit öffnet ~/.hermes/config.yaml in Ihrem $EDITOR.

Optional: den Unsloth-Server anpassen

unsloth run startet den lokalen API-Server und lädt ein Modell, mit dem sich Ihre App verbinden kann. Sie können auch anpassen, wie sich der Server beim Start verhält.

Verwenden Sie --reasoning off um das Nachdenken auszuschalten, oder --reasoning on um es für Modelle zu aktivieren, die Reasoning unterstützen.

Dadurch startet der Server auf 0.0.0.0:8888, sodass andere Geräte in Ihrem lokalen Netzwerk eine Verbindung herstellen können. -p ändert, auf welchem Port der Server läuft. Wenn Telefone, Laptops oder andere Geräte in Ihrem Netzwerk eine Verbindung zum API-Server herstellen sollen, starten Sie ihn mit -H 0.0.0.0.

Einige Apps können die Generierungseinstellungen für einzelne Anfragen weiterhin überschreiben. Für eine fortgeschrittenere Laufzeitkonfiguration siehe den Haupt API-Tuning Abschnitt.

VorherigeOpenClawNächstePython SDK

Zuletzt aktualisiert

War das hilfreich?