Wie man lokale KI-Modelle mit OpenClaw ausführt

Leitfaden zum Ausführen lokaler LLMs mit OpenClaw.

Dieser Leitfaden ermöglicht es dir, offene LLMs lokal zu verwenden mit OpenClaw, indem du es mit Unsloth verbindest. OpenClaw ist ein Open-Source-KI-Agent Benutzeroberfläche, die sich mit einem Modell verbindet, um Aufgaben in deinem gesamten Projekt auszuführen.

OpenClaw kann mit jedem lokalen Modell funktionieren, indem es sich über Unsloths OpenAI-kompatible API: einschließlich DeepSeek, Qwen, Gemma und mehr. OpenClaw fungiert als Client, während Unsloth Modelle über eine lokale API.

Nach der Einrichtung läuft OpenClaw über Unsloth gegen dein lokales Modell und ermöglicht dir, es direkt als KI-Agenten zu verwenden.

Mit OpenClaw verbindenSchnellstart

In diesem Tutorial verwenden wir unsloth/Qwen3.6-27B-GGUF in Unsloth und greifen über OpenClaw darauf zu. Bevorzugst du ein anderes Modell? Ersetze es einfach durch ein anderes Modell, indem du es in Unsloth lädst und die Konfiguration aktualisierst.

OpenClaw installieren

macOS, Linux, WSL

Installiere OpenClaw mit dem offiziellen Installer:

curl -fsSL https://openclaw.ai/install.sh | bash

Dadurch wird OpenClaw eingerichtet und du wirst durch die Ersteinrichtung geführt.

Windows (PowerShell)

Der API-Zugriff ist Teil von Unsloth (Beta). Stelle sicher, dass du die neueste Version verwendest; frühere Builds stellen die externe API nicht bereit. Siehe Installation, um zu installieren oder zu aktualisieren.

Unsloth installieren

⚡ Schnellstart

Nach der Installation von OpenClaw müssen wir Unsloth Studio installieren, damit OpenClaw lokale Modelle bereitstellen und Inferenz ausführen kann.

1. Installieren oder aktualisieren Unsloth Studio. Frühere Versionen stellen die externe API nicht bereit. Siehe Installation.

2. Starte Unsloth. Beachte, dass der Port, auf dem es startet, normalerweise 8000 oder 8888. Du siehst ihn in der Terminalausgabe und in der Browser-URL (http://localhost:PORT).

3. Lade ein Modell. Klicke Neuer Chat, wähle oder suche ein Modell (GGUF) und warte, bis es vollständig geladen ist.

4. Erstelle einen API-Schlüssel. Klicke in Unsloth auf dein Unsloth Avatar unten links → Einstellungen → API-Schlüssel → gib einen Schlüsselnamen ein → Erstellen. Kopiere den sk-unsloth-… angezeigten Wert. Unsloth zeigt ihn nur einmal an.

5. Richte deinen Client auf Unsloth. Verwende http://localhost:PORT als Basis-URL und deinen sk-unsloth-… Schlüssel zur Authentifizierung. Springe unten zur Anleitung für dein Tool.

🔑 Einen API-Schlüssel erstellen

Schlüssel werden über Unsloth → Einstellungen → API-Schlüssel.

1. Öffne die Seitenleiste und klicke unten links auf deinen Unsloth Avatar.

2. Gehe zu Einstellungen → API-Schlüssel.

3. Gib einen freundlichen Namen ein (z. B. claude-code-macbook).

4. (Optional) Setze ein Ablaufdatum.

5. Klicke Erstellen.

6. Kopiere den Schlüssel sofort. Unsloth speichert nur einen Hash und du kannst ihn später nicht erneut anzeigen.

Alle Schlüssel beginnen mit dem sk-unsloth- Präfix. Widerrufe einen Schlüssel jederzeit auf derselben Seite. Mit einem widerrufenen Schlüssel gesendete Anfragen schlagen fehl mit 401 Unauthorized.

Behandle deinen API-Schlüssel wie ein Passwort. Jeder mit dem Schlüssel und Netzwerkzugriff auf deine Unsloth-Instanz kann Anfragen an dein geladenes Modell senden.

Mit OpenClaw verbinden

OpenClaw liest seine Konfiguration aus ~/.openclaw/openclaw.json. Füge einen models -Block mit einem unsloth Provider hinzu, der auf Unsloths Anthropic Messages API verweist.

~/.openclaw/openclaw.json

{
  "models": {
    "mode": "merge",
    "providers": {
      "unsloth": {
        "baseUrl": "http://localhost:8888/v1",
        "apiKey": "sk-unsloth-xxxxxxxxxxxx",
        "api": "anthropic-messages",
        "models": [
          {
            "id": "unsloth/Qwen3.6-27B-GGUF",
            "name": "unsloth/Qwen3.6-27B-GGUF"
          }
        ],
        "authHeader": true
      }
    }
  }
}

Hinweise:

• baseUrl muss enden mit /v1.

• api: "anthropic-messages" weist OpenClaw an, mit Unsloths /v1/messages -Endpunkt zu kommunizieren.

• authHeader: true sendet deinen Schlüssel als Authorization: Bearer ….

• Setze für jedes Modell die id und name auf den Namen, den du beim Laden des Modells in Unsloth gewählt hast.

• Wenn du Unsloth auf einem entfernten Rechner ausführst, ersetze localhost:8888 durch die Adresse dieses Rechners (z. B. http://10.0.0.42:8888/v1).

Optional: Modellverhalten konfigurieren

OpenClaw verbindet sich über das in Unsloth laufende Modell. Laufzeiteinstellungen können beim Starten des Servers konfiguriert werden.

# Standardmäßiges Generierungsverhalten konfigurieren
unsloth run \
  --model unsloth/gemma-4-26B-A4B-it-GGUF \
  --reasoning off \
  --temp 0.6

Verwende --reasoning off um das Denken auszuschalten, oder --reasoning on um es für Modelle zu aktivieren, die Reasoning unterstützen.

# Verbindungen von anderen Geräten zulassen
unsloth run \
  --model unsloth/gemma-4-26B-A4B-it-GGUF \
  -H 0.0.0.0 \
  -p 8888

Dadurch wird der Server auf 0.0.0.0:8888gestartet, sodass sich andere Geräte in deinem lokalen Netzwerk verbinden können.

Weitere fortgeschrittene Laufzeitkonfigurationen findest du im Abschnitt API-Tuning .