Führen Sie Coding-Agents mit lokalen LLMs mit Unsloth Start aus
Mit Unsloth kannst du verbinden Claude Code, Codex, Hermes, OpenCode, Pi und andere Coding-Agents über das unsloth start Befehl mit einem lokalen Modell verbinden. Der gesamte Workflow kann offline auf deiner eigenen Hardware ausgeführt werden. Unsloth konfiguriert bei jedem Start automatisch den Endpunkt, den API-Schlüssel, den Provider, das Modell und die Kontextlänge, sodass du deinen bevorzugten Agenten verwenden kannst, ohne ihn anzupassen. Diese Anleitung zeigt dir, wie du Modelle für die Offline-Nutzung über die Kommandozeile startest und mit Unsloth verbindest.
Schnellstart
Stelle zuerst sicher, dass du Unsloth installiert hast. Öffne dann Unsloth, lade ein Modell, gehe zu deinem Projektordner und führe den Befehl im Terminal aus:
unsloth start claudeDu kannst claude durch einen der folgenden Agenten ersetzen:
Claude Code
unsloth start claude
OpenAI Codex
unsloth start codex
Hermes Agent
unsloth start hermes
OpenClaw
unsloth start openclaw
OpenCode
unsloth start opencode
Unsloth verwendet eine temporäre oder sitzungsspezifische Provider-Konfiguration. Es fügt den normalen Konfigurationsdateien des Agenten keinen Unsloth-Provider hinzu.
Codex benötigt derzeit ein GGUF-Modell, das über den llama-server Backend bereitgestellt wird.
Agenten-Anleitungen
Ein Modell über die Kommandozeile laden
Du kannst beim Starten des Agenten ein Modell auswählen und laden:
Das :UD-Q4_K_XL Suffix wählt die GGUF-Quantisierung aus.
Ein explizites --gguf-variant überschreibt die hinter dem Modellnamen geschriebene Quantisierung.
An der standardmäßigen lokalen Adresse ermöglicht das Übergeben von --model das unsloth start Starten eines temporären Servers, wenn Unsloth Studio noch nicht läuft. Der temporäre Server stoppt, wenn der Agent beendet wird. Wenn Unsloth bereits läuft, verbindet sich der Befehl damit und lässt ihn weiterlaufen.
Siehe unten für Beispiele, wie Agenten mit einem lokalen LLM verbunden werden:
Mit einem entfernten Unsloth-Server verbinden
Setze die Unsloth-URL und den API-Schlüssel, bevor du einen Agenten startest:
Du kannst den Schlüssel auch mit --api-keyübergeben. Für einen verifizierten lokalen Unsloth-Server unsloth start erstellt oder verwendet automatisch denselben API-Schlüssel.
Optionen
--model, -m
Wähle ein Modell aus. Ohne Angabe wird das erste von Unsloth gemeldete Modell verwendet.
--api-key
Gib einen Unsloth-API-Schlüssel an. Du kannst auch UNSLOTH_API_KEY.
--launch / --no-launch
Starte den Agenten oder gib die generierte Umgebung und den Befehl aus.
--serve / --no-serve
Erlaube oder verhindere den automatischen Start des lokalen Servers.
--gguf-variant
Wähle eine GGUF-Quantisierungsvariante aus.
--context-length, --max-seq-length
Lege die angeforderte Kontextlänge beim Laden des Modells fest.
--load-in-4bit / --no-load-in-4bit
Steuere das Laden in 4 Bit für nicht-GGUF-Hugging-Face-Modelle.
--tensor-parallel / --no-tensor-parallel
Aktiviere oder deaktiviere das tensorparallele GGUF-Laden für Multi-GPU-Systeme.
--persist / --no-persist
Behalte das vom Unsloth verwaltete Agenten-Home, sofern zutreffend, bei.
--yolo
Verwende den Nicht-Prompting- oder Vertrauensmodus des ausgewählten Agenten.
-h, --help
Zeige die Hilfe zum Befehl an.
Ladeoptionen werden verwendet, wenn Unsloth das angeforderte Modell laden oder abgleichen muss.
Normale Befehle an den Agenten übergeben
Argumente, die keine Unsloth-Optionen sind, werden an den ausgewählten Agenten weitergegeben:
Verwende den eigenen Hilfebefehl des Agenten für seine vollständige Liste nativer Optionen.
Sitzungen und --persist
--persist behält verwalteten Speicher bei. Es setzt eine Unterhaltung nicht von selbst fort; gib außerdem den normalen Fortsetzungsbefehl des Agenten an.
Agent
Brauchst du --persist?
Beispiel für Fortsetzen
Claude Code
Nein. Claude verwendet seinen normalen Sitzungsspeicher.
unsloth start claude --continue
OpenAI Codex
Ja. Das verwaltete Codex-Home ist standardmäßig temporär.
unsloth start codex --persist resume --last
OpenClaw
Ja. Die verwaltete Konfiguration, der Arbeitsbereich und die Sitzungen sind standardmäßig temporär.
Verwende --persist mit derselben nativen Sitzungs-ID.
OpenCode
Nein. OpenCode verwendet seinen normalen Sitzungsspeicher.
unsloth start opencode run --continue "Continue"
Hermes Agent
Ja. Das verwaltete Hermes-Home ist standardmäßig temporär.
unsloth start hermes --persist --continue --oneshot "Continue"
Pi-Coding-Agent
Ja. Das verwaltete Pi-Home ist standardmäßig temporär.
unsloth start pi --persist --continue
Für Codex, OpenClaw, Hermes und Pi verwende --persist vom ersten Start an und erneut, wenn du zur Sitzung zurückkehrst.
Verwende eine stabile Sitzungs-ID für eine benannte Sitzung:
Den Startbefehl ausgeben, ohne ihn auszuführen
Dies gibt die generierte Umgebung und den Befehl aus. Die Ausgabe kann Verbindungsdaten enthalten, also veröffentliche sie nicht in Protokollen oder Screenshots.
Modus zum Umgehen von Berechtigungen
--yolo entspricht dem Vertrauens- oder Nicht-Prompting-Modus des ausgewählten Agenten. Er kann Bestätigungsabfragen reduzieren und dem Agenten erlauben, Befehle auszuführen, ohne vorher zu fragen.
Verwende ihn nur in einer Umgebung, in der uneingeschränkte Agentenaktionen akzeptabel sind.
Häufige Probleme
Kein Unsloth-Server gefunden
Starte Unsloth und lade ein Modell oder übergib `--model`, damit Unsloth einen temporären lokalen Server starten kann.
Zuletzt aktualisiert
War das hilfreich?