Wie man lokale KI-Modelle mit OpenCode ausführt

Leitfaden zum Verbinden offener LLMs mit OpenCode auf deinem lokalen Gerät.

Diese Anleitung führt Sie durch die Verbindung von OpenCode Desktop mit Unsloth um Open-LLMs auszuführen vollständig lokal. OpenCode ist ein Open-Source-KI-Coding-Agent der Code in Ihrem gesamten Projekt mit Hilfe eines verbundenen Modells liest, verändert und ausführt. Dies funktioniert mit jedem lokalen Modell das über Unsloths OpenAI-kompatible APIbereitgestellt wird, darunter: DeepSeek, Qwen, Gemma und mehr. OpenCode fungiert als Client, während Unsloth Modelle über eine lokale API lädt und bereitstellt.

Nach der Einrichtung verbindet sich OpenCode mit Unsloth, wo Sie ein geladenes Modell auswählen und es als Coding-Agent.

OpenCode-EinrichtungSchnellstart

In diesem Tutorial verwenden wir unsloth/Qwen3.6-27B-GGUF das in Unsloth geladen ist, und greifen direkt innerhalb von OpenCode darauf zu. Sie bevorzugen ein anderes Modell? Tauschen Sie es gegen ein beliebiges anderes Modell aus, indem Sie es in Unsloth laden.

Installation von OpenCode Desktop

Windows

MacOS

Linux/WSL

Unsloth installieren

⚡ Schnellstart

Nach der Installation von OpenCode müssen wir Unsloth Studio installieren, damit OpenCode lokale Modelle bereitstellen und Inferenz ausführen kann.

1. Installieren oder aktualisieren Sie Unsloth Studio. Frühere Versionen stellen die externe API nicht bereit. Siehe Installation.

2. Starten Sie Unsloth. Beachten Sie, dass der Port, auf dem es startet, normalerweise 8000 oder 8888ist. Sie sehen ihn in der Terminalausgabe und in der Browser-URL (http://localhost:PORT).

3. Laden Sie ein Modell. Klicken Sie auf Neuer Chat, wählen oder suchen Sie ein Modell (GGUF) und warten Sie, bis es vollständig geladen ist.

4. Erstellen Sie einen API-Schlüssel. Klicken Sie in Unsloth auf Ihren Unsloth Avatar unten links → Einstellungen → API → geben Sie einen Schlüsselnamen ein → Erstellen. Kopieren Sie den sk-unsloth-… angezeigten Wert. Unsloth zeigt ihn nur einmal an.

5. Richten Sie Ihren Client auf Unsloth aus. Verwenden Sie http://localhost:PORT als Basis-URL und Ihren sk-unsloth-… Schlüssel zur Authentifizierung. Springen Sie unten zur Anleitung für Ihr Tool.

🔑 Einen API-Schlüssel erstellen

1. Öffnen Sie die Seitenleiste und klicken Sie auf Ihren Unsloth Avatar unten links.

2. Gehen Sie zu Einstellungen → API.

3. Geben Sie einen freundlichen Namen ein (z. B. claude-code-macbook).

4. (Optional) Legen Sie ein Ablaufdatum fest.

5. Klicken Sie auf Erstellen.

6. Kopieren Sie den Schlüssel sofort. Unsloth speichert nur einen Hash und Sie können ihn nicht erneut anzeigen.

Alle Schlüssel beginnen mit dem sk-unsloth- Präfix. Widerrufen Sie einen Schlüssel jederzeit auf derselben Seite. Anfragen mit einem widerrufenen Schlüssel schlagen mit 401 Unauthorized.

Behandeln Sie Ihren API-Schlüssel wie ein Passwort. Jeder, der den Schlüssel und Netzwerkzugriff auf Ihre Unsloth-Instanz hat, kann Anfragen an Ihr geladenes Modell senden.

🖇️ Unsloth mit OpenCode Desktop verbinden

Opencode unterstützt jeden OpenAI-kompatiblen Anbieter, sodass Sie Unsloth als benutzerdefinierten Anbieter einbinden können. Die Einrichtung ist ein einmaliger Ablauf im Anbieter verbinden Dialog von opencode.

1. Öffnen Sie die Anbieterauswahl. Geben Sie in opencode /model ein (oder klicken Sie unten in der Eingabe auf den Modellauswähler).

Klicken Sie dann Anbieter verbinden oben rechts im Dialog zur Modellauswahl.

2. Wählen Sie „Custom“. Scrollen Sie in der Anbieterliste zu Other und wählen Sie benutzerdefinierten.

3. Füllen Sie das Formular für den benutzerdefinierten Anbieter aus:

Feld	Wert
Provider-ID	unsloth-studio (kleingeschrieben, Bindestriche erlaubt)
Anzeigename	Unsloth Studio
Basis-URL	http://localhost:8888/v1/ (ersetzen Sie 8888 durch Ihren Unsloth Port; behalten Sie das abschließende /v1/)
API-Schlüssel	Ihr sk-unsloth-… Schlüssel

Im Modelle Abschnitt fügen Sie eine Zeile pro Modell hinzu, das Sie bereitstellen möchten. Das linke Feld ist die Modell-ID, wie Unsloth sie bereitstellt; das rechte Feld ist das, was opencode anzeigt:

Modell-ID (links)	Anzeigename (rechts)
unsloth/Qwen3.6-27B-GGUF (der exakte Name des Modells, wie er in Studio angezeigt wird)	unsloth/Qwen3.6-27B-GGUF (in opencode angezeigt)

Lassen Sie Header leer, es sei denn, Sie leiten Unsloth über eine Authentifizierungsschicht weiter, die benutzerdefinierte Header benötigt.

4. Klicken Sie auf Submit. Sie sollten einen „Unsloth Studio verbunden. Unsloth-Modelle sind jetzt verfügbar“ Toast sehen.

Starten Sie opencode nach dem Hinzufügen des Anbieters neu. Der neue Anbieter wird erst nach einem Neustart auswählbar.

5. Wählen Sie Ihr Unsloth-Modell aus. Sobald opencode wieder läuft, geben Sie /modelein, suchen Sie unslothund wählen Sie das Modell unter der Unsloth Studio Gruppe aus. Es wird für Ihre nächste Nachricht aktiv sein.

Unsloth unterstützt sowohl die Python-SDKs von OpenAI als auch von Anthropic.

Optional: Serverzugriff konfigurieren

unsloth run startet den lokalen API-Server und lädt ein Modell, mit dem OpenCode sich verbinden kann. Sie können beim Start auch anpassen, wie sich der Server verhält.

# Führen Sie die API auf Port 8888 aus
unsloth run \\
  --model unsloth/gemma-4-26B-A4B-it-GGUF \\
  -p 8888

Verwenden Sie -p um zu ändern, auf welchem Port der Server läuft.

# Lassen Sie andere Geräte in Ihrem Netzwerk eine Verbindung herstellen
unsloth run \\
  --model unsloth/gemma-4-26B-A4B-it-GGUF \\
  -H 0.0.0.0 \\
  -p 8888

Dies startet den Server auf 0.0.0.0:8888, wodurch sich andere Geräte in Ihrem lokalen Netzwerk verbinden können.

Für eine erweiterte Laufzeitkonfiguration siehe den Haupt- API-Tuning Abschnitt.