So führen Sie lokale KI-Modelle in VS Code aus
So führen Sie lokale LLMs mit VS Code aus
Diese Anleitung zeigt Ihnen, wie Sie ein lokales Modell, das in Unsloth läuft, mit dem Copilot-Chat von VS Code verbinden. Unsloth lädt das Modell und stellt es bereit, während VS Code die Chat-Oberfläche und die Programmierwerkzeuge bereitstellt.
Sie können über Ihren Code chatten, Fragen stellen und den Agent-Modus verwenden, um mit einem Modell, das Tool-Aufrufe unterstützt, Dateien zu erstellen und zu bearbeiten.
VS Code installieren
VS Code herunterladen
Öffnen Sie die VS-Code-Downloadseite und laden Sie die macOS-Version für Ihren Mac herunter. Wählen Sie Apple Silicon, Inteloder Universal wenn Sie unsicher sind.
VS Code herunterladen
Öffnen Sie die VS-Code-Downloadseite und laden Sie das Windows- User Installer für Ihr Gerät herunter. Die meisten PCs verwenden x64.
VS Code einrichten
Öffnen Sie die heruntergeladene .exe Datei und folgen Sie den Anweisungen des Installers.
Gehen Sie dann zum Öffnen zum Startmenü, suchen Sie nach Visual Studio Codeund starten Sie es.
Wenn während der Installation ein Terminal geöffnet war, schließen Sie es und öffnen Sie es erneut, damit der aktualisierte PATH übernommen wird.
VS Code herunterladen
Öffnen Sie die VS-Code-Downloadseite und wählen Sie das Paket für Ihre Distribution aus:
Ubuntu oder Debian:
.debFedora oder RHEL:
.rpm
⚡ Schnellstart
Nach der Installation von VS Code müssen wir Unsloth Desktop installieren, damit VS Code lokale Modelle bereitstellen und Inferenz ausführen kann.
Unsloth herunterladen
Der einfachste Einstieg ist die Installation der Unsloth-Desktop-App. Sie unterstützt macOS, Linux, Windows, NVIDIA, AMD, Intel- und CPU-Setups.
Oder, wenn Sie die manuelle Installation bevorzugen:
MacOS, Linux, WSL:
curl -fsSL https://unsloth.ai/install.sh | shWindows:
irm https://unsloth.ai/install.ps1 | iexDas Unsloth-Docker-Image unsloth/unsloth ist auf Docker verfügbar. Anleitung lesen.
Unsloth Desktop installieren:
brew install --cask unslothUnsloth Desktop aktualisieren:
brew upgrade --cask unslothUnsloth Desktop installieren:
winget install --id UnslothAI.Unsloth -eUnsloth Desktop aktualisieren:
winget upgrade --id UnslothAI.Unsloth -eWählen Sie ein Modell
Öffnen Sie oben das Dropdown-Menü „Modell auswählen“ oder den Tab „Model hub“, wählen Sie ein Modell und eine Quantisierung, die zu Ihrem Gerät passt, und laden Sie es dann herunter. Sobald der Download abgeschlossen ist, können Sie mit dem Chatten beginnen – keine Einrichtung erforderlich.

Unsloth ist jetzt bereit
Wenn Ihr Modell in Unsloth geladen ist, führen Sie dies in Ihrem Terminal aus:
unsloth start vscodeÖffnen Sie Copilot Chat in VS Code und wählen Sie Ihr Modell unter Unsloth im Modellauswahlfeld aus. Senden Sie eine Nachricht, um die Verbindung zu prüfen.
Lassen Sie Unsloth laufen, während Sie das Modell verwenden.

🔌 Verbinden Sie Ihr Modell
Wenn ein Modell in Unsloth geladen ist, öffnen Sie ein Terminal und führen Sie aus:
unsloth start vscodeDadurch wird das Modell, das Unsloth derzeit bereitstellt, dem Modellauswahlfeld von VS Code hinzugefügt. Damit wird die Verbindung konfiguriert; öffnen Sie VS Code separat, falls es noch nicht ausgeführt wird.
Sie können auch ein Modell laden und VS Code mit einem einzigen Befehl konfigurieren:
unsloth start vscode --model unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XL --context-length 32768Ein anderes Modell bevorzugt? Ersetzen Sie die Modell-ID durch Ihre Wahl. Sie können auch eine lokale GGUF-Datei übergeben:
unsloth start vscode --model "/path/to/model.gguf" --context-length 32768Der Befehl richtet die Verbindung automatisch ein, behält Ihre anderen Modelle bei und sichert Ihre VS-Code-Modelleinstellungen.
Außerdem wird ein API-Schlüssel mit dem Namen VS Codeerstellt. Um ihn zu widerrufen, öffnen Sie Einstellungen in Unsloth und wählen Sie API.
Verwenden Sie Ihr lokales Modell in VS Code
Öffnen Sie einen Projektordner in VS Code oder einen leeren Ordner, um es auszuprobieren.
Öffnen Sie Copilot Chatklicken Sie unter dem Chat-Eingabefeld auf das Modellauswahlfeld und wählen Sie Ihr Modell unter Unslothaus. Wählen Sie Agent damit es Dateien erstellen und bearbeiten kann, oder Ask um über Ihren Code zu chatten.

Der Agent-Modus erfordert Unterstützung für Tool-Aufrufe. Wir empfehlen mindestens 32K Kontext.
Lassen Sie uns ein einfaches Spiel bauen. Probieren Sie diesen Prompt aus:
Überprüfen Sie alle Tool-Berechtigungen, bevor Sie sie genehmigen. Sobald der Agent index.htmlerstellt hat, öffnen Sie es in Ihrem Browser und spielen Sie.
Möchten Sie etwas ändern? Bitten Sie es, Schwierigkeitsgrade oder einen Highscore-Zähler hinzuzufügen.
Lassen Sie Ihr Modell geladen und den Unsloth-Server laufen, während Sie arbeiten.

Wenn Ihr Modell nicht angezeigt wird, überprüfen Sie Modelle verwalten im Modellauswahlfeld. Sie können VS Code auch aktualisieren, indem Sie Entwickler: Fenster neu laden über die Befehlspalette ausführen.
Modelle wechseln
Laden Sie in Unsloth ein anderes Modell und führen Sie dann aus:
Wählen Sie das neue Modell unter Unsloth im Copilot-Chat aus.
Fehlerbehebung
Mein Modell wird nicht angezeigt
Öffnen Sie Modelle verwalten im Modellauswahlfeld und suchen Sie nach Unsloth. Wenn es fehlt, prüfen Sie, ob GitHub Copilot Chat aktiviert ist, und führen Sie dann unsloth start vscode erneut aus.
Wenn es immer noch nicht angezeigt wird, öffnen Sie die Befehlspalette und führen Sie Entwickler: Fenster neu laden.
Mein Modell wird in Ask angezeigt, aber nicht im Agent-Modus
Der Agent-Modus erfordert Unterstützung für Tool-Aufrufe. Verwenden Sie Ask mit diesem Modell oder wechseln Sie zu einem Modell, dessen Chatvorlage Tools unterstützt.
Ich erhalte Fehler zur Kontextlänge
Anweisungen und Tools des Agenten belegen einen Teil des Kontextfensters des Modells. Wir empfehlen mindestens 32K Kontext für den Agent-Modus.
Ersetzen Sie den Pfad unten durch Ihre GGUF-Datei und führen Sie aus:
Laden Sie VS Code neu, wenn die Modelldetails noch nicht aktualisiert wurden. Es kann 32.768 Tokens als 33K.
Unsloth läuft auf einem Remote-Computer
In einer SSH- oder Containersitzung ohne VS-Code-Benutzerverzeichnis gibt der Befehl die Konfiguration aus, die lokal hinzugefügt werden soll, sowie Anweisungen zur Verbindung.
Folgen Sie den ausgegebenen Anweisungen, um den Server von Ihrem Computer aus erreichbar zu machen, und fügen Sie dann die Konfiguration Ihrer lokalen VS-Code-Installation hinzu.
Wenn das Modell in einem Remote-SSH-, WSL- oder Dev-Container-Fenster nicht angezeigt wird, versuchen Sie ein lokales VS-Code-Fenster das mit dem entfernten Unsloth-Server verbunden ist.
Weitere Optionen zum Laden von Modellen und Einstellungen für die Remote-Verbindung finden Sie im Unsloth-Startleitfaden.
Zuletzt aktualisiert
War das hilfreich?

