For the complete documentation index, see llms.txt. This page is also available as Markdown.

So führen Sie lokale KI-Modelle in VS Code aus

So führen Sie lokale LLMs mit VS Code aus

Diese Anleitung zeigt Ihnen, wie Sie ein lokales Modell, das in Unsloth läuft, mit dem Copilot-Chat von VS Code verbinden. Unsloth lädt das Modell und stellt es bereit, während VS Code die Chat-Oberfläche und die Programmierwerkzeuge bereitstellt.

Sie können über Ihren Code chatten, Fragen stellen und den Agent-Modus verwenden, um mit einem Modell, das Tool-Aufrufe unterstützt, Dateien zu erstellen und zu bearbeiten.

VS Code installieren

1

VS Code herunterladen

Öffnen Sie die VS-Code-Downloadseite und laden Sie die macOS-Version für Ihren Mac herunter. Wählen Sie Apple Silicon, Inteloder Universal wenn Sie unsicher sind.

2

VS Code einrichten

Öffnen Sie die heruntergeladene .zip Datei und ziehen Sie dann Visual Studio Code.app in Ihren Programme -Ordner.

Gehen Sie dann zum Öffnen zu Programme und doppelklicken Sie auf Visual Studio Code.

1

VS Code herunterladen

Öffnen Sie die VS-Code-Downloadseite und laden Sie das Windows- User Installer für Ihr Gerät herunter. Die meisten PCs verwenden x64.

2

VS Code einrichten

Öffnen Sie die heruntergeladene .exe Datei und folgen Sie den Anweisungen des Installers.

Gehen Sie dann zum Öffnen zum Startmenü, suchen Sie nach Visual Studio Codeund starten Sie es.

Wenn während der Installation ein Terminal geöffnet war, schließen Sie es und öffnen Sie es erneut, damit der aktualisierte PATH übernommen wird.

1

VS Code herunterladen

Öffnen Sie die VS-Code-Downloadseite und wählen Sie das Paket für Ihre Distribution aus:

  • Ubuntu oder Debian: .deb

  • Fedora oder RHEL: .rpm

2

VS Code einrichten

Öffnen Sie ein Terminal im Ordner mit Ihrem Download und führen Sie aus:

Ubuntu oder Debian:

sudo apt install ./code_*.deb

Fedora oder RHEL:

sudo dnf install ./code-*.rpm

Gehen Sie dann zum Öffnen zu Ihrem Anwendungsstarter, suchen Sie nach Visual Studio Codeund starten Sie es.

⚡ Schnellstart

Nach der Installation von VS Code müssen wir Unsloth Desktop installieren, damit VS Code lokale Modelle bereitstellen und Inferenz ausführen kann.

1

Unsloth herunterladen

Der einfachste Einstieg ist die Installation der Unsloth-Desktop-App. Sie unterstützt macOS, Linux, Windows, NVIDIA, AMD, Intel- und CPU-Setups.

Unsloth herunterladen

Oder, wenn Sie die manuelle Installation bevorzugen:

MacOS, Linux, WSL:

curl -fsSL https://unsloth.ai/install.sh | sh

Windows:

irm https://unsloth.ai/install.ps1 | iex

Das Unsloth-Docker-Image unsloth/unsloth ist auf Docker verfügbar. Anleitung lesen.

Unsloth Desktop installieren:

brew install --cask unsloth

Unsloth Desktop aktualisieren:

brew upgrade --cask unsloth

Unsloth Desktop installieren:

winget install --id UnslothAI.Unsloth -e

Unsloth Desktop aktualisieren:

winget upgrade --id UnslothAI.Unsloth -e
2

Installieren

  1. Öffnen Sie den Unsloth-Installer (.dmg, .exe Dateien)

  2. Ziehen Sie Unsloth auf dem Mac in den Programme-Ordner oder schließen Sie die Einrichtung unter Windows ab.

  3. Starten Sie die App und warten Sie, bis die Installation abgeschlossen ist

3

Wählen Sie ein Modell

Öffnen Sie oben das Dropdown-Menü „Modell auswählen“ oder den Tab „Model hub“, wählen Sie ein Modell und eine Quantisierung, die zu Ihrem Gerät passt, und laden Sie es dann herunter. Sobald der Download abgeschlossen ist, können Sie mit dem Chatten beginnen – keine Einrichtung erforderlich.

4

Unsloth ist jetzt bereit

Wenn Ihr Modell in Unsloth geladen ist, führen Sie dies in Ihrem Terminal aus:

unsloth start vscode

Öffnen Sie Copilot Chat in VS Code und wählen Sie Ihr Modell unter Unsloth im Modellauswahlfeld aus. Senden Sie eine Nachricht, um die Verbindung zu prüfen.

Lassen Sie Unsloth laufen, während Sie das Modell verwenden.

🔌 Verbinden Sie Ihr Modell

Wenn ein Modell in Unsloth geladen ist, öffnen Sie ein Terminal und führen Sie aus:

unsloth start vscode

Dadurch wird das Modell, das Unsloth derzeit bereitstellt, dem Modellauswahlfeld von VS Code hinzugefügt. Damit wird die Verbindung konfiguriert; öffnen Sie VS Code separat, falls es noch nicht ausgeführt wird.

Sie können auch ein Modell laden und VS Code mit einem einzigen Befehl konfigurieren:

unsloth start vscode --model unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XL --context-length 32768

Ein anderes Modell bevorzugt? Ersetzen Sie die Modell-ID durch Ihre Wahl. Sie können auch eine lokale GGUF-Datei übergeben:

unsloth start vscode --model "/path/to/model.gguf" --context-length 32768

Der Befehl richtet die Verbindung automatisch ein, behält Ihre anderen Modelle bei und sichert Ihre VS-Code-Modelleinstellungen.

Außerdem wird ein API-Schlüssel mit dem Namen VS Codeerstellt. Um ihn zu widerrufen, öffnen Sie Einstellungen in Unsloth und wählen Sie API.

Verwenden Sie Ihr lokales Modell in VS Code

Öffnen Sie einen Projektordner in VS Code oder einen leeren Ordner, um es auszuprobieren.

Öffnen Sie Copilot Chatklicken Sie unter dem Chat-Eingabefeld auf das Modellauswahlfeld und wählen Sie Ihr Modell unter Unslothaus. Wählen Sie Agent damit es Dateien erstellen und bearbeiten kann, oder Ask um über Ihren Code zu chatten.

Der Agent-Modus erfordert Unterstützung für Tool-Aufrufe. Wir empfehlen mindestens 32K Kontext.

Lassen Sie uns ein einfaches Spiel bauen. Probieren Sie diesen Prompt aus:

Überprüfen Sie alle Tool-Berechtigungen, bevor Sie sie genehmigen. Sobald der Agent index.htmlerstellt hat, öffnen Sie es in Ihrem Browser und spielen Sie.

Möchten Sie etwas ändern? Bitten Sie es, Schwierigkeitsgrade oder einen Highscore-Zähler hinzuzufügen.

Lassen Sie Ihr Modell geladen und den Unsloth-Server laufen, während Sie arbeiten.

Wenn Ihr Modell nicht angezeigt wird, überprüfen Sie Modelle verwalten im Modellauswahlfeld. Sie können VS Code auch aktualisieren, indem Sie Entwickler: Fenster neu laden über die Befehlspalette ausführen.

Modelle wechseln

Laden Sie in Unsloth ein anderes Modell und führen Sie dann aus:

Wählen Sie das neue Modell unter Unsloth im Copilot-Chat aus.

Fehlerbehebung

Mein Modell wird nicht angezeigt

Öffnen Sie Modelle verwalten im Modellauswahlfeld und suchen Sie nach Unsloth. Wenn es fehlt, prüfen Sie, ob GitHub Copilot Chat aktiviert ist, und führen Sie dann unsloth start vscode erneut aus.

Wenn es immer noch nicht angezeigt wird, öffnen Sie die Befehlspalette und führen Sie Entwickler: Fenster neu laden.

Mein Modell wird in Ask angezeigt, aber nicht im Agent-Modus

Der Agent-Modus erfordert Unterstützung für Tool-Aufrufe. Verwenden Sie Ask mit diesem Modell oder wechseln Sie zu einem Modell, dessen Chatvorlage Tools unterstützt.

Ich erhalte Fehler zur Kontextlänge

Anweisungen und Tools des Agenten belegen einen Teil des Kontextfensters des Modells. Wir empfehlen mindestens 32K Kontext für den Agent-Modus.

Ersetzen Sie den Pfad unten durch Ihre GGUF-Datei und führen Sie aus:

Laden Sie VS Code neu, wenn die Modelldetails noch nicht aktualisiert wurden. Es kann 32.768 Tokens als 33K.

Unsloth läuft auf einem Remote-Computer

In einer SSH- oder Containersitzung ohne VS-Code-Benutzerverzeichnis gibt der Befehl die Konfiguration aus, die lokal hinzugefügt werden soll, sowie Anweisungen zur Verbindung.

Folgen Sie den ausgegebenen Anweisungen, um den Server von Ihrem Computer aus erreichbar zu machen, und fügen Sie dann die Konfiguration Ihrer lokalen VS-Code-Installation hinzu.

Wenn das Modell in einem Remote-SSH-, WSL- oder Dev-Container-Fenster nicht angezeigt wird, versuchen Sie ein lokales VS-Code-Fenster das mit dem entfernten Unsloth-Server verbunden ist.

Weitere Optionen zum Laden von Modellen und Einstellungen für die Remote-Verbindung finden Sie im Unsloth-Startleitfaden.

Zuletzt aktualisiert

War das hilfreich?