Wie man MCP-Server mit lokalen LLMs verwendet

Diese Schritt-für-Schritt-Anleitung zeigt dir, wie du verbindest Model Context Protocol (MCP) Server mit lokalen LLMs wie Qwen oder Gemma, sodass jedes Modell, das du ausführst, über MCP externe Tools und Dienste aufrufen kann. Durch die Verbindung von MCP mit einem lokalen Modell kann es sicher deine lokalen Dateien, Apps, Datenbanken und Tools nutzen, statt nur aus dem Gedächtnis zu chatten, um einen nützlicheren, privaten und austauschbaren KI-Assistenten zu bauen, der in deiner realen Umgebung handeln kann.

Wir werden die Open-Source-Repos Unsloth und llama.cpp verwenden, da sie beliebte Frameworks für lokale Modellinferenz/Deployment sind. MCP funktioniert für lokale GGUF-Modelle und Cloud- Provider-Modelle. Wir zeigen auch, wie mehrere MCP-Server genutzt werden können.

MCP-Tools arbeiten zusammen mit anderen Modellfähigkeiten wie Codeausführung und Websuche, sodass ein einzelnes Modell im selben Thread im Web suchen, Code ausführen und deine verbundenen Dienste aufrufen kann.

Anwendungsfälle

Sobald ein MCP-Server verbunden ist, kannst du dein lokales Modell bitten, viele automatisierte Aufgaben auszuführen. Einige Beispiele:

• Dokumente durchsuchen: „Finde die relevanten Dokumente und fasse die Einrichtungsschritte zusammen.“ - Context7 kann verwendet werden.

• Eine Codebasis analysieren: „Mappe dieses Repo aus und erkläre, wo Authentifizierung, Abrechnung und Datenzugriff stattfinden.“ - Das offizielle GitHub-MCP und GitMCP können zur Analyse von Repos verwendet werden.

• Das Web mit Embeddings durchsuchen - Exas MCP-Server kann für semantische Websuchen mit kontextbezogener Embedding-Unterstützung verwendet werden.

• Website-UIs debuggen - Die Playwright- und Chrome-DevTools-MCP-Server können verwendet werden, um Websites zu steuern und Fehlerbehebungen für Probleme zu finden.

Schnellstart

Wir werden zwei Wege verwenden, um dein lokales Modell auf deinem Gerät mit MCP-Servern zu verbinden. Beide nutzen Open-Source-Pakete: Unsloth und llama.cpp um dein Modell auszuführen, zu hosten und bereitzustellen.

Unsloth MCP-AnleitungLlama.cpp MCP-Anleitung

🦥 Unsloth-Anleitung

In diesem Beispiel verwenden wir Unsloth, um jedes lokale Modell wie Qwen3.6 oder Gemma 4 mit den MCP-Servern zu verbinden: Vercel, Context7, Exa und Hugging Face. Dann fragen wir ein Modell, was es damit tun kann. Die gleichen Schritte funktionieren für jeden MCP-Server.

1

Unsloth Studio einrichten

Jetzt müssen wir installieren und einrichten Unsloth, was es dir ermöglicht, die Cloud-Modelle in einer UI-Oberfläche auszuführen. Siehe hier für ausführlichere Anweisungen.

MacOS

Windows

Linux, WSL

Schritt 1: Unsloth einrichten

Starte das Terminal auf dem Mac und installiere dann Unsloth, indem du den folgenden Befehl eingibst.

Kopieren

curl -fsSL https://unsloth.ai/install.sh | sh

Die Umgebung und die erforderlichen Pakete werden nun installiert. Gib Y ein und drücke Enter, wenn du aufgefordert wirst fortzufahren. Nach Abschluss der Einrichtung ist der Server lokal auf Port verfügbar 8888.

Wenn du das Starten der App während der Installation übersprungen hast, kannst du sie später mit unsloth studio -p 8888. Um Verbindungen von anderen Geräten in deinem Netzwerk zuzulassen, verwende unsloth studio -H 0.0.0.0 -p 8888 stattdessen.

Schritt 2: Unsloth starten

Öffne deinen bevorzugten Browser und gib http://127.0.0.1:8888 in das URL-Feld ein. Wenn dies deine erste Installation von Unsloth ist, wirst du zur Passwortseite weitergeleitet, auf der du ein neues Passwort erstellen musst. Danach solltest du die Chat-Seite wie unten gezeigt sehen.

2

MCP aktivieren

Klicke in der Chat-Symbolleiste auf „MCP“.

Unsloth Studio unterstützt standardmäßig MCP für Context7, Exa und Hugging Face. Das Aktivieren von Exa Websuche deaktiviert das standardmäßige Suchwerkzeug, das wir haben.

3

Eigene MCP-Server hinzufügen

Um den Vercel-MCP-Server hinzuzufügen, klicke auf „Benutzerdefinierten MCP hinzufügen“, und es erscheint ein Pop-up:

Fülle die Serverdetails aus:

1. Anzeigename: eine freundliche Bezeichnung, z. B. Vercel.

2. URL: der Basis-Endpunkt des Servers, z. B. https://mcp.vercel.com.

3. Wähle unten eine Authentifizierungsmethode.

OAuth-Anmeldung

Benutzerdefinierter Header

Für Server, die browserbasierte Authentifizierung erfordern (GitHub, Linear, Vercel usw.), aktiviere OAuth-Anmeldung verwenden. Beim ersten Verbindungsaufbau öffnet sich ein Browserfenster, damit du Unsloth autorisieren kannst.

4

Testen & hinzufügen

Klicke auf Verbindung testen um zu bestätigen, dass Unsloth den Server erreichen kann. Sobald es erfolgreich ist, klicke Server hinzufügen um es zu speichern.

Falls Verbindung testen dies fehlschlägt, überprüfe, ob die URL der Basis-Endpunkt des Servers ist (nicht eine Dokumentationsseite) und ob deine Authentifizierungsmethode korrekt ist. Siehe die Fehlerbehebung unten.

5

Geladene Tools überprüfen

Der Server erscheint nun in der MCP-Server-Liste. Unsloth ruft seine Tools automatisch ab und zeigt eine Bestätigung an, z. B. „Vercel“ aktualisiert (18 Tools).

Jeder Server hat Steuerelemente zum umschalten ihn ein/aus, aktualisieren seiner Tools, bearbeiten oder löschen ihn. Stelle sicher, dass sowohl der Schalter des Servers als auch der MCP-Server verwenden Hauptschalter aktiviert sind, und schließe dann den Dialog.

Er wird hervorgehoben, wenn er aktiviert ist. Du kannst ihn auch wieder deaktivieren, indem du einfach erneut darauf klickst.

6

Im Chat verwenden

Wähle ein beliebiges Modell aus dem Modell auswählen Dropdown-Menü und beginne zu chatten. Das Modell kann nun bei Bedarf selbstständig die Tools des Servers aufrufen.

Oben wurde ein lokales gemma-4-E2B-it-GGUF gefragt "Kannst du den Vercel-MCP-Server verwenden?" und meldete die Aktionen, die es durchführen kann: Projekte verwalten, Protokolle analysieren, Teams auflisten, Zugriffslinks generieren, Domains prüfen und die Vercel-Dokumentation durchsuchen.

Mehrere MCP-Server verwenden

Wie wäre es mit dem Aufruf mehrerer MCP-Server, z. B. 3? Wir verwenden die standardmäßig von Unsloth Studio bereitgestellten MCP-Server Exa, Context7 und Hugging Face und aktivieren alle 3.

Wenn du fragst "Kann Unsloth Qwen-Finetuning unterstützen", liefert Exa dazu ausführliche Details:

Dann als Folgefrage "Suche in den Unsloth-Dokumenten, wie das geht", und Context7 wird für die Doku verwendet:

Dann tippe "Suche bei Hugging Face nach unsloth/Qwen-Modellen", und der MCP-Server von Hugging Face wird aufgerufen:

Ein weiteres spezifisches Anwendungsbeispiel

Sobald ein Server verbunden ist, bitte das Modell, in normaler Sprache echte Arbeit zu erledigen. Einige Beispiele mit dem Vercel-Server:

• Einen fehlschlagenden Build debuggen: "Rufe die Build-Logs für mein neuestes Deployment ab und sag mir, warum es fehlgeschlagen ist."

• Bereitstellungsstatus prüfen: "Liste meine neuesten Deployments und ihren Status auf."

• Die Doku durchsuchen: "Durchsuche die Vercel-Dokumentation, wie man eine benutzerdefinierte Domain einrichtet."

• Domain-Recherche: "Ist myproject.dev verfügbar, und wie viel würde es kosten?"

🦙 Llama.cpp-Anleitung

Fehlerbehebung

Wenn ein Server keine Verbindung herstellt oder seine Tools nicht erscheinen, prüfe, ob die URL die Basis-Endpunkt des Servers ist (z. B. https://mcp.vercel.com), nicht eine Doku- oder Dashboard-Seite. Bei OAuth-Servern schließe die Browser-Anmeldung ab, wenn sie sich öffnet; bei tokenbasierten Servern überprüfe den Authorization Header und dass der Token gültig ist.

Klicke auf Aktualisieren wenn die Tools nach der Verbindung nicht angezeigt werden, und stelle sicher, dass sowohl der einzelne Server-Schalter als auch der MCP-Server verwenden Hauptschalter aktiviert sind.

Sicherheitshinweise

Verbinde nur MCP-Server, denen du vertraust. Prüfe angeforderte Berechtigungen und lasse die menschliche Bestätigung für Aktionen aktiviert, die private Daten lesen, Deployments ändern, Domains kaufen oder Projekte modifizieren. Sei besonders vorsichtig, wenn du MCP-Server mit Websuche oder anderen Tools kombinierst, da prompt-injizierte Inhalte versuchen können, unerwünschte Tool-Aufrufe auszulösen.

Beliebte MCP-Server

Hier ist eine Liste einiger beliebter und nützlicher MCP-Server, mit denen du dich verbinden kannst: