> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/grundlagen/claude-code.md). # Wie man lokale LLMs mit Claude Code ausführt Diese Schritt-für-Schritt-Anleitung zeigt Ihnen, wie Sie offene LLMs und APIs vollständig lokal mit Claude Code verbinden – inklusive Screenshots. Verwenden Sie ein beliebiges offenes Modell wie Qwen3.6, DeepSeek und Gemma. {% columns %} {% column width="58.333333333333336%" %} Für dieses Tutorial verwenden wir die offenen Modelle: [Gemma 4](/docs/de/modelle/gemma-4.md) und [Qwen3.5](/docs/de/modelle/qwen3.5.md) die leistungsstarke agentische und Coding-Modelle sind (funktioniert auf einem Gerät mit 24 GB RAM/Unified Memory). Für die Inferenz verwenden wir [Unsloth Studio](https://github.com/unslothai/unsloth) und [`llama.cpp`](https://github.com/ggml-org/llama.cpp) womit Sie LLMs auf macOS, Linux und Windows ausführen/servieren können. Sie können jedes andere Modell verwenden. Für Modell-Quants verwenden wir Unsloth [Dynamische GGUFs](/docs/de/grundlagen/unsloth-dynamic-2.0-ggufs.md) um jedes quantisierte LLM auszuführen und dabei die Genauigkeit zu erhalten. {% endcolumn %} {% column width="41.666666666666664%" %}

Claude Code, lokal mit Qwen3.5 ausgeführt.

{% endcolumn %} {% endcolumns %} Claude Code-Einrichtung 📖 Tutorial zum Einrichten eines lokalen Modells ## Claude Code-Einrichtung Bevor wir unser lokales LLM einrichten, müssen wir Claude Code installieren. Claude Code ist ein terminalbasierter Coding-Agent, der Ihre Codebasis versteht und komplexe Git-Workflows mithilfe natürlicher Sprache handhabt. {% tabs %} {% tab title="macOS, Linux, WSL" %} #### **Claude Code installieren:** Fügen Sie dies in Ihr Terminal ein, um Claude Code zu installieren: ```bash curl -fsSL https://claude.ai/install.sh | bash ``` Nach der Installation wechseln Sie in Ihren Projektordner. Dann geben Sie `claude` in die `Shell` ein, um zu beginnen. ```bash cd ~/projects/my-project claude ``` {% endtab %} {% tab title="Windows" %} #### **Claude Code installieren:** Wechseln Sie in `PowerShell` um Claude Code zu installieren: ```powershell irm https://claude.ai/install.ps1 | iex ``` Nach der Installation wechseln Sie in Ihren Projektordner. Dann geben Sie `claude` in die `PowerShell` ein, um zu beginnen.

cd /path/to/your/project
claude

{% endtab %} {% endtabs %} ### :detective:Behebung einer 90 % langsameren Inferenz in Claude Code {% hint style="warning" %} Claude Code fügt kürzlich einen Claude Code Attribution-Header voran und hinzu, was **den KV-Cache ungültig macht und die Inferenz mit lokalen Modellen 90 % langsamer werden lässt**. {% endhint %} Die Attribution ist eine Zeile, die dem **Anfang des System-Prompts** (`x-anthropic-billing-header: cc_version=...; cch=...;` vorangestellt wird, deren Wert sich bei jeder Anfrage ändert, sodass das gesamte Prompt-Präfix bei jedem Durchlauf den KV-Cache verfehlt. Die einfachste Lösung besteht darin, ihn beim Start von Claude Code inline zu deaktivieren, sodass keine Datei bearbeitet werden muss: {% code overflow="wrap" %} ```bash claude --settings '{"env":{"CLAUDE_CODE_ATTRIBUTION_HEADER":"0","CLAUDE_CODE_ENABLE_TELEMETRY":"0"}}' --model unsloth/gemma-4-26B-A4B-it-GGUF ``` {% endcode %} {% hint style="info" %} Neuere Claude-Code-Versionen berücksichtigen auch `export CLAUDE_CODE_ATTRIBUTION_HEADER=0`; ältere Builds ignorierten die Shell-Variable, daher ist die `--settings` -Form oben (oder die unten stehende Einstellungsdatei) die zuverlässige Wahl. {% endhint %} Um es dauerhaft zu machen, fügen Sie `CLAUDE_CODE_ATTRIBUTION_HEADER` auf 0 gesetzt in `"env"` in `~/.claude/settings.json`. Zum Beispiel: `cat > ~/.claude/settings.json` dann fügen Sie den untenstehenden Inhalt hinzu (beim Einfügen ENTER drücken und dann STRG+D zum Speichern). Wenn Sie bereits eine `~/.claude/settings.json` Datei haben, fügen Sie einfach `"CLAUDE_CODE_ATTRIBUTION_HEADER" : "0"` zum Abschnitt "env" hinzu und lassen Sie den Rest der Einstellungsdatei unverändert.

{
  "promptSuggestionEnabled": false,
  "env": {
    "CLAUDE_CODE_ENABLE_TELEMETRY": "0",
    "CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC": "1",
    "CLAUDE_CODE_ATTRIBUTION_HEADER" : "0"
  },
  "attribution": {
    "commit": "",
    "pr": ""
  },
  "plansDirectory" : "./plans",
  "prefersReducedMotion" : true,
  "terminalProgressBarEnabled" : false,
  "effortLevel" : "high"
}

## 📖 Schnellstart-Tutorials {% columns %} {% column %} Bevor wir beginnen, müssen wir zuerst das Setup für das konkrete Modell abschließen, das du verwenden wirst. Wir nutzen [Unsloth](/docs/de/neu/studio.md) (eine Web-UI) und llama.cpp, die Open-Source-Frameworks sind, um LLMs auf deinen Mac-, Linux- und Windows-Geräten auszuführen und bereitzustellen. Unsloth hat außerdem einzigartige selbstheilende [Tool-Calling](/docs/de/neu/studio/chat.md#auto-healing-tool-calling) und [Websuche](/docs/de/neu/studio/chat.md#code-execution) Fähigkeiten. Rechts siehst du Claude Code, verbunden mit Unsloth: {% endcolumn %} {% column %}

{% endcolumn %} {% endcolumns %} Claude Code verbinden 🦥 Unsloth-Tutorial llama.cpp-Tutorial ## 🦥 Unsloth-Tutorial In diesem Tutorial werden wir lokale Modelle über eine UI mit Claude Code verbinden/bereitstellen, indem wir [Unsloth](https://github.com/unslothai/unsloth). Unsloth funktioniert unter Windows, WSL, Linux und macOS. {% columns %} {% column %} * Suchen, herunterladen, [GGUFs ausführen](/docs/de/neu/studio.md#run-models-locally) und Safetensor-Modelle * [**Selbstheilendes** Tool-Calling](/docs/de/neu/studio.md#execute-code--heal-tool-calling) + **Websuche** * [**Codeausführung**](/docs/de/neu/studio.md#run-models-locally) (Python, Bash) * [Automatische Inferenz](/docs/de/neu/studio.md#model-arena) Parameterauswahl (temp, top-p usw.) * Schnelle CPU- + GPU-Inferenz über llama.cpp * [LLMs trainieren](/docs/de/neu/studio.md#no-code-training) 2x schneller mit 70 % weniger VRAM Siehe unten für Installationsanweisungen: {% endcolumn %} {% column %}

Beispiel für Qwen3.6 mit 2-Bit, ausgeführt in Unsloth.

{% endcolumn %} {% endcolumns %} {% tabs %} {% tab title="macOS" %} #### Schritt 1: Unsloth einrichten Starten Sie das `Terminal` auf dem Mac und installieren Sie dann Unsloth, indem Sie den folgenden Befehl eingeben. ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` Unsloth beginnt nun mit der Einrichtung der Umgebung und der Installation der erforderlichen Pakete, wie unten gezeigt. Geben Sie **Y** ein und drücken Sie `Enter` wenn Sie gefragt werden, ob Sie Unsloth jetzt starten möchten. Dadurch wird Unsloth auf Ihrem lokalen **8888** Port gestartet.

{% hint style="info" %} Wenn Sie sich dafür entschieden haben, Unsloth während der Installation nicht zu starten, können Sie die Unsloth-App jederzeit mit `unsloth studio -p 8888` starten. Wenn Sie möchten, dass Ihre Unsloth-Instanz für Clients außerhalb Ihres PCs/Computers erreichbar ist, fügen Sie `-H 0.0.0.0` zum `unsloth studio` Befehl hinzu. {% endhint %} #### Schritt 2: Unsloth starten Öffnen Sie Ihren bevorzugten Browser und geben Sie `http://127.0.0.1:8888` in das URL-Feld ein. Wenn Sie Unsloth zum ersten Mal installieren, werden Sie zur Passwort-Seite weitergeleitet, wo Sie ein neues Passwort erstellen müssen. Danach sollte Unsloth nun auf der Chat-Seite geöffnet werden, wie unten gezeigt.

{% endtab %} {% tab title="Windows" %} #### Schritt 1: Unsloth einrichten Öffnen Sie das Startmenü, suchen Sie nach `PowerShell`und starten Sie es. Kopieren Sie den Installationsbefehl und geben Sie ihn ein: ```powershell irm https://unsloth.ai/install.ps1 | iex ``` die Installation wird automatisch beginnen. Nachdem die Installation abgeschlossen ist, fragt PowerShell, ob Sie Unsloth Studio starten möchten**.**

Sie können es auch mit dem folgenden Befehl starten: ```bash unsloth studio -H 0.0.0.0 -p 8888 ``` {% hint style="info" %} Wenn Sie möchten, dass Ihre Instanz für Clients außerhalb Ihres PCs/Computers erreichbar ist.\ Fügen Sie `-H 0.0.0.0` zum `unsloth studio` Befehl hinzu. {% endhint %} #### Schritt 2: Unsloth starten Öffnen Sie `http://127.0.0.1:8888` in Ihrem Browser. Beim ersten Start erstellen Sie ein neues Passwort, um zur Chat-Seite fortzufahren. **Unsloth Studio** ist jetzt installiert und einsatzbereit.

{% endtab %} {% tab title="Linux, WSL" %} #### Schritt 1: Unsloth einrichten {% tabs %} {% tab title="Linux" %} Öffnen Sie Ihre Terminal-Anwendung. Sie können sie starten, indem Sie `Strg + Alt + T`drücken oder nach `Terminal` im Anwendungsmenü Ihres Systems suchen. {% endtab %} {% tab title="WSL" %} Klicken Sie im Windows-Startmenü und geben Sie den Namen Ihrer installierten Distribution ein (z. B. `Ubuntu`), und öffnen Sie sie dann. {% hint style="warning" %} Unter **WSL**, stellen Sie sicher, dass Ihre **NVIDIA-Treiber** sind installiert auf **Windows** (nicht innerhalb von WSL) und dass das **CUDA Toolkit** in Ihrer WSL-Distribution installiert ist. Weitere Details finden Sie unten unter Systemanforderungen. {% endhint %} {% endtab %} {% endtabs %} Um zu installieren, kopieren Sie den Installationsbefehl und führen Sie ihn aus: ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` Dann: 1. Klicken Sie in das Terminalfenster 2. Fügen Sie den Befehl mit ein `Strg + Umschalt + V` 3. Drücken Sie `Enter` Unsloth beginnt nun mit der Einrichtung der Umgebung und der Installation der erforderlichen Pakete, wie unten gezeigt. Geben Sie **Y** ein und drücken Sie `Enter` wenn Sie gefragt werden, ob Sie Unsloth jetzt starten möchten. Dadurch wird Unsloth auf Ihrem lokalen **8888** Port gestartet.

{% endtab %} {% endtabs %} ### Anleitung zum Laden von Modellen + API {% stepper %} {% step %} #### Modell auswählen Bevor du die API verwendest, lade ein Modell aus dem **Modell auswählen** Dropdown oben links auf der Chat-Seite.

In diesem Leitfaden verwenden wir: `unsloth/gemma-4-26B-A4B-it-GGUF` mit der empfohlenen `UD-Q4_K_XL` Quantisierung. {% endstep %} {% step %} #### Das Modell testen Bevor du den Client verwendest, sende eine kurze Nachricht:

{% hint style="info" %} Das bestätigt, dass das Modell korrekt geladen wurde und bereit ist zu antworten. {% endhint %} {% endstep %} {% step %} #### **Unsloth-API-Schlüssel** Öffne in Unsloth **Einstellungen → API** um deinen API-Schlüssel anzuzeigen oder zu erstellen.

Behandle deinen API-Schlüssel wie ein Passwort und vermeide es, ihn in Screenshots oder Repositories offenzulegen. {% endstep %} {% endstepper %} ## ⚙️ Claude Code verbinden Jetzt, da wir das lokale LLM für Claude Code eingerichtet haben, konfigurieren wir Claude Code so, dass es mit Ihrem Tool funktioniert. Sie können sich entweder einfach verbinden mit `unsloth start` unten oder es [manuell](#connect-manually). ### ⚡ Claude Code ausführen mit `unsloth start` Um Claude direkt mit einem Modell zu starten, führen Sie aus: ```bash unsloth start claude \\ --model unsloth/gemma-4-E2B-it-GGUF:UD-Q4_K_XL \\ --context-length 32768 ``` Öffne bei einem in Unsloth Studio geladenen Modell deinen Projektordner und führe aus: ```bash unsloth start claude ```

Claude Code connected to a local model through Unsloth Studio — Claude Code, ausgeführt gegen das in Unsloth Studio geladene Modell.

Unsloth setzt für diesen Start den lokalen Endpunkt, den API-Schlüssel, das Modell und die Kontextlänge. Ihre normale Claude-Code-Konfiguration bleibt unverändert. Claude Code speichert Unterhaltungen bereits in seinem normalen Sitzungsspeicher, daher `--persist` nicht erforderlich. Setzen Sie Ihre neueste Sitzung fort mit: ```bash unsloth start claude --continue ``` Siehe die vollständige `unsloth start` Referenz zum Laden eines Modells über die Befehlszeile, entfernte Unsloth-Server und erweiterte Optionen. Der Rest dieser Anleitung behandelt die manuelle `llama.cpp` Einrichtung. #### 🔌 Manuell verbinden Wenn Sie es lieber manuell einrichten möchten, können Sie damit beginnen, die folgenden Umgebungsvariablen festzulegen. Diese Variablen bleiben standardmäßig nicht zwischen Sitzungen erhalten. {% tabs %} {% tab title="MacOS, Linux, WSL" %} **Konfiguration:** Setzen Sie die lokale API-URL: ```bash export ANTHROPIC_BASE_URL="http://localhost:8888" ``` Kopieren Sie Ihren Schlüssel aus Unsloth Studio → Einstellungen → API (oder aus der Konsole, wenn Sie es mit `unsloth run` starten, wo er ausgegeben wird als `sk-unsloth-...`), und setzen Sie ihn dann. Setzen Sie außerdem einen leeren `ANTHROPIC_API_KEY` damit Claude Code nicht nach einem Cloud-Schlüssel fragt: ```bash export ANTHROPIC_API_KEY="" ``` Optional: Verwenden Sie den Namen des aktuell in Unsloth geladenen Modells als Standard. ```bash export ANTHROPIC_MODEL="unsloth/gemma-4-26B-A4B-it-GGUF" ``` Verwenden Sie die vollständige Modell-ID genau so, wie sie in `GET http://localhost:8888/v1/models` erscheint (dieselbe Zeichenfolge, die Sie an `claude --model`). {% endtab %} {% tab title="Windows" %} **Konfiguration:** Setzen Sie die lokale API-URL in PowerShell: ```powershell $env:ANTHROPIC_BASE_URL = "http://localhost:8888" ``` Kopieren Sie Ihren Schlüssel aus **Unsloth Studio → Einstellungen → API**und setzen Sie ihn dann: ```powershell $env:ANTHROPIC_AUTH_TOKEN = "sk-unsloth-xxxxxxxxxxxx" ``` **Optional:** Verwenden Sie den Namen des aktuell in Unsloth geladenen Modells als Standard. ```powershell $env:ANTHROPIC_MODEL = "gemma-4-26B-A4B-it-GGUF" ``` {% hint style="info" %} Der Modellname sollte das Modell sein, das aktuell in Unsloth Studio geladen ist. {% endhint %} {% endtab %} {% endtabs %} ### Claude Code starten Starten Sie Claude Code mit dem aktuell in Unsloth geladenen Modell. Wir verwenden `gemma-4-26B-A4B-it-GGUF` , aber Sie können jedes mit Unsloth kompatible Modell verwenden. ```shellscript claude --model unsloth/gemma-4-26B-A4B-it-GGUF ``` {% hint style="info" %} Für einen zusätzlichen Geschwindigkeitsschub bei lokalen Modellen können Sie außerdem mit `--bare --exclude-dynamic-system-prompt-sections` starten. Siehe unten Optional: die Systemeingabeaufforderung verkleinern. {% endhint %} Claude Code sollte das ausgewählte Modell öffnen und anzeigen.

{% hint style="warning" %} Siehe [#fixing-90-slower-inference-in-claude-code](#fixing-90-slower-inference-in-claude-code "mention") zuerst, um zu beheben, dass offene Modelle aufgrund der KV-Cache-Invalidierung 90 % langsamer sind. {% endhint %} Probieren Sie diese Eingabeaufforderung aus, um hochwertige SFT-Datensätze zu recherchieren und zu bewerten: {% code overflow="wrap" %} ``` Sie dürfen nur in project/ arbeiten. Suchen Sie nicht nach CLAUDE.md — das ist es. Verwenden Sie die Websuche, um 10 echte Instruction-/Chat-/SFT-Datensätze auf Hugging Face zu finden, fassen Sie Ihre Ergebnisse kurz zusammen und erklären Sie bei der Recherche, warum jeder Datensatz für SFT relevant ist. Erstellen Sie dann sft_report.md als ausgearbeiteten Markdown-Bericht mit Rang, Datensatzname, Ersteller, 3–5 relevanten Tags, einer kurzen Zusammenfassung in einfachem Englisch und der Begründung, warum er für SFT nützlich ist. Halten Sie alles knapp und lesbar, ohne riesige Metadaten-Dumps, eingefügte Rohbeschreibungen, übergroße Tag-Listen oder nicht verwandte Datensätze. Die Aufgabe ist abgeschlossen, sobald sft_report.md 10 saubere, gut geschriebene Datensatz-Einträge enthält, und endet mit: “Successfully finetuned a model with Unsloth!" ``` {% endcode %} Nachdem Sie die Eingabeaufforderung abgeschickt haben, sucht der Agent im Web, bewertet die Ergebnisse und schreibt den endgültigen Bericht. Dies kann einige Minuten dauern. Einige Workflows erfordern möglicherweise, dass Sie Aktionen genehmigen oder Folgeaufforderungen beantworten.

{% hint style="info" %} Einige Workflows erfordern möglicherweise, dass Sie Aktionen genehmigen oder Folgeaufforderungen beantworten. {% endhint %} Nach Abschluss wird die generierte `sft_report.md` etwa so aussehen.

{% hint style="warning" %} Wenn du `Verbindung zur API nicht möglich (ConnectionRefused)` , denken Sie daran, `ANTHROPIC_BASE_URL` über `unset ANTHROPIC_BASE_URL` Wenn Sie feststellen, dass offene Modelle 90 % langsamer sind, [sehen Sie zuerst hier nach](#fixing-90-slower-inference-in-claude-code) um zu beheben, dass der KV-Cache ungültig wird. {% endhint %} ### Optional: die Systemeingabeaufforderung verkleinern Claude Code wurde für die gehosteten Modelle von Anthropic entwickelt, daher ist seine Standard-Systemeingabeaufforderung groß. Bei lokalen Modellen können Sie sie für schnellere Antworten und bessere KV-Cache-Wiederverwendung verkleinern, indem Sie beim Start zwei Flags hinzufügen: {% code overflow="wrap" %} ```shellscript claude --model unsloth/gemma-4-26B-A4B-it-GGUF --bare --exclude-dynamic-system-prompt-sections ``` {% endcode %} {% hint style="info" %} `--bare` überspringt die automatische Erkennung von Hooks, Skills, Plugins, MCP-Servern und CLAUDE.md (Claude behält Bash sowie Datei-Lesen/Bearbeiten), und `--exclude-dynamic-system-prompt-sections` verschiebt gerätespezifische Abschnitte aus dem Prompt-Präfix heraus. Beide verkleinern die Eingabeaufforderung und verbessern die KV-Cache-Wiederverwendung, wodurch lokale Modelle spürbar schneller werden. Sie sind optional und ändern die obige Verbindungs-Einrichtung nicht. {% endhint %} ### Optional: Den Unsloth-Server anpassen Claude Code verwendet das Modell, das in Unsloth läuft. Sie können anpassen, wie sich der Server beim Start verhält. ```bash # Für einen Coding-Agenten bereitstellen: --disable-tools leitet die eigenen Tools des Agenten weiter unsloth run \\ --model unsloth/gemma-4-26B-A4B-it-GGUF \\ --disable-tools \\ --reasoning off \\ -p 8888 ``` {% hint style="warning" %} Verwende `--disable-tools` beim Steuern von Claude Code (oder einem anderen externen Coding-Agenten). Standardmäßig führt Unsloth Studio seine eigenen serverseitigen Tools aus, wodurch die Tool-Aufrufe des Agenten abgefangen werden, sodass Claude Code zwar antwortet, aber niemals Dateien bearbeitet. `--disable-tools` wechselt zum Durchreichen, sodass Claude Codes eigene Write/Edit/Bash-Tools verwendet werden. {% endhint %} Verwende `--reasoning off` um das Denken auszuschalten, oder `--reasoning on` um es für Modelle, die Schlussfolgern unterstützen, einzuschalten. ```bash # Die API in Ihrem lokalen Netzwerk bereitstellen unsloth run \\ --model unsloth/gemma-4-26B-A4B-it-GGUF \\ -H 0.0.0.0 \\ -p 8888 ``` Dadurch startet der Server auf `0.0.0.0:8888`, sodass andere Geräte in Ihrem lokalen Netzwerk eine Verbindung herstellen können. Verwende `-p` um zu ändern, auf welchem Port der Server läuft. Verwenden Sie `-H 0.0.0.0` wenn sich Telefone, Laptops oder andere Geräte in Ihrem Netzwerk verbinden sollen. Für eine erweiterte Laufzeitkonfiguration siehe den Hauptabschnitt [API-Optimierung](https://unsloth.ai/docs/basics/api#unsloth-run-command) . ## 🦙 Llama.cpp-Tutorial Bevor wir beginnen, müssen wir zuerst das Setup für das konkrete Modell abschließen, das du verwenden wirst. Wir nutzen `llama.cpp` das ein Open-Source-Framework zum Ausführen von LLMs auf Ihren Mac-, Linux-, Windows- usw\.-Geräten ist. Llama.cpp enthält `llama-server` womit Sie LLMs effizient bereitstellen und deployen können. Das Modell wird auf Port 8001 bereitgestellt, wobei alle Agent-Tools über einen einzigen OpenAI-kompatiblen Endpunkt geleitet werden. #### Qwen3.5-Tutorial Wir werden verwenden [Qwen3.5](/docs/de/modelle/qwen3.5.md)-35B-A3B und spezielle Einstellungen für schnelle, genaue Coding-Aufgaben. Wenn Sie nicht genug VRAM haben und ein **intelligenteres** model, **Qwen3.5-27B** ist eine gute Wahl, aber es wird etwa doppelt so langsam sein, oder Sie können andere Qwen3.5-Varianten wie 9B, 4B oder 2B verwenden. {% hint style="info" %} Verwenden Sie Qwen3.5-27B, wenn Sie ein **intelligenteres** Modell wollen oder nicht genug VRAM haben. Es wird jedoch etwa doppelt so langsam sein wie 35B-A3B. Oder Sie können [**Qwen3-Coder-Next**](/docs/de/modelle/qwen3-coder-next.md) das fantastisch ist, wenn Sie genug VRAM haben. {% endhint %} {% stepper %} {% step %} #### llama.cpp installieren Wir müssen `llama.cpp` um lokale LLMs für Claude Code usw. bereitzustellen/zu servieren. Wir folgen den offiziellen Build-Anweisungen für korrekte GPU-Bindings und maximale Leistung. Ändern Sie `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn Sie keine GPU haben oder nur CPU-Inferenz wünschen. **Für Apple-Mac-/Metal-Geräte**, setzen Sie `-DGGML_CUDA=OFF` und fahren Sie dann wie gewohnt fort - Metal-Unterstützung ist standardmäßig aktiviert. ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev git-all -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ```

{% endstep %} {% step %} #### Modelle lokal herunterladen und verwenden Laden Sie das Modell über `huggingface_hub` in Python (nach der Installation über `pip install huggingface_hub hf_transfer`). Wir verwenden die **UD-Q4\_K\_XL** Quantisierung für das beste Verhältnis von Größe und Genauigkeit. Alle Unsloth-GGUF-Uploads findest du in unserer [Sammlung hier](/docs/de/los-gehts/unsloth-model-catalog.md). Wenn Downloads hängen bleiben, siehe [Hugging Face Hub, XET-Debugging](/docs/de/grundlagen/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) ```bash hf download unsloth/Qwen3.5-35B-A3B-GGUF \ --local-dir unsloth/Qwen3.5-35B-A3B-GGUF \ --include "*UD-Q4_K_XL*" # Verwenden Sie "*UD-Q2_K_XL*" für dynamische 2-Bit ```

{% hint style="success" %} Wir haben `unsloth/Qwen3.5-35B-A3B-GGUF` , aber Sie können eine andere Variante wie 27B oder ein anderes Modell wie `unsloth/`[`Qwen3-Coder-Next`](/docs/de/modelle/qwen3-coder-next.md)`-GGUF`. {% endhint %}

{% endstep %} {% step %} #### Starte den Llama-Server Um Qwen3.5 für agentische Workloads bereitzustellen, verwenden wir `llama-server`. Wir wenden [Qwens empfohlene Sampling-Parameter](/docs/de/modelle/qwen3.5.md#recommended-settings) für den Thinking-Modus an: `temp 0.6`, `top_p 0.95` , `top-k 20`. Beachten Sie, dass sich diese Werte ändern, wenn Sie den Non-Thinking-Modus oder andere Aufgaben verwenden. Führe diesen Befehl in einem neuen Terminal aus (verwende `tmux` oder öffne ein neues Terminal). Das Folgende sollte **passt perfekt in eine 24-GB-GPU (RTX 4090) (verwendet 23 GB)** `--fit auf` wird auch automatisch auslagern, aber wenn du schlechte Leistung bemerkst, reduziere `--ctx-size` . {% hint style="info" %} Wir haben `--cache-type-k q8_0 --cache-type-v q8_0` für die KV-Cache-Quantisierung zur Verringerung des VRAM-Verbrauchs. Für volle Präzision verwenden Sie `--cache-type-k bf16 --cache-type-v bf16` .Hinweis: Der bf16-KV-Cache kann auf manchen Maschinen etwas langsamer sein. {% endhint %} ```bash ./llama.cpp/llama-server \\ --model unsloth/Qwen3.5-35B-A3B-GGUF/Qwen3.5-35B-A3B-UD-Q4_K_XL.gguf \ --alias "unsloth/Qwen3.5-35B-A3B" \ --temp 0.6 \\ --top-p 0.95 \\ --top-k 20 \\ --min-p 0.00 \\ --port 8001 \\ --kv-unified \\ --cache-type-k q8_0 --cache-type-v q8_0 ``` {% hint style="success" %} Sie können das Thinking bei Qwen3.5 auch deaktivieren, was die Leistung bei agentischem Coding verbessern kann. Um das Thinking mit llama.cpp zu deaktivieren, fügen Sie dies dem llama-server-Befehl hinzu: `--chat-template-kwargs "{\"enable_thinking\": false}"`

{% endhint %} {% endstep %} {% endstepper %} ### Starten Sie Claude Code mit llama-server {% hint style="success" %} Wir haben `unsloth/GLM-4.7-Flash-GGUF` , aber du kannst alles verwenden wie `unsloth/Qwen3.6-27B-GGUF`. {% endhint %} {% hint style="warning" %} Siehe [#fixing-90-slower-inference-in-claude-code](#fixing-90-slower-inference-in-claude-code "mention") zuerst, um zu beheben, dass offene Modelle aufgrund der KV-Cache-Invalidierung 90 % langsamer sind. {% endhint %} Navigieren Sie zu Ihrem Projektordner (`mkdir project ; cd project`) und führen Sie aus: ```bash claude --model unsloth/GLM-4.7-Flash ``` Um Qwen3.6-35B-A3B zu verwenden, ändern Sie es einfach zu: ```bash claude --model unsloth/Qwen3.6-35B-A3B ```

Um Claude Code so einzustellen, dass Befehle ohne Genehmigungen ausgeführt werden, tun Sie **(ACHTUNG: Dadurch wird Claude Code Code nach Belieben ausführen und ausführen, ohne jegliche Genehmigungen!)** {% code overflow="wrap" %} ```bash claude --model unsloth/GLM-4.7-Flash --dangerously-skip-permissions ``` {% endcode %} Probiere diesen Prompt aus, um ein einfaches Unsloth-Finetuning zu installieren und auszuführen: {% code overflow="wrap" %} ``` Sie dürfen nur im cwd project/ arbeiten. Suchen Sie nicht nach CLAUDE.md - das ist es. Installieren Sie Unsloth über eine virtuelle Umgebung mit uv. Verwenden Sie `python -m venv unsloth_env` und dann, falls möglich, `source unsloth_env/bin/activate`. Siehe https://unsloth.ai/docs/get-started/install/pip-install für die Vorgehensweise (abrufen und lesen). Führen Sie dann einen einfachen Unsloth-Finetuning-Lauf aus, der in https://github.com/unslothai/unsloth beschrieben ist. Sie haben Zugriff auf 1 GPU. ``` {% endcode %}

Nach kurzer Wartezeit wird Unsloth über uv in einer venv installiert und geladen:

und schließlich werden Sie ein erfolgreich mit Unsloth feinabgestimmtes Modell sehen!