🥝Kimi K2.6 – Wie man lokal ausführt

Schritt-für-Schritt-Leitfaden zum Ausführen von Kimi-K2.6 auf deinem eigenen lokalen Gerät.

Kimi K2.6 ist ein offenes Modell von Moonshot, das SOTA-Leistung in den Bereichen Vision, Coding, agentische, Langkontext- und Chat-Aufgaben liefert. Das hybride 1T-Parameter-Denkmodell verfügt über eine Kontextlänge von 256K, und die Vollpräzision benötigt 610 GB Festplattenspeicher. Dynamic 2-Bit erfordert 350 GB (-43 % Größe). Führen Sie Kimi K2.6 über Unsloth Dynamic aus Kimi-K2.6-GGUFs in Unsloth Studio oder llama.cpp.

Dynamische 2-Bit hebt wichtige Schichten auf 8-Bit an und benötigt 350 GB+ VRAM/RAM Setups. Für verlustfreie Kimi K2.6, verwenden Sie Q8 (UD-Q8_K_XL), was nur 10 GB größer ist als Q4 (UD-Q4_K_XL). Alle Uploads verwenden Dynamic 2.0 für SOTA-Quantisierungsleistung. Kimi-K2.6-GGUFs unterstützen auch Vision.

Tabelle: Hardware-Anforderungen (Einheiten = Gesamtspeicher: RAM + VRAM oder Unified Memory)

Messung	Dynamische 2-Bit	Q4	Q8 (verlustfrei)
Festplattenspeicher	340 GB	584 GB	595 GB
Perplexity	2.4131	1.8420	1.8419

📊 Quantisierungsanalyse

UD-Q8_K_XL ist verlustfrei, weil Kimi int4 für MoE-Gewichte und BF16 für alles andere verwendet, und Q8_K_XL folgt dem. UD-Q4_K_XL ist ähnlich, außer dass die übrigen Tensoren Q8_0, also ist es nahezu vollpräzise und benötigt 600 GB RAM/VRAM. Andere nicht von Unsloth stammende GGUFs von anderen Anbietern können dem UD-Q4_K_XL Ansatz anstatt der „wirklich verlustfreien“ UD-Q8_K_XL.

Wir haben jukofyorksFeststellung, dass const float d = max / -7; anstelle des Standardwerts const float d = max / -8; während des Quantisierungsprozesses nur auf den MoE-Schichten angewendet. Dieser Bijektions-Patch auf INT4-nativen MoEs ermöglicht es dem Q4_0 Quantisierungs-Typ, um den absoluten Fehler von 1,8 % auf nahezu 0 % (Epsilon) zu reduzieren.

Allerdings müssen wir andere Schichten in BF16 belassen und unten die Fehlerdiagramme für beide im Vergleich zur BF16-Baseline zeigen. UD-Q8-K_XL ist beim Konvertieren von Q4_0 zu BF16 mit einer gewissen Maschinen-Epsilon-Differenz wirklich „verlustfrei“. Die Perplexität für UD-Q8_K_XL betrug 1,8419 ± 0,00721 und UD-Q4_K_XL 1,8420 ± 0,00720. Beachten Sie, dass das Fehlerdiagramm unten RMSE geteilt durch bfloat16-Epsilon ist, also eine kleine Fehlerskala.

Siehe den Unterschied zwischen Q4_K_XL (blau) und Q8_K_XL (orange), das verlustfrei und 10 GB größer ist.

⚙️ Nutzungsanleitung

Denkmodus und Nicht-Denkmodus erfordern unterschiedliche Einstellungen:

Standard (Denkmodus)	Instant-Modus
temperature = 1.0	temperature = 0.6
top_p = 0.95	top_p = 0.95

• Empfohlene Kontextlänge = 98,304 (bis zu 262,144)

Wenn das Modell passt, erhalten Sie bei Verwendung von B200s >40 Tokens/s. Wir empfehlen UD-Q2_K_XL (350 GB) als gutes Größen-/Qualitätsverhältnis. Beste Faustregel: RAM+VRAM ≈ die Quantisierungsgröße; andernfalls funktioniert es trotzdem, nur langsamer aufgrund von Offloading.

Chat-Vorlage für Kimi K2.6

Ausführen tokenizer.apply_chat_template([{"role": "user", "content": "What is 1+1?"},]) erhältst du:

<|im_system|>system<|im_middle|>Du bist Kimi, ein von Moonshot AI erstellter KI-Assistent.<|im_end|><|im_user|>user<|im_middle|>Was ist 1+1?<|im_end|><|im_assistant|>assistant<|im_middle|><think>

Anleitung zum Ausführen von Kimi K2.6

🦥 Führen Sie Kimi-K2.6 in Unsloth Studio aus

Kimi K2.6 kann in Unsloth Studio, einer Open-Source-Web-UI für lokale KI, ausgeführt werden. Unsloth Studio lagert automatisch in den RAM aus und erkennt Multi-GPU-Setups. Mit Unsloth Studio kannst du Modelle lokal auf MacOS, Windows, Linux und:

• Suchen, herunterladen, GGUFs ausführen und Safetensor-Modelle

• Selbstheilende Tool-Aufrufe + Websuche

• Code-Ausführung (Python, Bash)

• Automatische Inferenz Parametertuning (Temp, Top-P usw.)

• Schnelle CPU- + GPU-Inferenz über llama.cpp

• LLMs trainieren 2x schneller mit 70 % weniger VRAM

1

Unsloth installieren und starten

Um es zu installieren, führe in deinem Terminal aus:

macOS, Linux, WSL:

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell:

irm https://unsloth.ai/install.ps1 | iex

Unsloth starten

MacOS, Linux, WSL und Windows:

unsloth studio -H 0.0.0.0 -p 8888

Dann öffnen Sie http://localhost:8888 in Ihrem Browser.

2

Kimi-K2.6 suchen und herunterladen

Unsloth Studio lagert automatisch in den RAM aus und erkennt Multi-GPU-Setups. Beim ersten Start musst du ein Passwort erstellen, um dein Konto zu sichern und dich später erneut anzumelden.

Gehen Sie dann zur Unsloth Chat Registerkarte und suche nach Kimi-K2.6 in der Suchleiste und lade dein gewünschtes Modell und deine gewünschte Quantisierung herunter. Stelle sicher, dass du genügend Rechenleistung hast, um das Modell auszuführen.

3

Kimi-K2.6 ausführen

Die Inferenzparameter sollten bei Verwendung von Unsloth Studio automatisch gesetzt werden, Sie können sie jedoch weiterhin manuell ändern. Sie können auch die Kontextlänge, das Chat-Template und andere Einstellungen bearbeiten.

Weitere Informationen finden Sie in unserer Unsloth-Studio-Inferenzanleitung.

Beispiel für Qwen3.6 bei der Verwendung von Tool-Calling

🦙 Führen Sie Kimi K2.6 in llama.cpp aus

Für diese Anleitung verwenden wir die UD-Q2_K_XL-Quantisierung, die mindestens 350 GB RAM erfordert. Sie können den Quantisierungstyp gerne ändern. GGUF: Kimi-K2.6-GGUF

Für diese Tutorials werden wir llama.cpp für schnelle lokale Inferenz verwenden, insbesondere wenn Sie eine CPU haben.

1

Holen Sie sich die neueste llama.cpp auf GitHub hier. Sie können auch den folgenden Build-Anweisungen folgen. Ändern Sie -DGGML_CUDA=ON zu -DGGML_CUDA=OFF wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. Für Apple-Mac-/Metal-Geräte, setzen Sie -DGGML_CUDA=OFF und fahren Sie dann wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

Jetzt kannst du llama.cpp direkt verwenden, um Modelle zu laden und herunterzuladen, genau wie ollama run. Wähle zuerst den gewünschten Quantisierungstyp wie Q2_K_XL. Verwende außerdem export LLAMA_CACHE="folder" um zu erzwingen, llama.cpp zum Speichern an einem bestimmten Ort. Beachte, dass dieser Downloadprozess sehr langsam sein kann, daher ist es wahrscheinlich am besten, im nächsten Abschnitt den manuellen Downloadprozess zu verwenden.

Verwenden Sie je nach Anwendungsfall einen der folgenden spezifischen Befehle:

Denkmodus:

export LLAMA_CACHE="unsloth/Kimi-K2.6-GGUF"
./llama.cpp/llama-cli \\
    -hf unsloth/Kimi-K2.6-GGUF:UD-Q2_K_XL \\
    --temp 1.0 \\
    --top-p 0.95

Nicht-Denkmodus (Instant):

export LLAMA_CACHE="unsloth/Kimi-K2.6-GGUF"
./llama.cpp/llama-cli \\
    -hf unsloth/Kimi-K2.6-GGUF:UD-Q2_K_XL \\
    --temp 0.6 \\
    --top-p 0.95 \
    --chat-template-kwargs '{"enable_thinking":false}'

3

Wenn du das Modell manuell herunterladen möchtest, können wir das Modell über den folgenden Code herunterladen (nach der Installation von pip install huggingface_hub). Wenn Downloads hängen bleiben, siehe: Hugging Face Hub, XET-Debugging

hf download unsloth/Kimi-K2.6-GGUF \\
    --local-dir unsloth/Kimi-K2.6-GGUF \\
    --include "*mmproj-F16*" \\
    --include "*UD-Q2_K_XL*" # Verwende "*UD-Q8_K_XL*" für volle Präzision

4

Dann führen Sie das Modell im Konversationsmodus aus:

./llama.cpp/llama-cli \\
    --model unsloth/Kimi-K2.6-GGUF/UD-Q2_K_XL/Kimi-K2.6-UD-Q2_K_XL-00001-of-0008.gguf \\
    --mmproj unsloth/Kimi-K2.6-GGUF/mmproj-F16.gguf \\
    --temp 1.0 \\
    --top-p 0.95

📊 Benchmarks

Du kannst weiter unten Benchmarks in Tabellenform ansehen: