🌘Kimi K2.7 Code – Wie man lokal ausführt

Schritt-für-Schritt-Leitfaden zum Ausführen von Kimi K2.7 Code auf deinem eigenen lokalen Gerät.

Kimi K2.7 Code ist das agentische Coding-Modell von Moonshot AI, aufbauend auf K2.6 um die Aufgabenerledigung zu verbessern und dabei ~30 % weniger Thinking-Tokens zu verwenden. Das 1T-Parameter-(32B aktiv) MoE-Modell unterstützt nur Thinking, Vision und 256K Kontext. Es liefert Spitzenleistung unter offenen Modellen für Vision-, Coding-, agentische, Langkontext- und Chat-Aufgaben. Vollpräzision erfordert 605 GB Festplattenspeicher; Unsloth Dynamic 2-Bit erfordert 325 GB (-48 %). Führe Kimi-K2.7-Code-GGUF über Unsloth Studio oder llama.cpp aus.

Unsloth Dynamic Quantisierungen hebt wichtige Schichten auf 8-Bit an und 1-Bit benötigt 310 GB+ VRAM/RAM Setups. Für verlustfreie Für das verlustfreie Kimi K2.7 verwende Q8 (UD-Q8_K_XL), was nur 10 GB größer ist als Q4 (UD-Q4_K_XL). Du kannst Kimi K2.7 Code über einen Mac Studio oder DGX Station.

Tabelle: Hardware-Anforderungen (Einheiten = Gesamtspeicher: RAM + VRAM oder Unified Memory)

Dynamische 1-Bit

Dynamische 2-Bit

Dynamisches Q3

Q8 (verlustfrei)

310 GB

325-350 GB

385-470 GB

605 GB

📊 Quantisierungsanalyse

Wie Kimi-K2.6, UD-Q8_K_XL ist verlustfrei, weil Kimi int4 für MoE-Gewichte und BF16 für alles andere verwendet, und Q8_K_XL folgt dem. Daher verwenden wir für die Konvertierung von Kimi-K2.6 dieselbe Dynamic-Methodik. UD-Q4_K_XL ist ähnlich, außer dass die übrigen Tensoren Q8_0sind, sodass es nahezu Vollpräzision ist und 600 GB RAM/VRAM benötigt. UD-Q8_K_XL ist "wirklich verlustfrei".

Messung

UD-Q2_K_XL

UD-Q4_K_XL

UD-Q8_K_XL (verlustfrei)

Festplattenspeicher

339 GB

584 GB

595 GB

Perplexity

~2.4131

~1.8420

~1.8419

Wir haben jukofyorksFeststellung, dass const float d = max / -7; anstelle des Standardwerts const float d = max / -8; während des Quantisierungsprozesses nur auf den MoE-Schichten angewendet. Dieser Bijektions-Patch auf INT4-nativen MoEs ermöglicht es dem Q4_0 Quantisierungstyp, den absoluten Fehler von 1,8 % auf nahezu 0 % (Epsilon) zu reduzieren. Unten ist beispielsweise das Histogramm für Kimi-K2.7-Code zu sehen, und man erkennt, dass -8 überhaupt nicht verwendet wird:

Beachte, dass wir auch die anderen Schichten in BF16 belassen müssen und nicht das smarte "Q4_0". Unten zeigen wir die Fehlerdiagramme für beide im Vergleich zur BF16-Baseline. UD-Q8-K_XL ist tatsächlich "verlustfrei" mit einem kleinen Unterschied im Maschinen-Epsilon beim Konvertieren von Q4_0 zu BF16. Q4_K_XL hat also einen gewissen Quantisierungsfehler, da Q8_0 verwendet wird, während Q8_K_XL nahezu verlustfrei ist, abgesehen von der BF16-Rundung.

Für Q4_K_XL zeigen wir außerdem den Fehler pro Tensor von Q8_0 gegenüber BF16. Insgesamt gibt es zwar einen gewissen Fehler zwischen Q8_K_XL (nahezu verlustfrei) und Q4_K_XL, aber nicht viel.

⚙️ Nutzungsanleitung

Kimi K2.7 Code ist nur zum Denken, mit preserve_thinking immer aktiviert. Der Instant-Modus wird nicht unterstützt.

Standard (Denkmodus)

temperature = 1.0

top_p = 0.95

Empfohlene Kontextlänge = 98,304 (bis zu 262,144)

Wenn das Modell passt, erhältst du >100 Tokens/s bei Verwendung von B200s. Wir empfehlen UD-Q2_K_XL (345 GB) als guten Kompromiss zwischen Größe und Qualität. Beste Faustregel: RAM+VRAM ≈ die Quantisierungsgröße; andernfalls funktioniert es trotzdem, nur langsamer wegen Auslagerung.

Chat-Vorlage für Kimi K2.7-Code

Ausführen tokenizer.apply_chat_template([{"role": "user", "content": "What is 1+1?"},]) erhältst du:

<|im_user|>user<|im_middle|>What is 1+1?<|im_end|><|im_assistant|>assistant<|im_middle|><think>

Wenn wir auch Werkzeuge wie in Tool Calling Guide, dann sehen wir Folgendes:

<|im_system|>tool_declare<|im_middle|># Tools

## Funktionen
namespace functions {
// Zwei Zahlen addieren.
type add_number = (_: {
  // Die erste Zahl.
  a: string,
  // Die zweite Zahl.
  b: string
}) => any;
// Zwei Zahlen multiplizieren.
type multiply_number = (_: {
  // Die erste Zahl.
  a: string,
  // Die zweite Zahl.
  b: string
}) => any;
// Zwei Zahlen subtrahieren.
type subtract_number = (_: {
  // Die erste Zahl.
  a: string,
  // Die zweite Zahl.
  b: string
}) => any;
// Schreibt eine zufällige Geschichte.
type write_a_story = (_: {}) => any;
// Operationen im Terminal ausführen.
type terminal = (_: {
  // Der Befehl, den du ausführen möchtest, z. B. `ls`, `rm`, ...
  command: string
}) => any;
// Rufe einen Python-Interpreter mit etwas Python-Code auf, der ausgeführt wird.
type python = (_: {
  // Der auszuführende Python-Code
  code: string
}) => any;
}
<|im_end|><|im_user|>user<|im_middle|>What is 1+1?<|im_end|><|im_assistant|>assistant<|im_middle|><think>

Anleitung zum Ausführen von Kimi K2.7 Code

🦥 Kimi-K2.7-Code in Unsloth Studio ausführen

Kimi K2.7 Code kann in Unsloth Studio, einer Open-Source-Web-UI für lokale KI, ausgeführt werden. Unsloth Studio lagert automatisch in den RAM aus und erkennt Multi-GPU-Setups. Mit Unsloth Studio kannst du Modelle lokal auf MacOS, Windows, Linux und:

Suchen, herunterladen, GGUFs ausführen und Safetensor-Modelle
Selbstheilend Tool-Aufrufe + Websuche
Codeausführung (Python, Bash)
Automatische Inferenz Parameterabstimmung (Temp, Top-p usw.)
Schnelle CPU- + GPU-Inferenz über llama.cpp
LLMs trainieren 2x schneller mit 70 % weniger VRAM

Unsloth installieren und starten

Um es zu installieren, führe in deinem Terminal aus:

MacOS, Linux, WSL:

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell:

irm https://unsloth.ai/install.ps1 | iex

Unsloth starten

MacOS, Linux, WSL und Windows:

unsloth studio -H 0.0.0.0 -p 8888

Dann öffnen Sie http://127.0.0.1:8888 (oder Ihre spezifische URL) in Ihrem Browser.

Kimi K2.7-Code suchen und herunterladen

Unsloth Studio lagert automatisch in den RAM aus und erkennt Multi-GPU-Setups. Beim ersten Start musst du ein Passwort erstellen, um dein Konto zu sichern und dich später erneut anzumelden.

Gehen Sie dann zur Unsloth Chat Registerkarte und suche nach Kimi-K2.7 Code in der Suchleiste und lade dein gewünschtes Modell und deine gewünschte Quantisierung herunter. Stelle sicher, dass du genügend Rechenleistung hast, um das Modell auszuführen.

Kimi-K2.7-Code ausführen

Die Inferenzparameter sollten bei Verwendung von Unsloth Studio automatisch gesetzt werden, Sie können sie jedoch weiterhin manuell ändern. Sie können auch die Kontextlänge, das Chat-Template und andere Einstellungen bearbeiten.

Für weitere Informationen können Sie unsere Unsloth-Studio-Inferenzanleitung.

🦙 Kimi K2.7 Code in llama.cpp ausführen

Für diese Anleitung werden wir die UD-Q2_K_XL Quantisierung verwenden, die mindestens 345 GB RAM erfordert. Du kannst den Quantisierungstyp gerne ändern. GGUF: Kimi-K2.7-Code-GGUF

Für diese Tutorials werden wir llama.cpp für schnelle lokale Inferenz verwenden, insbesondere wenn Sie eine CPU haben.

Holen Sie sich das neueste llama.cpp unter GitHub hier. Sie können auch die folgenden Build-Anweisungen befolgen. Ändern Sie -DGGML_CUDA=ON zu -DGGML_CUDA=OFF wenn Sie keine GPU haben oder einfach nur CPU-Inferenz wünschen. Für Apple Mac / Metal-Geräte, setzen Sie -DGGML_CUDA=OFF und fahren Sie dann wie gewohnt fort - Metal-Unterstützung ist standardmäßig aktiviert.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

Lass uns zuerst ein Bild holen! Du kannst auch Bilder hochladen. Wir werden https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/images/unsloth%20made%20with%20love.png, das einfach unser Mini-Logo ist, das zeigt, wie Finetunes mit Unsloth erstellt werden:

wget https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/images/unsloth%20made%20with%20love.png -O unsloth.png

Lass uns das zweite Bild holen unter https://files.worldwildlife.org/wwfcmsprod/images/Sloth_Sitting_iStock_3_12_2014/story_full_width/8l7pbjmj29_iStock_000011145477Large_mini__1_.jpg

wget https://files.worldwildlife.org/wwfcmsprod/images/Sloth_Sitting_iStock_3_12_2014/story_full_width/8l7pbjmj29_iStock_000011145477Large_mini__1_.jpg -O picture.png

Jetzt kannst du llama.cpp direkt verwenden, um Modelle zu laden und herunterzuladen, genau wie ollama run. Wähle zuerst den gewünschten Quantisierungstyp wie Q2_K_XL. Verwende außerdem export LLAMA_CACHE="folder" um zu erzwingen llama.cpp zum Speichern an einem bestimmten Ort. Beachte, dass dieser Downloadprozess sehr langsam sein kann, daher ist es wahrscheinlich am besten, im nächsten Abschnitt den manuellen Downloadprozess zu verwenden.

export LLAMA_CACHE=\"unsloth/Kimi-K2.7-Code-GGUF\"
./llama.cpp/llama-cli \\
    -hf unsloth/Kimi-K2.7-Code-GGUF:UD-Q2_K_XL \\
    --temp 1.0 \
    --top-p 0.95

Wenn du das Modell manuell herunterladen möchtest, können wir das Modell über den folgenden Code herunterladen (nach der Installation von pip install huggingface_hub). Wenn Downloads hängen bleiben, siehe: Hugging Face Hub, XET-Debugging

hf download unsloth/Kimi-K2.7-Code-GGUF \\
    --local-dir unsloth/Kimi-K2.7-Code-GGUF \\
    --include "*mmproj-F16*" \\
    --include "*UD-Q2_K_XL*" # Verwende "*UD-Q8_K_XL*" für volle Präzision

Dann führen Sie das Modell im Konversationsmodus aus:

./llama.cpp/llama-cli \\
    --model unsloth/Kimi-K2.7-Code-GGUF/UD-Q2_K_XL/Kimi-K2.7-Code-UD-Q2_K_XL-00001-of-00008.gguf \\
    --mmproj unsloth/Kimi-K2.7-Code-GGUF/mmproj-F16.gguf \\
    --temp 1.0 \
    --top-p 0.95

Dann wirst du Folgendes sehen:

Dann verwende /image um beide Bilder zu laden und zu fragen "Was ist dieses Bild?":

und du wirst etwas wie das Folgende erhalten:

Beim zweiten Bild des Faultiers:

Wodurch du Folgendes erhältst:

📊 Benchmarks

Du kannst weiter unten Benchmarks in Tabellenform ansehen:

Benchmark

Kimi K2.7 Code

Kimi K2.6

GPT-5.5

Claude Opus 4.8

Programmierung

Kimi Code Bench v2

62.0

50.9

69.0

67.4

Programmbenchmark

53.6

48.3

69.1

63.8

MLS Bench Lite

35.1

26.7

35.5

42.8

Agentisch

Kimi Claw 24/7 Bench

46.9

42.9

52.8

50.4

MCP Atlas

76.0

69.4

79.4

81.3

MCP Mark verifiziert

81.1

72.8

92.9

76.4

Zuletzt aktualisiert vor 1 Monat

War das hilfreich?