🌙Kimi K2 Thinking: Leitfaden zum lokalen Ausführen
Leitfaden zum Ausführen von Kimi-K2-Thinking und Kimi-K2 auf deinem eigenen lokalen Gerät!
Kimi-K2 und Kimi-K2-Thinking erreichen SOTA-Performance in Wissen, Schlussfolgern, Coding und agentischen Aufgaben. Die vollständigen 1T-Parameter-Modelle von Moonshot AI benötigen 1,09 TB Festplattenspeicher, während die quantisierte Unsloth Dynamic 1,8-Bit Version dies auf nur 230 GB (-80 % Größe) reduziert: Kimi-K2-GGUF
Du kannst jetzt auch unsere Kimi-K2-Thinking GGUFs.
Alle Uploads verwenden Unsloth Dynamic 2.0 für SOTA Aider Polyglot und 5-Shot-MMLU-Performance. Sieh dir an, wie unsere Dynamic-1–2-Bit-GGUFs bei Coding-Benchmarks hier abschneiden.
⚙️ Empfohlene Anforderungen
Die 1,8-Bit-(UD-TQ1_0)-Quantisierung passt in eine 24-GB-GPU (wobei alle MoE-Schichten in den Systemspeicher oder auf eine schnelle Festplatte ausgelagert werden). Mit diesem Setup kannst du etwa ~1–2 Token/s erwarten, wenn du außerdem 256 GB zusätzlichen RAM hast. Die vollständige Kimi-K2-Q8-Quantisierung ist 1,09 TB groß und benötigt mindestens 8 x H200-GPUs.
Für optimale Leistung benötigst du mindestens 247 GB Unified Memory oder 247 GB kombinierten RAM+VRAM für 5+ Token/s. Wenn du weniger als 247 GB kombinierten RAM+VRAM hast, wird die Geschwindigkeit des Modells definitiv leiden.
Wenn du keine 247 GB RAM+VRAM hast, kein Problem! llama.cpp verfügt von Haus aus über Festplatten-Offloading, sodass es per mmaping weiterhin funktioniert, nur eben langsamer - zum Beispiel konntest du vorher vielleicht 5 bis 10 Token/Sekunde erreichen, jetzt sind es weniger als 1 Token.
Wir empfehlen die Verwendung unserer UD-Q2_K_XL (360 GB) Quantisierung, um Größe und Genauigkeit auszubalancieren!
💭Kimi-K2-Thinking-Leitfaden
Kimi-K2-Thinking sollte im Allgemeinen denselben Anweisungen wie das Instruct-Modell folgen, mit einigen wichtigen Unterschieden, insbesondere in Bereichen wie den Einstellungen und der Chat-Vorlage.
🌙 Offizielle empfohlene Einstellungen:
Laut Moonshot AI, dies sind die empfohlenen Einstellungen für die Inferenz von Kimi-K2-Thinking:
Stellen Sie Temperatur 1,0 ein, um Wiederholungen und Inkohärenz zu reduzieren.
Empfohlene Kontextlänge = 98.304 (bis zu 256K)
Hinweis: Die Verwendung unterschiedlicher Tools kann unterschiedliche Einstellungen erfordern
Zum Beispiel, wenn wir eine Nutzernachricht "Was ist 1+1?" haben, erhalten wir:
✨ Kimi K2 Thinking in llama.cpp ausführen
Holen Sie sich die neueste
llama.cppauf hier auf GitHub. Sie können auch die folgenden Build-Anweisungen befolgen. Ändern Sie-DGGML_CUDA=ONzu-DGGML_CUDA=OFFwenn Sie keine GPU haben oder nur CPU-Inferenz möchten. Für Apple-Mac-/Metal-Geräte, setzen Sie-DGGML_CUDA=OFFund fahren Sie dann wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert.
Wenn Sie
llama.cppum Modelle direkt zu laden, kannst du Folgendes tun: (:UD-TQ1_0) ist der Quantisierungstyp. Du kannst auch über Hugging Face herunterladen (Punkt 3). Das ist ähnlich wieollama run. Verwenden Sieexport LLAMA_CACHE="folder"um zu erzwingenllama.cppum an einem bestimmten Speicherort zu speichern.
Der obige Befehl verwendet etwa 8 GB GPU-Speicher. Wenn du ungefähr 360 GB kombinierten GPU-Speicher hast, entferne
-ot ".ffn_.*_exps.=CPU"um maximale Geschwindigkeit zu erreichen!
Lade das Modell über (nach der Installation von
pip install huggingface_hub hf_transfer). Wir empfehlen, unsere dynamische 2-Bit-Quantisierung UD-Q2_K_XL zu verwenden, um Größe und Genauigkeit auszubalancieren. Alle Versionen unter: huggingface.co/unsloth/Kimi-K2-Thinking-GGUF
Führe einen beliebigen Prompt aus.
Bearbeiten
--threads -1für die Anzahl der CPU-Threads (standardmäßig ist dies auf die maximale Anzahl an CPU-Threads gesetzt),--ctx-size 16384für die Kontextlänge,--n-gpu-layers 99für das GPU-Offloading, auf wie viele Layer. Setze es auf 99 in Kombination mit MoE-CPU-Offloading, um die beste Leistung zu erzielen. Versuche, den Wert anzupassen, wenn deiner GPU der Speicher ausgeht. Entferne es auch, wenn du nur CPU-Inferenz hast.
🤔Keine Thinking-Tags?
Vielleicht fällt dir auf, dass es keine Denken Tags gibt, wenn du das Modell ausführst. Das ist normales und beabsichtigtes Verhalten.
In deinem llama.cpp Script solltest du sicherstellen, dass du das --special Flag ganz am Ende deines Befehls angibst. Sobald du das tust, wirst du das <think> Token wie erwartet erscheinen sehen.
Du könntest auch sehen, dass jede Antwort mit <|im_end|>. Das ist normal, da <|im_end|> es ein spezielles Token ist, das beim Ausgeben spezieller Tokens erscheint. Wenn du es ausblenden möchtest, kannst du <|im_end|> es als Stopp-String in deinen Einstellungen setzen.
✨ Bereitstellen mit llama-server und der Completion-Bibliothek von OpenAI
Nachdem du llama.cpp gemäß Kimi K2 Thinking, kannst du Folgendes verwenden, um einen OpenAI-kompatiblen Server zu starten:
Verwenden Sie dann die Python-Bibliothek von OpenAI pip install openai :
🔍Eigenheiten des Tokenizers und Fehlerbehebungen
7. November 2025: Wir haben das Kimi-Team benachrichtigt und den Standard-System-Prompt von Du bist Kimi, ein von Moonshot AI erstellter KI-Assistent. erscheint nicht beim ersten User-Prompt! Siehe https://huggingface.co/moonshotai/Kimi-K2-Thinking/discussions/12
Ein riesiges Dankeschön an das Moonshot-Kimi-Team für ihre extrem schnelle Reaktionszeit auf unsere Anfragen und dafür, das Problem so schnell wie möglich behoben zu haben!
16. Juli 2025: Kimi K2 hat ihren Tokenizer aktualisiert, um mehrere Tool-Aufrufe zu ermöglichen gemäß https://x.com/Kimi_Moonshot/status/1945050874067476962
18. Juli 2025: Wir haben einen System-Prompt behoben – Kimi hat auch hier über unseren Fix getwittert: https://x.com/Kimi_Moonshot/status/1946130043446690030. Der Fix wurde auch hier beschrieben: https://huggingface.co/moonshotai/Kimi-K2-Instruct/discussions/28
Wenn du die alten Checkpoints bereits heruntergeladen hast – kein Problem – lade einfach den ersten GGUF-Split herunter, der geändert wurde. ODER wenn du keine neuen Dateien herunterladen möchtest, mache Folgendes:
Der Kimi-K2-Tokenizer war interessant zum Herumspielen – in seiner Funktionsweise ist er größtenteils ähnlich wie der Tokenizer von GPT-4o! Zunächst sehen wir in der tokenization_kimi.py Datei den folgenden regulären Ausdruck (Regex), den Kimi K2 verwendet:
Nach sorgfältiger Prüfung stellen wir fest, dass Kimi K2 dem Regex des Tokenizers von GPT-4o nahezu identisch ist, der im Quellcode von llama.cpp zu finden ist.
Beide tokenisieren Zahlen in Gruppen von 1 bis 3 Ziffern (9, 99, 999) und verwenden ähnliche Muster. Der einzige Unterschied scheint die Behandlung von "Han"- oder chinesischen Zeichen zu sein, mit denen der Tokenizer von Kimi besser zurechtkommt. Der PR von https://github.com/gabriellarson geht mit diesen Unterschieden nach einigen Diskussionen hier gut um.
Wir stellen außerdem fest, dass das korrekte EOS-Token nicht [EOS] sein sollte, sondern <|im_end|>, was wir auch in unseren Modellkonvertierungen behoben haben.
🌝Kimi-K2-Instruct-Leitfaden
Schritt-für-Schritt-Anleitung zum Ausführen der Instruct-Kimi-K2-Modelle einschließlich Kimi K2 0905 - dem Update vom 5. September.
🌙 Offizielle empfohlene Einstellungen:
Laut Moonshot AI, dies sind die empfohlenen Einstellungen für die Inferenz von Kimi K2:
Stellen Sie Temperatur 0,6 ein, um Wiederholungen und Inkohärenz zu reduzieren.
Der ursprüngliche Standard-System-Prompt lautet:
(Optional) Moonshot schlägt für den System-Prompt außerdem Folgendes vor:
🔢 Chat-Vorlage und Prompt-Format
Kimi Chat verwendet tatsächlich ein BOS-Token (Beginning-of-Sentence-Token). Die Rollen System, User und Assistant werden alle mit <|im_middle|> eingeschlossen, was interessant ist, und jede von ihnen erhält ihr jeweiliges Token <|im_system|>, <|im_user|>, <|im_assistant|>.
Um die Gesprächsgrenzen zu trennen (du musst jede neue Zeile entfernen), erhalten wir:
💾 Modell-Uploads
ALLE unsere Uploads - einschließlich derer, die nicht imatrix-basiert oder dynamisch sind, nutzen unseren Kalibrierungsdatensatz, der speziell für dialogische, Coding- und Reasoning-Aufgaben optimiert ist.
Wir haben auch Versionen in BF16-Format.
✨ Instruct in llama.cpp ausführen
Holen Sie sich die neueste
llama.cppauf hier auf GitHub. Sie können auch die folgenden Build-Anweisungen befolgen. Ändern Sie-DGGML_CUDA=ONzu-DGGML_CUDA=OFFwenn Sie keine GPU haben oder nur CPU-Inferenz möchten.
Wenn Sie
llama.cppum Modelle direkt zu laden, kannst du Folgendes tun: (:UD-IQ1_S) ist der Quantisierungstyp. Du kannst auch über Hugging Face herunterladen (Punkt 3). Das ist ähnlich wieollama run. Verwenden Sieexport LLAMA_CACHE="folder"um zu erzwingenllama.cppum an einem bestimmten Speicherort zu speichern. Um das neue Update vom September 2025 für das Modell auszuführen, ändere den Modellnamen von 'Kimi-K2-Instruct' zu 'Kimi-K2-Instruct-0905'.
Lade das Modell über (nach der Installation von
pip install huggingface_hub hf_transfer). Sie könnenUD-TQ1_0(dynamische 1,8-Bit-Quantisierung) oder andere quantisierte Versionen wieQ2_K_XL. Wir empfehlen, unsere dynamische 2-Bit-Quantisierung zu verwendenUD-Q2_K_XLzu verwenden, um Größe und Genauigkeit auszubalancieren. Weitere Versionen unter: huggingface.co/unsloth/Kimi-K2-Instruct-GGUF
Führe einen beliebigen Prompt aus.
Bearbeiten
--threads -1für die Anzahl der CPU-Threads (standardmäßig ist dies auf die maximale Anzahl an CPU-Threads gesetzt),--ctx-size 16384für die Kontextlänge,--n-gpu-layers 99für das GPU-Offloading, auf wie viele Layer. Setze es auf 99 in Kombination mit MoE-CPU-Offloading, um die beste Leistung zu erzielen. Versuche, den Wert anzupassen, wenn deiner GPU der Speicher ausgeht. Entferne es auch, wenn du nur CPU-Inferenz hast.
🐦 Flappy Bird + andere Tests
Wir haben den Flappy-Bird-Test eingeführt, als uns unsere 1,58-Bit-Quantisierungen für DeepSeek R1 bereitgestellt wurden. Wir stellten fest, dass Kimi K2 eines der wenigen Modelle war, das alle unsere Aufgaben, einschließlich dieser hier, auf Anhieb löste, Heptagon und andere Tests sogar bei 2-Bit. Das Ziel ist, das LLM zu bitten, ein Flappy-Bird-Spiel zu erstellen, dabei aber einigen spezifischen Anweisungen zu folgen:
Du kannst die dynamischen Quantisierungen auch mithilfe des Heptagon-Tests testen, gemäß r/Localllama das das Modell darauf testet, eine einfache Physik-Engine zu erstellen, um Bälle zu simulieren, die in einer sich bewegenden, geschlossenen Heptagonform rotieren.

Das Ziel ist, das Heptagon rotieren zu lassen, und die Bälle im Heptagon sollten sich bewegen. Der Prompt ist unten:
Zuletzt aktualisiert
War das hilfreich?

