Zum Inhalt springen
For the complete documentation index, see llms.txt. This page is also available as Markdown.

🌙Kimi K2 Thinking: Leitfaden zum lokalen Ausführen

Leitfaden zum Ausführen von Kimi-K2-Thinking und Kimi-K2 auf deinem eigenen lokalen Gerät!

Kimi-K2 und Kimi-K2-Thinking erreichen SOTA-Performance in Wissen, Schlussfolgern, Coding und agentischen Aufgaben. Die vollständigen 1T-Parameter-Modelle von Moonshot AI benötigen 1,09 TB Festplattenspeicher, während die quantisierte Unsloth Dynamic 1,8-Bit Version dies auf nur 230 GB (-80 % Größe) reduziert: Kimi-K2-GGUF

Du kannst jetzt auch unsere Kimi-K2-Thinking GGUFs.

Alle Uploads verwenden Unsloth Dynamic 2.0 für SOTA Aider Polyglot und 5-Shot-MMLU-Performance. Sieh dir an, wie unsere Dynamic-1–2-Bit-GGUFs bei Coding-Benchmarks hier abschneiden.

Thinking ausführenInstruct ausführen

⚙️ Empfohlene Anforderungen

Du benötigst 247 GB Festplattenspeicher um die 1-Bit-Quantisierung auszuführen!

Die einzige Voraussetzung ist Festplattenspeicher + RAM + VRAM ≥ 247 GB. Das bedeutet, dass du nicht so viel RAM oder VRAM (GPU) haben musst, um das Modell auszuführen, aber es wird deutlich langsamer sein.

Die 1,8-Bit-(UD-TQ1_0)-Quantisierung passt in eine 24-GB-GPU (wobei alle MoE-Schichten in den Systemspeicher oder auf eine schnelle Festplatte ausgelagert werden). Mit diesem Setup kannst du etwa ~1–2 Token/s erwarten, wenn du außerdem 256 GB zusätzlichen RAM hast. Die vollständige Kimi-K2-Q8-Quantisierung ist 1,09 TB groß und benötigt mindestens 8 x H200-GPUs.

Für optimale Leistung benötigst du mindestens 247 GB Unified Memory oder 247 GB kombinierten RAM+VRAM für 5+ Token/s. Wenn du weniger als 247 GB kombinierten RAM+VRAM hast, wird die Geschwindigkeit des Modells definitiv leiden.

Wenn du keine 247 GB RAM+VRAM hast, kein Problem! llama.cpp verfügt von Haus aus über Festplatten-Offloading, sodass es per mmaping weiterhin funktioniert, nur eben langsamer - zum Beispiel konntest du vorher vielleicht 5 bis 10 Token/Sekunde erreichen, jetzt sind es weniger als 1 Token.

Wir empfehlen die Verwendung unserer UD-Q2_K_XL (360 GB) Quantisierung, um Größe und Genauigkeit auszubalancieren!

💭Kimi-K2-Thinking-Leitfaden

Kimi-K2-Thinking sollte im Allgemeinen denselben Anweisungen wie das Instruct-Modell folgen, mit einigen wichtigen Unterschieden, insbesondere in Bereichen wie den Einstellungen und der Chat-Vorlage.

🌙 Offizielle empfohlene Einstellungen:

Laut Moonshot AI, dies sind die empfohlenen Einstellungen für die Inferenz von Kimi-K2-Thinking:

  • Stellen Sie Temperatur 1,0 ein, um Wiederholungen und Inkohärenz zu reduzieren.

  • Empfohlene Kontextlänge = 98.304 (bis zu 256K)

  • Hinweis: Die Verwendung unterschiedlicher Tools kann unterschiedliche Einstellungen erfordern

Wir empfehlen, den Wert zu setzen min_p auf 0,01 um das Auftreten unwahrscheinlicher Tokens mit niedrigen Wahrscheinlichkeiten zu unterdrücken.

Zum Beispiel, wenn wir eine Nutzernachricht "Was ist 1+1?" haben, erhalten wir:

✨ Kimi K2 Thinking in llama.cpp ausführen

  1. Holen Sie sich die neueste llama.cpp auf hier auf GitHub. Sie können auch die folgenden Build-Anweisungen befolgen. Ändern Sie -DGGML_CUDA=ON zu -DGGML_CUDA=OFF wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. Für Apple-Mac-/Metal-Geräte, setzen Sie -DGGML_CUDA=OFF und fahren Sie dann wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert.

  1. Wenn Sie llama.cpp um Modelle direkt zu laden, kannst du Folgendes tun: (:UD-TQ1_0) ist der Quantisierungstyp. Du kannst auch über Hugging Face herunterladen (Punkt 3). Das ist ähnlich wie ollama run . Verwenden Sie export LLAMA_CACHE="folder" um zu erzwingen llama.cpp um an einem bestimmten Speicherort zu speichern.

  1. Der obige Befehl verwendet etwa 8 GB GPU-Speicher. Wenn du ungefähr 360 GB kombinierten GPU-Speicher hast, entferne -ot ".ffn_.*_exps.=CPU" um maximale Geschwindigkeit zu erreichen!

Bitte probieren Sie -ot ".ffn_.*_exps.=CPU" um alle MoE-Layer auf die CPU auszulagern! Dadurch können Sie effektiv alle Nicht-MoE-Layer auf 1 GPU unterbringen, was die Generierungsgeschwindigkeit verbessert. Sie können den Regex-Ausdruck anpassen, um mehr Layer unterzubringen, wenn Sie mehr GPU-Kapazität haben.

Wenn Sie etwas mehr GPU-Speicher haben, versuchen Sie -ot ".ffn_(up|down)_exps.=CPU" Dadurch werden Up- und Down-Projektions-MoE-Layer ausgelagert.

Versuchen Sie -ot ".ffn_(up)_exps.=CPU" wenn Sie noch mehr GPU-Speicher haben. Dadurch werden nur Up-Projektions-MoE-Layer ausgelagert.

Und schließlich alle Layer auslagern über -ot ".ffn_.*_exps.=CPU" Dies verwendet am wenigsten VRAM.

Sie können den Regex auch anpassen, zum Beispiel -ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU" bedeutet, Gate-, Up- und Down-MoE-Layer auszulagern, aber nur ab dem 6. Layer aufwärts.

  1. Lade das Modell über (nach der Installation von pip install huggingface_hub hf_transfer ). Wir empfehlen, unsere dynamische 2-Bit-Quantisierung UD-Q2_K_XL zu verwenden, um Größe und Genauigkeit auszubalancieren. Alle Versionen unter: huggingface.co/unsloth/Kimi-K2-Thinking-GGUF

Wenn du feststellst, dass Downloads bei etwa 90 bis 95 % hängen bleiben, sieh bitte unter https://docs.unsloth.ai/basics/troubleshooting-and-faqs#downloading-gets-stuck-at-90-to-95

  1. Führe einen beliebigen Prompt aus.

  2. Bearbeiten --threads -1 für die Anzahl der CPU-Threads (standardmäßig ist dies auf die maximale Anzahl an CPU-Threads gesetzt), --ctx-size 16384 für die Kontextlänge, --n-gpu-layers 99 für das GPU-Offloading, auf wie viele Layer. Setze es auf 99 in Kombination mit MoE-CPU-Offloading, um die beste Leistung zu erzielen. Versuche, den Wert anzupassen, wenn deiner GPU der Speicher ausgeht. Entferne es auch, wenn du nur CPU-Inferenz hast.

🤔Keine Thinking-Tags?

Vielleicht fällt dir auf, dass es keine Denken Tags gibt, wenn du das Modell ausführst. Das ist normales und beabsichtigtes Verhalten.

In deinem llama.cpp Script solltest du sicherstellen, dass du das --special Flag ganz am Ende deines Befehls angibst. Sobald du das tust, wirst du das <think> Token wie erwartet erscheinen sehen.

Du könntest auch sehen, dass jede Antwort mit <|im_end|>. Das ist normal, da <|im_end|> es ein spezielles Token ist, das beim Ausgeben spezieller Tokens erscheint. Wenn du es ausblenden möchtest, kannst du <|im_end|> es als Stopp-String in deinen Einstellungen setzen.

✨ Bereitstellen mit llama-server und der Completion-Bibliothek von OpenAI

Nachdem du llama.cpp gemäß Kimi K2 Thinking, kannst du Folgendes verwenden, um einen OpenAI-kompatiblen Server zu starten:

Verwenden Sie dann die Python-Bibliothek von OpenAI pip install openai :

🔍Eigenheiten des Tokenizers und Fehlerbehebungen

7. November 2025: Wir haben das Kimi-Team benachrichtigt und den Standard-System-Prompt von Du bist Kimi, ein von Moonshot AI erstellter KI-Assistent. erscheint nicht beim ersten User-Prompt! Siehe https://huggingface.co/moonshotai/Kimi-K2-Thinking/discussions/12

Ein riesiges Dankeschön an das Moonshot-Kimi-Team für ihre extrem schnelle Reaktionszeit auf unsere Anfragen und dafür, das Problem so schnell wie möglich behoben zu haben!

16. Juli 2025: Kimi K2 hat ihren Tokenizer aktualisiert, um mehrere Tool-Aufrufe zu ermöglichen gemäß https://x.com/Kimi_Moonshot/status/1945050874067476962

18. Juli 2025: Wir haben einen System-Prompt behoben – Kimi hat auch hier über unseren Fix getwittert: https://x.com/Kimi_Moonshot/status/1946130043446690030. Der Fix wurde auch hier beschrieben: https://huggingface.co/moonshotai/Kimi-K2-Instruct/discussions/28

Wenn du die alten Checkpoints bereits heruntergeladen hast – kein Problem – lade einfach den ersten GGUF-Split herunter, der geändert wurde. ODER wenn du keine neuen Dateien herunterladen möchtest, mache Folgendes:

Der Kimi-K2-Tokenizer war interessant zum Herumspielen – in seiner Funktionsweise ist er größtenteils ähnlich wie der Tokenizer von GPT-4o! Zunächst sehen wir in der tokenization_kimi.py Datei den folgenden regulären Ausdruck (Regex), den Kimi K2 verwendet:

Nach sorgfältiger Prüfung stellen wir fest, dass Kimi K2 dem Regex des Tokenizers von GPT-4o nahezu identisch ist, der im Quellcode von llama.cpp zu finden ist.

Beide tokenisieren Zahlen in Gruppen von 1 bis 3 Ziffern (9, 99, 999) und verwenden ähnliche Muster. Der einzige Unterschied scheint die Behandlung von "Han"- oder chinesischen Zeichen zu sein, mit denen der Tokenizer von Kimi besser zurechtkommt. Der PR von https://github.com/gabriellarson geht mit diesen Unterschieden nach einigen Diskussionen hier gut um.

Wir stellen außerdem fest, dass das korrekte EOS-Token nicht [EOS] sein sollte, sondern <|im_end|>, was wir auch in unseren Modellkonvertierungen behoben haben.

🌝Kimi-K2-Instruct-Leitfaden

Schritt-für-Schritt-Anleitung zum Ausführen der Instruct-Kimi-K2-Modelle einschließlich Kimi K2 0905 - dem Update vom 5. September.

🌙 Offizielle empfohlene Einstellungen:

Laut Moonshot AI, dies sind die empfohlenen Einstellungen für die Inferenz von Kimi K2:

  • Stellen Sie Temperatur 0,6 ein, um Wiederholungen und Inkohärenz zu reduzieren.

  • Der ursprüngliche Standard-System-Prompt lautet:

  • (Optional) Moonshot schlägt für den System-Prompt außerdem Folgendes vor:

🔢 Chat-Vorlage und Prompt-Format

Kimi Chat verwendet tatsächlich ein BOS-Token (Beginning-of-Sentence-Token). Die Rollen System, User und Assistant werden alle mit <|im_middle|> eingeschlossen, was interessant ist, und jede von ihnen erhält ihr jeweiliges Token <|im_system|>, <|im_user|>, <|im_assistant|>.

Um die Gesprächsgrenzen zu trennen (du musst jede neue Zeile entfernen), erhalten wir:

💾 Modell-Uploads

ALLE unsere Uploads - einschließlich derer, die nicht imatrix-basiert oder dynamisch sind, nutzen unseren Kalibrierungsdatensatz, der speziell für dialogische, Coding- und Reasoning-Aufgaben optimiert ist.

MoE-Bits
Typ + Link
Festplattengröße
Details

1,66 Bit

245 GB

1,92/1,56 Bit

1,78 Bit

281 GB

2,06/1,56 Bit

1,93 Bit

304 GB

2.5/2.06/1.56

2,42 Bit

343 GB

2,5/2,06 Bit

2,71 Bit

381 GB

3,5/2,5 Bit

3,12 Bit

417 GB

3,5/2,06 Bit

3,5 Bit

452 GB

4,5/3,5 Bit

4,5 Bit

588 GB

5,5/4,5 Bit

5,5 Bit

732 GB

6,5/5,5 Bit

Wir haben auch Versionen in BF16-Format.

✨ Instruct in llama.cpp ausführen

  1. Holen Sie sich die neueste llama.cpp auf hier auf GitHub. Sie können auch die folgenden Build-Anweisungen befolgen. Ändern Sie -DGGML_CUDA=ON zu -DGGML_CUDA=OFF wenn Sie keine GPU haben oder nur CPU-Inferenz möchten.

  1. Wenn Sie llama.cpp um Modelle direkt zu laden, kannst du Folgendes tun: (:UD-IQ1_S) ist der Quantisierungstyp. Du kannst auch über Hugging Face herunterladen (Punkt 3). Das ist ähnlich wie ollama run . Verwenden Sie export LLAMA_CACHE="folder" um zu erzwingen llama.cpp um an einem bestimmten Speicherort zu speichern. Um das neue Update vom September 2025 für das Modell auszuführen, ändere den Modellnamen von 'Kimi-K2-Instruct' zu 'Kimi-K2-Instruct-0905'.

Bitte probieren Sie -ot ".ffn_.*_exps.=CPU" um alle MoE-Layer auf die CPU auszulagern! Dadurch können Sie effektiv alle Nicht-MoE-Layer auf 1 GPU unterbringen, was die Generierungsgeschwindigkeit verbessert. Sie können den Regex-Ausdruck anpassen, um mehr Layer unterzubringen, wenn Sie mehr GPU-Kapazität haben.

Wenn Sie etwas mehr GPU-Speicher haben, versuchen Sie -ot ".ffn_(up|down)_exps.=CPU" Dadurch werden Up- und Down-Projektions-MoE-Layer ausgelagert.

Versuchen Sie -ot ".ffn_(up)_exps.=CPU" wenn Sie noch mehr GPU-Speicher haben. Dadurch werden nur Up-Projektions-MoE-Layer ausgelagert.

Und schließlich alle Layer auslagern über -ot ".ffn_.*_exps.=CPU" Dies verwendet am wenigsten VRAM.

Sie können den Regex auch anpassen, zum Beispiel -ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU" bedeutet, Gate-, Up- und Down-MoE-Layer auszulagern, aber nur ab dem 6. Layer aufwärts.

  1. Lade das Modell über (nach der Installation von pip install huggingface_hub hf_transfer ). Sie können UD-TQ1_0(dynamische 1,8-Bit-Quantisierung) oder andere quantisierte Versionen wie Q2_K_XL . Wir empfehlen, unsere dynamische 2-Bit-Quantisierung zu verwenden UD-Q2_K_XL zu verwenden, um Größe und Genauigkeit auszubalancieren. Weitere Versionen unter: huggingface.co/unsloth/Kimi-K2-Instruct-GGUF

Wenn du feststellst, dass Downloads bei etwa 90 bis 95 % hängen bleiben, sieh bitte unter https://docs.unsloth.ai/basics/troubleshooting-and-faqs#downloading-gets-stuck-at-90-to-95

  1. Führe einen beliebigen Prompt aus.

  2. Bearbeiten --threads -1 für die Anzahl der CPU-Threads (standardmäßig ist dies auf die maximale Anzahl an CPU-Threads gesetzt), --ctx-size 16384 für die Kontextlänge, --n-gpu-layers 99 für das GPU-Offloading, auf wie viele Layer. Setze es auf 99 in Kombination mit MoE-CPU-Offloading, um die beste Leistung zu erzielen. Versuche, den Wert anzupassen, wenn deiner GPU der Speicher ausgeht. Entferne es auch, wenn du nur CPU-Inferenz hast.

🐦 Flappy Bird + andere Tests

Wir haben den Flappy-Bird-Test eingeführt, als uns unsere 1,58-Bit-Quantisierungen für DeepSeek R1 bereitgestellt wurden. Wir stellten fest, dass Kimi K2 eines der wenigen Modelle war, das alle unsere Aufgaben, einschließlich dieser hier, auf Anhieb löste, Heptagon und andere Tests sogar bei 2-Bit. Das Ziel ist, das LLM zu bitten, ein Flappy-Bird-Spiel zu erstellen, dabei aber einigen spezifischen Anweisungen zu folgen:

Du kannst die dynamischen Quantisierungen auch mithilfe des Heptagon-Tests testen, gemäß r/Localllama das das Modell darauf testet, eine einfache Physik-Engine zu erstellen, um Bälle zu simulieren, die in einer sich bewegenden, geschlossenen Heptagonform rotieren.

Das Ziel ist, das Heptagon rotieren zu lassen, und die Bälle im Heptagon sollten sich bewegen. Der Prompt ist unten:

Zuletzt aktualisiert

War das hilfreich?