> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/tutorials/kimi-k3.md). # Kimi K3 Leitfaden zum Ausführen von Kimi K3 Quants in deiner lokalen Umgebung. Kimi K3 von Moonshot AI ist ein Open-Weight-Modell mit 2,8 Billionen Parametern (104 Milliarden aktiv), entwickelt für SOTA-Coding-, agentische, Langkontext- und Chat-Workloads. Es ist das **stärkstes offenes Modell** bis heute und konkurriert mit Claude 4.8 Opus und GPT-5.6. Kimi K3 hat native Vision, ein Kontextfenster mit 1 Mio. Token und verwendet MXFP4. Die Inferenz mit voller Präzision erfordert 1,56 TB Speicher, und 1-Bit-Kimi K3 [Unsloth](https://github.com/unslothai/unsloth) Dynamic GGUF erfordert **594 GB (62 % weniger)**. {% columns %} {% column %} Dynamic 1-Bit (siehe rechts) erreicht **\~78.9%** Top-1-Genauigkeit bei gleichzeitiger **62 % kleiner**. Dynamic 2-Bit 861,3 GB erreicht **\~90%** Genauigkeit bei gleichzeitig **45 % kleiner**. Ausführen [**Kimi-K3-GGUF**](https://huggingface.co/unsloth/Kimi-K3-GGUF) über [Unsloth Studio](/docs/de/neu/studio.md) oder llama.cpp. Kimi K3 kann auf einer NVIDIA DGX Station oder einem mit 128 GB RAM ausgestatteten Mac Studio laufen. Für **verlustfrei** Für Kimi K3 verwenden Sie Q8 (`UD-Q8_K_XL`), was **50 GB größer** als Q4 (`UD-Q4_K_XL`). Wir untersuchen noch, ob wir es ohne Schädigung des Modells unter 512 GiB drücken können (dynamisches 1-Bit ist 553,2 GiB). Kimi K3-Tutorials ausführenQuantisierungs-Ergebnisse {% endcolumn %} {% column %}

1-Bit-Kimi-K3-GGUF vs. Claude 5 vs. GPT 5.6

{% endcolumn %} {% endcolumns %} **Tabelle: Hardwareanforderungen** (Einheiten = Gesamtspeicher: RAM + VRAM oder einheitlicher Speicher) | Dynamisches 1-Bit S | Dynamisches 1-Bit M | Dynamisches 2-Bit XXS | Dynamisches 2-Bit XL | Q8 (verlustfrei) | | ------------------- | ------------------- | --------------------- | -------------------- | ---------------- | | 610 GB | 665 GB | 726 GB | 880 GB | 1,6 TB | ### Details zur Implementierung von Kimi K3 GGUF Wir haben auf [llama.cpp-PR](https://github.com/ggml-org/llama.cpp/pull/26185) durch [unserem Fork](https://github.com/unslothai/llama.cpp/pull/48) aufgebaut, der Vision-Unterstützung und einige Fehlerbehebungen enthält. 1. Der mmproj-/Vision-Turm ähnelt dem Kimi-K2.5-Turm, aber mit RMSNorm, ohne Biases, einem nicht quadratischen Fusion- QKV (qkv-Breite != n\_embd) und einem Projektor nach der Normierung. 2. Wir haben beim Ausführen von llama.cpp festgestellt, dass das `n_tokens * 40` Budget bei großen Batch-Größen versagt hat, und deshalb mussten wir es auf `n_tokens * 160` 3. Wir mussten außerdem die Kimi-Chat-Vorlage in ein Jinja-Format umwandeln. 4. Wir haben so viel wie möglich getestet, um alle Fälle abzudecken. Kimi wurde standardmäßig mit **beibehaltenem Denken bei**, sodass alle Denkspuren nicht gelöscht, sondern beibehalten werden. ### 📊 Quantisierungsanalyse Wie Kimi [K2.6](/docs/de/modelle/tutorials/kimi-k2.6.md) und [K2.7](/docs/de/modelle/tutorials/kimi-k2.7-code.md), K3s `UD-Q8_K_XL` verlustfrei ist, weil Kimi MXFP4 für MoE-Gewichte und BF16 für alles andere verwendet, und `Q8_K_XL` folgt dem genau. `UD-Q4_K_XL` ist ähnlich, außer dass einige der verbleibenden Tensoren (außer Normen usw.) `Q8_0`, sodass es nahezu volle Präzision ist und 1,56 TB RAM/VRAM erfordert. `UD-Q8_K_XL` ist „wirklich verlustfrei“ im Vergleich zur MXFP4-Voll-safetensors-Version.
QuantisierungGBmittlere KLDPPL(q)Top-1-Übereinstimmung %RMS dp %
UD-IQ1_S594.00.56452.578978.875 +/- 0.10736.495
UD-IQ1_M648.90.47892.363981.219 +/- 0.10333.629
UD-IQ2_XXS711.10.37842.126684.127 +/- 0.09629.826
UD-Q2_K_XL861.30.17791.735990.390 +/- 0.07719.862
UD-Q4_K_XL1,5101.4579
UD-Q8_K_XL1,5601.4581
Für die Erzeugung der imatrix und die Quantisierung haben wir die verlustfreie 1,56-TB- `UD-Q8_K_XL` während der Kalibrierung verwendet; ihre Perplexität beträgt 1,4581. Unsere dynamische 1-Bit-Quantisierung erreicht eine Perplexität von 2,58 mit 79 % Top-1-Genauigkeit und ist damit überraschend brauchbar. Andere Community-Quants sind größer, verschlechtern sich aber wesentlich stärker. Zum Beispiel übertrifft eine 618,9-GB-Quantisierung `IQ1_M` unsere 594-GB-1-Bit-Quantisierung, aber ihre Perplexität springt auf 54,56 - 21× schlechter. Das gleiche Muster gilt für `IQ2_XXS`: 725 GB bei 96 PPL gegenüber unseren 711 GB bei 2,12 PPL - 45× schlechter, was bedeutet, dass ihre 2-Bit-Version sogar schlechter abschneidet als ihre 1-Bit-Version. Dies unterstreicht die Bedeutung von dynamischer Quantisierung + geeigneter Kalibrierung. **Wir bieten auch Top-1%-Genauigkeit, KLD-Diagramme:**
### :gear: Anleitung zur Nutzung Kimi K3 ist **nur im Denkmodus**, mit **`preserve_thinking` immer aktiviert** und **max** Denken ist standardmäßig aktiviert. Der Sofortmodus wird nicht unterstützt. Der Denkaufwand wird mit dem `reasoning_effort` Anforderungsfeld konfiguriert, und K3 unterstützt `„low“`, `„high“`, und `„max“` Denkaufwände. | Standard | Agentisch | | ----------------- | ----------------- | | temperature = 1.0 | temperature = 1.0 | | top\_p = 0.95 | top\_p = 1.0 | * Kontextlänge = bis zu `1,048,576` * Niedriges, hohes oder maximales Denken ist in Unsloth umschaltbar Wenn das Modell passt, erhalten Sie bei Verwendung von B200s \~20 Token/s Generierung und >120 Token/s Durchsatz. Wir empfehlen [`UD-IQ1_S`](https://huggingface.co/unsloth/Kimi-K3-GGUF?show_file_info=UD-IQ1_S%2FKimi-K3-UD-IQ1_S-00001-of-00015.gguf) (594 GB) als guten Kompromiss zwischen Größe und Qualität. Beste Faustregel: RAM+VRAM ≈ die Quantgröße; andernfalls funktioniert es trotzdem, nur viel langsamer aufgrund des Auslagerns auf die Festplatte. ## Kimi K3-Leitfaden ausführen Sie können Kimi K3 jetzt in [llama.cpp](#run-in-llama.cpp) und [Unsloth Desktop](https://unsloth.ai/docs/de/modelle/tutorials/pages/58e5f3df7be61773c8d7055c30a65310240079a4#run-glm-5.2-in-unsloth-studio). Wir werden die 594-GB- [`UD-IQ1_S`](https://huggingface.co/unsloth/Kimi-K3-GGUF?show_file_info=UD-IQ1_S%2FKimi-K3-UD-IQ1_S-00001-of-00015.gguf) Quantisierung für beste Ergebnisse hinsichtlich Zugänglichkeit und Genauigkeit verwenden, und sie erfordert mindestens 610 GB RAM. Sie können den Quantisierungstyp gern ändern. GGUF: [**Kimi-K3-GGUF**](https://huggingface.co/unsloth/Kimi-K3-GGUF) ### 🦥 Kimi-K3 in Unsloth ausführen Kimi K3 kann in [Unsloth Desktop](/docs/de/desktop.md)einer Open-Source-Desktop-Oberfläche für lokale KI ausgeführt werden. **Unsloth Desktop lagert automatisch in den RAM aus und erkennt Multi-GPU-Setups**. Mit Unsloth Studio können Sie Modelle lokal auf **MacOS, Windows**, Linux und: {% columns %} {% column %} * Suchen, herunterladen, [GGUFs ausführen](/docs/de/neu/studio.md#run-models-locally) und Safetensor-Modelle * [**Selbstheilendes** Tool-Calling](/docs/de/neu/studio.md#execute-code--heal-tool-calling) + **Websuche** * [**Code-Ausführung**](/docs/de/neu/studio.md#run-models-locally) (Python, Bash) * [Automatische Inferenz](https://unsloth.ai/docs/desktop#feature-deep-dive) Parameter-Tuning (Temp, Top-P usw.) * Schnelle CPU- + GPU-Inferenz über llama.cpp * [LLMs trainieren](/docs/de/neu/studio.md#no-code-training) 2x schneller mit 70 % weniger VRAM {% endcolumn %} {% column %}
{% endcolumn %} {% endcolumns %} {% stepper %} {% step %} **Unsloth installieren und starten** Der einfachste Einstieg ist das Herunterladen der [Unsloth Desktop-App](/docs/de/desktop.md). Funktioniert auf [macOS](/docs/de/loslegen/install/mac.md), [Windows](/docs/de/loslegen/install/windows-installation.md), und [Linux](/docs/de/loslegen/install/linux.md). Unsloth herunterladen * :apple: [Download für macOS](https://unsloth.ai/download/mac) * :windows: [Download für Windows](https://unsloth.ai/download/windows) * :linux: [Download für Linux](https://unsloth.ai/download/linux) Oder, wenn du lieber manuell installieren möchtest: MacOS, Linux, WSL: ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` Windows PowerShell: ```bash irm https://unsloth.ai/install.ps1 | iex ``` **Unsloth starten** MacOS, Linux, WSL und Windows: ```bash unsloth studio ``` Dann öffnen Sie `http://127.0.0.1:8888` (oder Ihre spezifische URL) in Ihrem Browser. **Unsloth sicher mit HTTPS und Cloudflare starten** **NEU!** Unsloth bietet jetzt eine sichere Möglichkeit, Unsloth über HTTPS mithilfe eines kostenlosen Cloudflare-Tunnels zu starten. Verwenden Sie das Folgende (funktioniert unter Windows, Mac und Linux): ```bash unsloth studio --secure ``` {% endstep %} {% step %} **Kimi K3 suchen und herunterladen** Unsloth Studio lagert automatisch in den RAM aus und erkennt Multi-GPU-Setups. Beim ersten Start müssen Sie ein Passwort erstellen, um Ihr Konto zu sichern, und sich später erneut anmelden. Gehen Sie dann zum Tab „Model hub“ und suchen Sie nach **Kimi K3** in der Suchleiste und laden Sie Ihr gewünschtes Modell und die gewünschte Quantisierung herunter. Stellen Sie sicher, dass Ihnen genügend Rechenleistung zum Ausführen des Modells zur Verfügung steht.
{% endstep %} {% step %} **Kimi K3 ausführen** Die Inferenzparameter sollten bei Verwendung von Unsloth Studio automatisch gesetzt werden; Sie können sie jedoch weiterhin manuell ändern. Sie können auch umschalten **niedriges, hohes oder maximales Denken**, die Kontextlänge, Chat-Vorlage und andere Einstellungen bearbeiten. Weitere Informationen finden Sie in unserem [Unsloth Studio Inferenzleitfaden](/docs/de/neu/studio/chat.md).

Beispiel für ein mit Unsloths Canvas laufendes 1-Bit-Kimi-K3

{% endstep %} {% endstepper %} ### 🦙 Kimi K3 in llama.cpp ausführen Für diese Tutorials werden wir [llama.cpp](https://github.com/ggml-org/llama.cpp) für schnelle lokale Inferenz verwenden, insbesondere wenn Sie eine CPU haben. Wir [einen Fork erstellt](https://github.com/unslothai/llama.cpp/pull/48) um Kimi K3 Vision dadurch speziell zu unterstützen. Darauf baut ein weiterer [llama.cpp-PR](https://github.com/ggml-org/llama.cpp/pull/26185). {% stepper %} {% step %} Holen Sie sich den SPEZIFISCHEN Unsloth-Fork von `llama.cpp` auf [**GitHub hier**](https://github.com/unslothai/llama.cpp/pull/48) um Vision-Unterstützung zu aktivieren. Sie können auch den Build-Anweisungen unten folgen. Ändern Sie `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` , wenn du keine GPU hast oder nur CPU-Inferenz möchtest. **Für Apple-Mac-/Metal-Geräte**, setze `-DGGML_CUDA=OFF` dann wie gewohnt fort - Metal-Unterstützung ist standardmäßig aktiviert. ```bash git clone https://github.com/unslothai/llama.cpp cd llama.cpp git fetch origin pull/48/head:kimi-k3-fullsize-vision git checkout kimi-k3-fullsize-vision cd .. cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` {% endstep %} {% step %} **Lassen Sie uns zuerst ein Bild holen!** Sie können auch Bilder hochladen. Wir werden verwenden [dieses Bild](https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/images/unsloth%20made%20with%20love.png), das einfach unser kleines Logo ist und zeigt, wie Finetunes mit Unsloth erstellt werden: {% code overflow="wrap" %} ```bash wget https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/images/unsloth%20made%20with%20love.png -O unsloth.png ``` {% endcode %}
Lassen Sie uns das 2. Bild holen [hier](https://files.worldwildlife.org/wwfcmsprod/images/Sloth_Sitting_iStock_3_12_2014/story_full_width/8l7pbjmj29_iStock_000011145477Large_mini__1_.jpg) {% code overflow="wrap" %} ```bash wget https://files.worldwildlife.org/wwfcmsprod/images/Sloth_Sitting_iStock_3_12_2014/story_full_width/8l7pbjmj29_iStock_000011145477Large_mini__1_.jpg -O picture.png ``` {% endcode %}
{% endstep %} {% step %} Sie können jetzt `llama.cpp` direkt zum Laden und Herunterladen von Modellen verwenden, genau wie `ollama run`. Wählen Sie zuerst den gewünschten Quantisierungstyp aus, wie etwa `IQ1_S`. Verwenden Sie außerdem `export LLAMA_CACHE="folder"` um zu erzwingen, `llama.cpp` um an einem bestimmten Speicherort zu speichern. **Beachten Sie, dass dieser Downloadvorgang sehr langsam sein kann**, daher ist es wahrscheinlich am besten, den manuellen Download im nächsten Abschnitt zu verwenden. ```bash export LLAMA_CACHE="unsloth/Kimi-K3-GGUF" ./llama.cpp/llama-cli \\ -hf unsloth/Kimi-K3-GGUF:UD-IQ1_S \\ --temp 1.0 \\ --top-p 0.95 ``` {% endstep %} {% step %} Wenn Sie das Modell manuell herunterladen möchten, können wir das Modell über den folgenden Code herunterladen (nach der Installation von `pip install huggingface_hub`). Wenn Downloads hängen bleiben, siehe: [Hugging Face Hub, XET-Debugging](/docs/de/grundlagen/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) ```bash hf download unsloth/Kimi-K3-GGUF \\ --local-dir unsloth/Kimi-K3-GGUF \\ --include "*mmproj-BF16*" \\ --include "*UD-IQ1_S*" # Verwenden Sie "*UD-Q8_K_XL*" für volle Präzision ``` {% endstep %} {% step %} Dann führen Sie das Modell im Gesprächsmodus aus: {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \\ --model unsloth/Kimi-K3-GGUF/UD-IQ1_S/Kimi-K3-UD-IQ1_S-00001-of-00014.gguf \\ --mmproj unsloth/Kimi-K3-GGUF/mmproj-BF16.gguf \\ --temp 1.0 \\ --top-p 0.95 ``` {% endcode %} {% endstep %} {% step %} Dann siehst du:
Und ich fragte „Was ist die Wurzel aus -1?“:
Kimi K3 unterstützt auch Bilder, z. B. beim Laden des Unsloth-Bildes:
Und dann verwenden wir das Faultierbild und fragen, wie es zusammenhängt:
{% endstep %} {% endstepper %} ### 📊 Benchmarks Weiter unten können Sie Benchmarks im Tabellenformat ansehen:
| Benchmark | Kimi K3 (max) | Claude Fable 5 (max) | GPT-5.6 Sol (max) | Claude Opus 4.8 (max) | GPT-5.5 (xhigh) | GLM-5.2 (max) | | :-------------------------: | :-----------: | :------------------: | :---------------: | :-------------------: | :-------------: | :-----------: | | **Schlussfolgern & Wissen** | | | | | | | | GPQA Diamond | 93.5 | 92.6 | **94.1** | 91.0 | 93.5 | 91.2 | | HLE-Vollständig | 43.5 / 56.0 | **53.3 / 63.0** | 44.5 / 58.0 | 49.8 / 57.9 | 41.4 / 52.2 | — | | **Codierung** | | | | | | | | DeepSWE | 67.5 | 70.0 | **73.0** | 59.0 | 67.0 | 46.2 | | Terminal-Bench 2.1 | 88.3 | 88.0 | **88.8** | 84.6 | 83.4 | 82.7 | | **Agentisch** | | | | | | | | BrowseComp | **91.2** | 88.0 | 90.4 | 84.3 | 84.4 | — | | GDPval-AA v2 (Elo) | 1686 | **1747** | 1736 | 1593 | 1491 | 1510 | | OSWorld 2.0 | 58.3 | **66.1** | 62.6 | 55.7 | 49.5 | — | | **Vision** | | | | | | | | MMMU-Pro | 81.6 / 83.4 | 81.2 / **86.5** | **83.0** / 84.6 | 78.9 / 82.7 | 81.2 / 83.2 | — | | MathVision | 94.3 / 97.8 | 94.8 / **98.6** | **95.8** / 97.8 | 86.7 / 97.1 | 92.2 / 96.8 | — | DeepSWE-Benchmarks zeigen, dass Kimi-K3 sehr effizient abschneidet!
--- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/de/modelle/tutorials/kimi-k3.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.