> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/moderu/tutorials/kimi-k3.md). # Kimi K3 Kimi K3の量子化モデルをローカル環境で実行するためのガイド。 Moonshot AIのKimi K3は、SOTAレベルのコーディング、エージェント的処理、長文コンテキスト、チャットのワークロード向けに構築された、2.8Tパラメータのオープンウェイトモデル（104B有効）です。これは **最強のオープンモデル** であり、Claude 4.8 OpusやGPT-5.6に匹敵します。Kimi K3はネイティブの視覚機能、100万トークンのコンテキストウィンドウを備え、MXFP4を使用します。完全精度の推論には1.56 TBのストレージが必要で、1-bitのKimi K3 [Unsloth](https://github.com/unslothai/unsloth) Dynamic GGUFには **594 GB（62%削減）**. {% columns %} {% column %} Dynamic 1-bit（右参照）は **\~78.9%** トップ1精度を維持しつつ **62%小さい**。Dynamic 2-bitの861.3GBは **\~90%** 精度を保ちながら **45%小さい**。実行するには [**Kimi-K3-GGUF**](https://huggingface.co/unsloth/Kimi-K3-GGUF) 経由で [Unsloth Studio](/docs/jp/shii/studio.md) または llama.cpp を使用します。Kimi K3はNVIDIA DGX Station、または128GB RAMデバイスに接続されたMac Studio上で実行できます。 〜には **ロスレス** Kimi K3では、Q8（`UD-Q8_K_XL`）を使用してください。これは **50GB大きく** Q4（`UD-Q4_K_XL`）なります。モデルを損なうことなく512GiB未満に押し下げられるかどうか、現在も調査中です（Dynamic 1-bitは553.2 GiBです）。 Kimi K3チュートリアルを実行量子化結果 {% endcolumn %} {% column %}

1-bit Kimi K3 GGUF vs Claude 5 vs GPT 5.6

{% endcolumn %} {% endcolumns %} **表：ハードウェア要件** （単位 = 合計メモリ：RAM + VRAM、または統合メモリ） | Dynamic 1-bit S | Dynamic 1-bit M | Dynamic 2-bit XXS | Dynamic 2-bit XL | Q8（無損失） | | --------------- | --------------- | ----------------- | ---------------- | ------- | | 610 GB | 665 GB | 726 GB | 880 GB | 1.6 TB | ### Kimi K3 GGUFの実装詳細 私たちは [llama.cppのPR](https://github.com/ggml-org/llama.cpp/pull/26185) を [自分たちのフォーク](https://github.com/unslothai/llama.cpp/pull/48) の上に構築しました。これには視覚サポートといくつかのバグ修正が含まれています。 1. mmproj / vision towerはKimi-K2.5のtowerに似ていますが、RMSNorm、バイアスなし、非正方の融合QKV（qkv width != n\_embd）、およびpost-norm projectorを備えています。 2. llama.cppを実行した際に、 `n_tokens * 40` の予算が大きなバッチサイズで失敗したため、 `n_tokens * 160` 3. まで増やす必要がありました。 4. また、Kimiのチャットテンプレートをjinja形式に変換する必要がありました。 **thinkingを保持した**ので、すべてのthinking traceは削除されず、保持されます。 ### 📊 量子化分析 Kimi [K2.6](/docs/jp/moderu/tutorials/kimi-k2.6.md) と [K2.7](/docs/jp/moderu/tutorials/kimi-k2.7-code.md)と同様に、K3の `UD-Q8_K_XL` はロスレスです。KimiはMoE重みにMXFP4、それ以外すべてにBF16を使用しており、 `Q8_K_XL` それに正確に従っています。 `UD-Q4_K_XL` は同様ですが、残りのテンソルの一部（normなどを除く）は `Q8_0`ため、ほぼ完全精度であり、1.56 TBのRAM/VRAMを必要とします。 `UD-Q8_K_XL` は、MXFP4の完全なsafetensors版と比べて「真にロスレス」です。
量子化GB平均 KLDPPL(q)top-1一致率 %RMS dp %
UD-IQ1_S594.00.56452.578978.875 +/- 0.10736.495
UD-IQ1_M648.90.47892.363981.219 +/- 0.10333.629
UD-IQ2_XXS711.10.37842.126684.127 +/- 0.09629.826
UD-Q2_K_XL861.30.17791.735990.390 +/- 0.07719.862
UD-Q4_K_XL1,5101.4579
UD-Q8_K_XL1,5601.4581
imatrix生成と量子化のために、私たちは1.56 TBのロスレス `UD-Q8_K_XL` をキャリブレーション全体で使用しました。そのパープレキシティは1.4581です。私たちのDynamic-1bit量子化はパープレキシティ2.58、top-1精度79%を達成し、驚くほど実用的です。 他のコミュニティ量子化版はより大きいにもかかわらず、はるかに劣化します。たとえば、ある618.9 GBの量子化版は `IQ1_M` 私たちの594 GBの1-bit量子化版を上回りますが、そのパープレキシティは54.56に跳ね上がり、21倍悪化します。同じ傾向は `IQ2_XXS`にも当てはまり、725 GBでPPL 96に対して、私たちは711 GBでPPL 2.12です。45倍悪化しており、彼らの2-bitは1-bitよりさらに悪いことを意味します。これは、動的量子化と適切なキャリブレーションの重要性を示しています。 **Top-1%精度、KLDプロットも提供しています:**
### :gear: 使用ガイド Kimi K3は **thinking専用**で、 **`preserve_thinking` 常時有効** と **max** です。thinkingはデフォルトでオンです。Instantモードはサポートされていません。thinkingの強度は `reasoning_effort` リクエストフィールドで設定され、K3は `「low」`, `「high」`と `「max」` のthinking強度をサポートします。 | 既定値 | Agentic | | ----------------- | ----------------- | | temperature = 1.0 | temperature = 1.0 | | top\_p = 0.95 | top\_p = 1.0 | * コンテキスト長 = 最大 `1,048,576` * Low、High、Max ThinkingはUnslothで切り替え可能です モデルが収まるなら、B200を使用時に約20トークン/秒の生成、120トークン/秒超のスループットが得られます。 [`UD-IQ1_S`](https://huggingface.co/unsloth/Kimi-K3-GGUF?show_file_info=UD-IQ1_S%2FKimi-K3-UD-IQ1_S-00001-of-00015.gguf) （594GB）を、サイズ/品質のバランスが良い選択として推奨します。目安は、RAM+VRAM ≈ 量子化サイズです。そうでなくても動作はしますが、ディスクオフロードのためかなり遅くなります。 ## Kimi K3実行ガイド これでKimi K3を [llama.cpp](#run-in-llama.cpp) と [Unsloth Desktop](https://unsloth.ai/docs/jp/moderu/tutorials/pages/1d43caebcc2925464cc42990bf5ebdc3d13c3c85#run-glm-5.2-in-unsloth-studio)で実行できます。アクセシビリティと精度の観点で最良の結果を得るために594GB [`UD-IQ1_S`](https://huggingface.co/unsloth/Kimi-K3-GGUF?show_file_info=UD-IQ1_S%2FKimi-K3-UD-IQ1_S-00001-of-00015.gguf) 量子化版を使用します。少なくとも610GBのRAMが必要です。量子化タイプは自由に変更できます。GGUF: [**Kimi-K3-GGUF**](https://huggingface.co/unsloth/Kimi-K3-GGUF) ### 🦥 UnslothでKimi-K3を実行 Kimi K3は [Unsloth Desktop](/docs/jp/desktop.md)で実行できます。これはローカルAI向けのオープンソースデスクトップUIです。 **Unsloth Desktopは自動的にRAMへオフロードし、マルチGPU構成を検出します**。Unsloth Studio を使えば、ローカルでモデルを実行できます **MacOS、Windows**、Linux、および： {% columns %} {% column %} * 検索、ダウンロード、 [GGUFを実行](/docs/jp/shii/studio.md#run-models-locally) および safetensor モデル * [**自己修復** ツール呼び出し](/docs/jp/shii/studio.md#execute-code--heal-tool-calling) + **web検索** * [**コード実行**](/docs/jp/shii/studio.md#run-models-locally) （Python、Bash） * [自動推論](https://unsloth.ai/docs/desktop#feature-deep-dive) パラメータ調整（temp、top-pなど） * llama.cppによる高速なCPU + GPU推論 * [LLMを学習](/docs/jp/shii/studio.md#no-code-training) VRAMを70%削減しながら2倍高速 {% endcolumn %} {% column %}
{% endcolumn %} {% endcolumns %} {% stepper %} {% step %} **Unsloth をインストールして起動** 始める最も簡単な方法は、 [Unsloth Desktopアプリ](/docs/jp/desktop.md)をダウンロードすることです。 [macOS](/docs/jp/meru/install/mac.md), [Windows](/docs/jp/meru/install/windows-installation.md)と [Linux](/docs/jp/meru/install/linux.md). Unslothをダウンロード * :apple: [macOS用をダウンロード](https://unsloth.ai/download/mac) * :windows: [Windows用をダウンロード](https://unsloth.ai/download/windows) * :linux: [Linux用をダウンロード](https://unsloth.ai/download/linux) または、手動でインストールしたい場合： MacOS、Linux、WSL： ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` Windows PowerShell： ```bash irm https://unsloth.ai/install.ps1 | iex ``` **Unsloth を起動** MacOS、Linux、WSL、Windows: ```bash unsloth studio ``` その後、次を開きます `http://127.0.0.1:8888` （またはお使いのURL）をブラウザで開いてください。 **HTTPS と Cloudflare で Unsloth を安全に起動** **新機能！** Unslothでは現在、無料のCloudflareトンネルを通じてHTTPSでUnslothを起動する安全な方法を提供しています。以下を使用してください（Windows、Mac、Linuxで動作します）： ```bash unsloth studio --secure ``` {% endstep %} {% step %} **Kimi K3を検索してダウンロード** Unsloth Studio は RAM へのオフロードを自動で行い、マルチ GPU 構成を検出します。初回起動時には、アカウントを保護するためのパスワードを作成し、後で再度サインインする必要があります。 次にModel hubタブへ行き、 **Kimi K3** を検索バーで検索し、必要なモデルと量子化版をダウンロードしてください。モデルを実行するのに十分な計算資源があることを確認してください。
{% endstep %} {% step %} **Kimi K3を実行** Unsloth Studioを使用すると推論パラメータは自動設定されるはずですが、手動で変更することもできます。また、 **low、high、またはmax thinking**を切り替えたり、コンテキスト長、チャットテンプレート、その他の設定を編集したりできます。 詳細は、 [Unsloth Studio 推論ガイド](/docs/jp/shii/studio/chat.md).

UnslothのCanvasで動作する1-bit Kimi-K3の例

{% endstep %} {% endstepper %} ### 🦙 llama.cppでKimi K3を実行 これらのチュートリアルでは、 [llama.cpp](https://github.com/ggml-org/llama.cpp) を使用します。特にCPUがある場合、ローカルでの高速推論に最適です。私たちは [フォークを作成しました](https://github.com/unslothai/llama.cpp/pull/48) これはKimi K3の視覚機能をサポートするためです。これは別の [llama.cppのPR](https://github.com/ggml-org/llama.cpp/pull/26185). {% stepper %} {% step %} SPECIFICなUnslothフォークを入手 `llama.cpp` を [**GitHubからこちらで取得**](https://github.com/unslothai/llama.cpp/pull/48) して視覚サポートを有効にします。以下のビルド手順に従うこともできます。変更してください `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF` に変更してください。GPUがない場合、またはCPU推論だけを使いたい場合です。 **Apple Mac / Metalデバイスの場合**、 `-DGGML_CUDA=OFF` を設定し、そのまま通常どおり続行してください。Metalサポートはデフォルトで有効です。 ```bash git clone https://github.com/unslothai/llama.cpp cd llama.cpp git fetch origin pull/48/head:kimi-k3-fullsize-vision git checkout kimi-k3-fullsize-vision cd .. cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` {% endstep %} {% step %} **まずは画像を取得しましょう！** 画像をアップロードすることもできます。ここでは [この画像](https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/images/unsloth%20made%20with%20love.png)、これは Unsloth でファインチューニングがどのように作られるかを示す、私たちの小さなロゴです: {% code overflow="wrap" %} ```bash wget https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/images/unsloth%20made%20with%20love.png -O unsloth.png ``` {% endcode %}
2枚目の画像を取得しましょう [こちら](https://files.worldwildlife.org/wwfcmsprod/images/Sloth_Sitting_iStock_3_12_2014/story_full_width/8l7pbjmj29_iStock_000011145477Large_mini__1_.jpg) {% code overflow="wrap" %} ```bash wget https://files.worldwildlife.org/wwfcmsprod/images/Sloth_Sitting_iStock_3_12_2014/story_full_width/8l7pbjmj29_iStock_000011145477Large_mini__1_.jpg -O picture.png ``` {% endcode %}
{% endstep %} {% step %} これで次を使用できます `llama.cpp` を直接使って、モデルの読み込みやダウンロードができます。 `ollama run`まず、希望する量子化タイプを選択してください。たとえば `IQ1_S`。また、次も使用してください `export LLAMA_CACHE="folder"` を使うと `llama.cpp` 特定の場所に保存するために使用します。 **このダウンロード処理は非常に遅い場合があることに注意してください**。そのため、次のセクションで説明する手動ダウンロード手順を使うのがたぶん最善です。 ```bash export LLAMA_CACHE="unsloth/Kimi-K3-GGUF" ./llama.cpp/llama-cli \ -hf unsloth/Kimi-K3-GGUF:UD-IQ1_S \ --temp 1.0 \ --top-p 0.95 ``` {% endstep %} {% step %} モデルを手動でダウンロードしたい場合は、以下のコードでモデルをダウンロードできます（ `pip install huggingface_hub`をインストールした後）。ダウンロードが止まった場合は、次を参照してください: [Hugging Face Hub、XET のデバッグ](/docs/jp/ji-chu/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) ```bash hf download unsloth/Kimi-K3-GGUF \ --local-dir unsloth/Kimi-K3-GGUF \ --include "*mmproj-BF16*" \ --include "*UD-IQ1_S*" # 完全精度には "*UD-Q8_K_XL*" を使用 ``` {% endstep %} {% step %} 次に、会話モードでモデルを実行します: {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \ --model unsloth/Kimi-K3-GGUF/UD-IQ1_S/Kimi-K3-UD-IQ1_S-00001-of-00014.gguf \ --mmproj unsloth/Kimi-K3-GGUF/mmproj-BF16.gguf \ --temp 1.0 \ --top-p 0.95 ``` {% endcode %} {% endstep %} {% step %} すると次のように表示されます:
そして私は「-1の平方根は何ですか」と尋ねました:
Kimi K3は画像もサポートしており、たとえばUnslothの画像を読み込むことができます:
そして次にslothの画像を使って、それがどう関連しているかを尋ねます:
{% endstep %} {% endstepper %} ### 📊 ベンチマーク ベンチマークは以下の表形式でも確認できます:
| ベンチマーク | Kimi K3（max） | Claude Fable 5（max） | GPT-5.6 Sol（max） | Claude Opus 4.8（max） | GPT-5.5（xhigh） | GLM-5.2（max） | | :----------------: | :----------: | :-----------------: | :--------------: | :------------------: | :------------: | :----------: | | **推論と知識** | | | | | | | | GPQA Diamond | 93.5 | 92.6 | **94.1** | 91.0 | 93.5 | 91.2 | | HLE-Full | 43.5 / 56.0 | **53.3 / 63.0** | 44.5 / 58.0 | 49.8 / 57.9 | 41.4 / 52.2 | — | | **コーディング** | | | | | | | | DeepSWE | 67.5 | 70.0 | **73.0** | 59.0 | 67.0 | 46.2 | | Terminal-Bench 2.1 | 88.3 | 88.0 | **88.8** | 84.6 | 83.4 | 82.7 | | **Agentic** | | | | | | | | BrowseComp | **91.2** | 88.0 | 90.4 | 84.3 | 84.4 | — | | GDPval-AA v2（Elo） | 1686 | **1747** | 1736 | 1593 | 1491 | 1510 | | OSWorld 2.0 | 58.3 | **66.1** | 62.6 | 55.7 | 49.5 | — | | **ビジョン** | | | | | | | | MMMU-Pro | 81.6 / 83.4 | 81.2 / **86.5** | **83.0** / 84.6 | 78.9 / 82.7 | 81.2 / 83.2 | — | | MathVision | 94.3 / 97.8 | 94.8 / **98.6** | **95.8** / 97.8 | 86.7 / 97.1 | 92.2 / 96.8 | — | DeepSWEのベンチマークは、Kimi-K3が非常に効率的に動作していることを示しています！
--- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/jp/moderu/tutorials/kimi-k3.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.