> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/moderu/kimi-k3.md). # Kimi K3 - ローカルでの実行方法 Kimi K3の量子化モデルをローカル環境で実行するためのガイド。 Moonshot AIのKimi K3は、SOTA級のコーディング、エージェント型、長文コンテキスト、チャットのワークロード向けに作られた2.8Tパラメータのオープンウェイトモデル（アクティブ104B）です。これは **最強のオープンモデル** 現時点で、Claude 4.8 OpusやGPT-5.6に匹敵します。Kimi K3はネイティブのビジョン機能、100万トークンのコンテキストウィンドウを備え、MXFP4を使用します。フル精度の推論には1.56 TBのストレージが必要で、1ビットのKimi K3 [Unsloth](https://github.com/unslothai/unsloth) Dynamic GGUFには **594 GB（62%少ない）**. {% columns %} {% column %} Dynamic 1ビット（右参照）は **\~78.9%** トップ1精度を達成しつつ **62% 小型化**。Dynamic 2ビット861.3GBは **\~90%** の精度を達成しながら **45%小さい**。実行 [**Kimi-K3-GGUF**](https://huggingface.co/unsloth/Kimi-K3-GGUF) を通じて [Unsloth Studio](/docs/jp/shii/studio.md) またはllama.cpp。Kimi K3は、NVIDIA DGX Station、あるいは128GB RAM搭載デバイスに接続したMac Studio上で実行できます。以下では **ロスレス** Kimi K3には、Q8（`UD-Q8_K_XL`）を使用してください。これは **50GB大きい** Q4（`UD-Q4_K_XL`）。モデルを損なわずに512GiB未満まで下げられるか、現在も調査中です（dynamic 1-bitは553.2 GiB）。 Kimi K3実行チュートリアル量子化結果 {% endcolumn %} {% column %}

{% endcolumn %} {% endcolumns %} **表: ハードウェア要件** （単位 = 合計メモリ: RAM + VRAM、またはユニファイドメモリ） | Dynamic 1ビット S | Dynamic 1ビット M | Dynamic 2ビット XXS | Dynamic 2ビット XL | Q8（ロスレス） | | -------------- | -------------- | ---------------- | --------------- | -------- | | 610 GB | 665 GB | 726 GB | 880 GB | 1.6 TB | ### Kimi K3 GGUFの実装詳細以下の上に構築しました [llama.cppのPR](https://github.com/ggml-org/llama.cpp/pull/26185) を [私たちのフォーク](https://github.com/unslothai/llama.cpp/pull/48) これにはビジョン対応といくつかのバグ修正が含まれています。 1. mmproj / vision towerはKimi-K2.5のtowerに似ていますが、RMSNorm、バイアスなし、非正方のfused QKV（qkv幅 != n\_embd）、およびpost-norm projectorを備えています。 2. llama.cppを実行した際に、 `n_tokens * 40` 大きなバッチサイズでは予算が足りず、そのため `n_tokens * 160` 3. Kimiのチャットテンプレートをjinja形式に変換する必要もありました。 4. あらゆるケースをカバーするため、可能な限りテストしました。Kimiはデフォルトで次の設定で学習されています **思考保持を有効にした**ため、すべての思考トレースは削除されず、保持されます。 ### 📊 量子化分析 Kimiと同様に [K2.6](/docs/jp/moderu/kimi-k2.6.md) そして [K2.7](/docs/jp/moderu/kimi-k2.7-code.md)、K3の `UD-Q8_K_XL` はロスレスです。KimiはMoE重みにMXFP4を、その他すべてにBF16を使用しており、 `Q8_K_XL` それに正確に従っているからです。 `UD-Q4_K_XL` は似ていますが、残りのテンソルの一部（normsなどを除く）が `Q8_0`ため、ほぼフル精度で、1.56 TBのRAM/VRAMが必要です。 `UD-Q8_K_XL` は、MXFP4のフルsafetensors版に対して「真にロスレス」です。

量子化	GB	平均 KLD	PPL(q)	top-1一致率 %	RMS dp %
`UD-IQ1_S`	594.0	0.5645	2.5789	78.875 +/- 0.107	36.495
`UD-IQ1_M`	648.9	0.4789	2.3639	81.219 +/- 0.103	33.629
`UD-IQ2_XXS`	711.1	0.3784	2.1266	84.127 +/- 0.096	29.826
`UD-Q2_K_XL`	861.3	0.1779	1.7359	90.390 +/- 0.077	19.862
`UD-Q4_K_XL`	1,510		1.4579
`UD-Q8_K_XL`	1,560		1.4581

imatrix生成と量子化には、1.56 TBのロスレス版を使用しました `UD-Q8_K_XL` キャリブレーション全体で使用し、そのパープレキシティは1.4581です。私たちのDynamic-1bit量子化は、top-1精度79%でパープレキシティ2.58に達し、驚くほど実用的です。他のコミュニティ製量子化はより大きいにもかかわらず、劣化ははるかに大きいです。たとえば、ある618.9 GBの量子化は `IQ1_M` 私たちの594 GBの1ビット量子化を上回りますが、パープレキシティは54.56まで跳ね上がり、21倍悪化します。同じ傾向は `IQ2_XXS`：725 GBで96 PPLに対し、私たちの711 GBでは2.12 PPLで、45倍悪いです。つまり、彼らの2ビットは1ビットよりさらに悪く動作しています。これは、動的量子化＋適切なキャリブレーションの重要性を示しています。 **Top-1%精度、KLDプロットも提供しています：**

### :gear: 使用ガイド Kimi K3は **思考専用**で、 **`preserve_thinking` 常時有効** そして **max** で、思考はデフォルトでオンです。Instantモードはサポートされていません。思考の強度は `reasoning_effort` リクエストフィールドで設定し、K3は `「low」`, `「high」`と `「max」` の思考強度に対応しています。 | デフォルト | Agentic | | ----------------- | ----------------- | | temperature = 1.0 | temperature = 1.0 | | top\_p = 0.95 | top\_p = 1.0 | * コンテキスト長 = 最大 `1,048,576` * Low、High、Max ThinkingはUnslothで切り替え可能ですモデルが収まれば、B200を使うと生成は約20トークン/秒、スループットは120トークン/秒超になります。おすすめは [`UD-IQ1_S`](https://huggingface.co/unsloth/Kimi-K3-GGUF?show_file_info=UD-IQ1_S%2FKimi-K3-UD-IQ1_S-00001-of-00015.gguf) （594GB）です。サイズと品質のバランスが良好です。目安としては、RAM+VRAM ≈ 量子化サイズです。そうでなければ動作はしますが、ディスクへのオフロードのためかなり遅くなります。 ## Kimi K3実行ガイドこれでKimi K3を [llama.cpp](#run-in-llama.cpp) そして [Unsloth Desktop](https://unsloth.ai/docs/jp/moderu/pages/1d43caebcc2925464cc42990bf5ebdc3d13c3c85#run-glm-5.2-in-unsloth-studio)。私たちは594GBの [`UD-IQ1_S`](https://huggingface.co/unsloth/Kimi-K3-GGUF?show_file_info=UD-IQ1_S%2FKimi-K3-UD-IQ1_S-00001-of-00015.gguf) 量子化を、アクセス性と精度の両面で最良の結果を得るために使用します。最低610GBのRAMが必要です。量子化タイプは自由に変更してください。GGUF： [**Kimi-K3-GGUF**](https://huggingface.co/unsloth/Kimi-K3-GGUF) ### 🦥 UnslothでKimi-K3を実行 Kimi K3は [Unsloth Desktop](/docs/jp/desktop.md)、ローカルAI向けのオープンソースデスクトップUIで実行できます。 **Unsloth Desktopは自動的にRAMへオフロードし、マルチGPU構成を検出します**。Unsloth Studio を使えば、モデルをローカルで実行できます **MacOS、Windows**、Linux、そして: {% columns %} {% column %} * 検索、ダウンロード、 [GGUFを実行](/docs/jp/shii/studio.md#run-models-locally) およびsafetensorモデル * [**自己修復** ツール呼び出し](/docs/jp/shii/studio.md#execute-code--heal-tool-calling) + **web search** * [**コード実行**](/docs/jp/shii/studio.md#run-models-locally) （Python、Bash） * [自動推論](https://unsloth.ai/docs/desktop#feature-deep-dive) パラメータ調整（temp、top-pなど） * llama.cppによる高速CPU + GPU推論 * [LLMを学習](/docs/jp/shii/studio.md#no-code-training) VRAMを70%削減して2倍高速 {% endcolumn %} {% column %}

{% endcolumn %} {% endcolumns %} {% stepper %} {% step %} **Unsloth のインストールと起動** 始める最も簡単な方法は、次をダウンロードすることです。 [Unsloth Desktopアプリ](/docs/jp/desktop.md)。対応環境: [macOS](/docs/jp/meru/install/mac.md), [Windows](/docs/jp/meru/install/windows-installation.md)と [Linux](/docs/jp/meru/install/linux.md). Unslothをダウンロード * [macOS版をダウンロード](https://unsloth.ai/download/mac) * [Windows版をダウンロード](https://unsloth.ai/download/windows) * [Linux版をダウンロード](https://unsloth.ai/download/linux) または、手動でインストールしたい場合は: MacOS、Linux、WSL: ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` Windows PowerShell: ```bash irm https://unsloth.ai/install.ps1 | iex ``` **Unsloth を起動** MacOS、Linux、WSL、Windows: ```bash unsloth studio ``` その後、 `http://127.0.0.1:8888` （またはお使いのURL）をブラウザで開いてください。 **HTTPSとCloudflareでUnslothを安全に起動** **新登場！** Unsloth は無料の Cloudflare トンネルを通じて HTTPS で Unsloth を起動する安全な方法を提供します。以下を使用してください（Windows、Mac、Linux で動作します）： ```bash unsloth studio --secure ``` {% endstep %} {% step %} **Kimi K3を検索してダウンロード** Unsloth Studio は自動的に RAM へオフロードし、マルチ GPU 構成を検出します。初回起動時には、アカウントを保護するためのパスワードを作成し、後で再度サインインする必要があります。次にModel hubタブに移動し、次を検索してください **Kimi K3** を検索バーに入力し、目的のモデルと量子化設定をダウンロードしてください。モデルを実行するのに十分な計算資源があることを確認してください。

{% endstep %} {% step %} **Kimi K3を実行** Unsloth Studioを使うと推論パラメータは自動設定されますが、手動で変更することもできます。また、 **low、high、maxの思考**を切り替えたり、コンテキスト長、チャットテンプレート、その他の設定を編集したりできます。詳細については、次を参照してください。 [Unsloth Studio 推論ガイド](/docs/jp/shii/studio/chat.md).

{% endstep %} {% endstepper %} ### 🦙 llama.cppでKimi K3を実行これらのチュートリアルでは、次を使用します [llama.cpp](https://github.com/ggml-org/llama.cpp) 高速なローカル推論に、特にCPUしかない場合に使用します。私たちは [フォークを作成しました](https://github.com/unslothai/llama.cpp/pull/48) これはKimi K3のビジョン対応を特にサポートするためのものです。これは別の [llama.cppのPR](https://github.com/ggml-org/llama.cpp/pull/26185). {% stepper %} {% step %} 以下のSPECIFICなUnslothフォークを入手してください `llama.cpp` を [**GitHubこちら**](https://github.com/unslothai/llama.cpp/pull/48) ビジョン対応を有効にするためです。以下のビルド手順に従っても構いません。変更してください `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF` GPUがない場合、またはCPU推論のみを使いたい場合は。 **Apple Mac / Metalデバイスの場合**、次を設定します `-DGGML_CUDA=OFF` その後は通常どおり続けてください。Metalサポートはデフォルトで有効です。 ```bash git clone https://github.com/unslothai/llama.cpp cd llama.cpp git fetch origin pull/48/head:kimi-k3-fullsize-vision git checkout kimi-k3-fullsize-vision cd .. cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` {% endstep %} {% step %} **まずは画像を取得しましょう！** 画像をアップロードすることもできます。ここでは次を使用します [この画像](https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/images/unsloth%20made%20with%20love.png)。これは、Unsloth でファインチューニングがどのように作られるかを示す小さなロゴです： {% code overflow="wrap" %} ```bash wget https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/images/unsloth%20made%20with%20love.png -O unsloth.png ``` {% endcode %}

2枚目の画像を取得しましょう [ここ](https://files.worldwildlife.org/wwfcmsprod/images/Sloth_Sitting_iStock_3_12_2014/story_full_width/8l7pbjmj29_iStock_000011145477Large_mini__1_.jpg) {% code overflow="wrap" %} ```bash wget https://files.worldwildlife.org/wwfcmsprod/images/Sloth_Sitting_iStock_3_12_2014/story_full_width/8l7pbjmj29_iStock_000011145477Large_mini__1_.jpg -O picture.png ``` {% endcode %}

{% endstep %} {% step %} これから使えます `llama.cpp` を直接使ってモデルを読み込み・ダウンロードできます。ちょうど `ollama run`。まず、次のような希望の量子化タイプを選択します `IQ1_S`。また、 `export LLAMA_CACHE="folder"` を使って `llama.cpp` 特定の場所に保存するには、 **このダウンロード प्रक्रियाは非常に遅い可能性がありますのでご注意ください**。そのため、次のセクションの手動ダウンロード手順を使うのがおそらく最善です。 ```bash export LLAMA_CACHE="unsloth/Kimi-K3-GGUF" ./llama.cpp/llama-cli \ -hf unsloth/Kimi-K3-GGUF:UD-IQ1_S \\ --temp 1.0 \\ --top-p 0.95 ``` {% endstep %} {% step %} モデルを手動でダウンロードしたい場合は、以下のコードでダウンロードできます（インストール後 `pip install huggingface_hub`）。ダウンロードが止まる場合は、次を参照してください： [Hugging Face Hub、XET のデバッグ](/docs/jp/ji-chu/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) ```bash hf download unsloth/Kimi-K3-GGUF \\ --local-dir unsloth/Kimi-K3-GGUF \\ --include "*mmproj-BF16*" \ --include "*UD-IQ1_S*" # フル精度には "*UD-Q8_K_XL*" を使用 ``` {% endstep %} {% step %} その後、会話モードでモデルを実行します: {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \ --model unsloth/Kimi-K3-GGUF/UD-IQ1_S/Kimi-K3-UD-IQ1_S-00001-of-00014.gguf \\ --mmproj unsloth/Kimi-K3-GGUF/mmproj-BF16.gguf \\ --temp 1.0 \\ --top-p 0.95 ``` {% endcode %} {% endstep %} {% step %} その後、以下が表示されます:

そして「-1の平方根は何ですか」と尋ねました：

Kimi K3は画像にも対応しており、たとえばUnslothの画像を読み込めます：

そしてslothの画像を使って、それが何に関連するかを尋ねます：

{% endstep %} {% endstepper %} ### 📊 ベンチマークベンチマークは、以下で表形式でも確認できます：

| ベンチマーク | Kimi K3 (max) | Claude Fable 5 (max) | GPT-5.6 Sol (max) | Claude Opus 4.8 (max) | GPT-5.5 (xhigh) | GLM-5.2 (max) | | :----------------: | :---------------: | :----------------------: | :-------------------: | :-----------------------: | :-----------------: | :---------------: | | **推論と知識** | | | | | | | | GPQA Diamond | 93.5 | 92.6 | **94.1** | 91.0 | 93.5 | 91.2 | | HLE-フル | 43.5 / 56.0 | **53.3 / 63.0** | 44.5 / 58.0 | 49.8 / 57.9 | 41.4 / 52.2 | — | | **コーディング** | | | | | | | | DeepSWE | 67.5 | 70.0 | **73.0** | 59.0 | 67.0 | 46.2 | | Terminal-Bench 2.1 | 88.3 | 88.0 | **88.8** | 84.6 | 83.4 | 82.7 | | **Agentic** | | | | | | | | BrowseComp | **91.2** | 88.0 | 90.4 | 84.3 | 84.4 | — | | GDPval-AA v2（Elo） | 1686 | **1747** | 1736 | 1593 | 1491 | 1510 | | OSWorld 2.0 | 58.3 | **66.1** | 62.6 | 55.7 | 49.5 | — | | **ビジョン** | | | | | | | | MMMU-Pro | 81.6 / 83.4 | 81.2 / **86.5** | **83.0** / 84.6 | 78.9 / 82.7 | 81.2 / 83.2 | — | | MathVision | 94.3 / 97.8 | 94.8 / **98.6** | **95.8** / 97.8 | 86.7 / 97.1 | 92.2 / 96.8 | — | DeepSWEベンチマークではKimi-K3が非常に効率的に動作していることが示されています！

--- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/jp/moderu/kimi-k3.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.