🌘Kimi K3 - ローカル実行方法
Kimi K3の量子化モデルをローカル環境で実行するためのガイドです。
Moonshot AI の Kimi K3 は、SOTA のコーディング、エージェント、長文コンテキスト、チャット用途向けに構築された、2.8T パラメータのオープンウェイトモデル（アクティブ 104B）です。これは 最強のオープンモデル これまでで、Claude 4.8 Opus や GPT-5.6 に匹敵します。Kimi K3 はネイティブのビジョン、100万トークンのコンテキストウィンドウを備え、MXFP4 を使用します。フル精度推論には 1.56 TB のストレージと 1-bit の Kimi K3 が必要です Unsloth Dynamic GGUF には 594 GB（62% 少ない）.
Dynamic 1-bit（右を参照）は ~78.9% top-1 精度に達しつつ 62% 小さい. Dynamic 2-bit 861.3GB は ~90% 精度に達しつつ 45% 小さい. 実行 Kimi-K3-GGUF で Unsloth Studio または llama.cpp で。Kimi K3 は NVIDIA DGX Station、または 128GB RAM デバイスに接続された Mac Studio で実行できます。
〜には ロスレス Kimi K3 には、Q8（UD-Q8_K_XL）を使用してください。これは Q4（より 50GB 大きく Q4（UD-Q4_K_XL）より大きいです。モデルを損なわずに 512GiB 未満まで圧縮できるかはまだ調査中です（dynamic 1-bit は 553.2 GiB）。
表: ハードウェア要件 (単位 = 総メモリ: RAM + VRAM、またはユニファイドメモリ)
610 GB
665 GB
726 GB
880 GB
1.6 TB
Kimi K3 GGUF 実装詳細
以下をベースに構築しました: llama.cpp の PR と 私たちのフォーク には、ビジョンサポートといくつかのバグ修正が含まれています。
mmproj / vision tower は Kimi-K2.5 tower に似ていますが、RMSNorm、bias なし、非正方形の fused QKV（qkv width != n_embd）、および post-norm projector を備えています。
llama.cpp を実行したとき、
n_tokens * 40の予算が大きなバッチサイズで失敗したため、私たちはn_tokens * 160また、Kimi のチャットテンプレートを jinja 形式に変換する必要がありました。
可能な限りテストして、すべてのケースをカバーしました。Kimi はデフォルトで 思考保持を有効にした状態でで学習されているため、すべての思考トレースは削除されず、保持されます。
📊 量子化分析
Kimi と同様に K2.6 と K2.7、K3 の UD-Q8_K_XL はロスレスです。というのも、Kimi は MoE 重みに MXFP4 を使い、それ以外すべてに BF16 を使っており、 Q8_K_XL Q8_K_XL はそれを正確に踏襲しているからです。 UD-Q4_K_XL はそれに似ていますが、残りのテンソルの一部（norms などを除く）が Q8_0である点が異なります。そのためほぼフル精度で、1.56 TB の RAM/VRAM が必要です。 UD-Q8_K_XL は、MXFP4 の完全な safetensors 版に対して「真にロスレス」です。
UD-IQ1_S
594.0
0.5645
2.5789
78.875 +/- 0.107
36.495
UD-IQ1_M
648.9
0.4789
2.3639
81.219 +/- 0.103
33.629
UD-IQ2_XXS
711.1
0.3784
2.1266
84.127 +/- 0.096
29.826
UD-Q2_K_XL
861.3
0.1779
1.7359
90.390 +/- 0.077
19.862
UD-Q4_K_XL
1,510
1.4579
UD-Q8_K_XL
1,560
1.4581
imatrix の生成と量子化には、1.56 TB のロスレス UD-Q8_K_XL をキャリブレーション全体で使用しました。そのパープレキシティは 1.4581 です。私たちの Dynamic-1bit 量子化は、top-1 精度 79% でパープレキシティ 2.58 に達し、驚くほど実用的です。
他のコミュニティ製量子化は、より大きいのに劣化ははるかに大きいです。たとえば、ある 618.9 GB の量子化は IQ1_M 私たちの 594 GB 1-bit 量子化を上回りますが、そのパープレキシティは 54.56 に跳ね上がり、21倍悪化します。同じ傾向が IQ2_XXS: 725 GB で PPL 96、対して私たちは 711 GB で PPL 2.12 であり、45倍悪いです。つまり彼らの 2-bit は 1-bit よりさらに悪い性能です。これは dynamic quantization + proper calibration の重要性を示しています。
Top-1% 精度、KLD プロットも提供しています:
⚙️ 使用ガイド
Kimi K3 は 思考専用で、 preserve_thinking が常に有効 と max の思考がデフォルトで有効です。Instant モードはサポートされていません。思考の強度は reasoning_effort リクエストフィールドで設定し、K3 は 「low」, 「high」、および 「max」 の思考強度をサポートします。
temperature = 1.0
temperature = 1.0
top_p = 0.95
top_p = 1.0
コンテキスト長 = 最大
1,048,576Unsloth で Low、High、Max Thinking を切り替え可能です
モデルが収まる場合、B200 を使用すると生成速度は約 20 tokens/s、スループットは 120 tokens/s 超になります。おすすめは UD-IQ1_S （594GB）はサイズと品質のバランスが良いです。経験則としては、RAM+VRAM ≈ 量子化サイズです。そうでなくても動作はしますが、ディスクへのオフロードのためかなり遅くなります。
Kimi K3 実行ガイド
これで Kimi K3 を llama.cpp と Unsloth Desktop。アクセシビリティと精度の観点で最良の結果を得るため、594GB の UD-IQ1_S 量子化を使用します。少なくとも 610GB の RAM が必要です。量子化タイプは自由に変更してください。GGUF: Kimi-K3-GGUF
🦥 Unsloth で Kimi-K3 を実行
Kimi K3 は Unsloth Desktopローカル AI 向けのオープンソースデスクトップ UI で実行できます。 Unsloth Desktop は自動的に RAM にオフロードし、マルチ GPU 構成を検出します。Unsloth Studio を使えば、ローカルでモデルを実行できます: MacOS、Windows、Linux、そして:
検索、ダウンロード、 GGUF を実行 および safetensor モデル
自己修復 ツール呼び出し + ウェブ検索
コード実行 (Python、Bash)
自動推論 パラメータ調整（temp、top-p など）
llama.cpp による高速 CPU + GPU 推論
LLM を学習 VRAM を 70% 削減しつつ 2倍高速
Unsloth のインストールと起動
始める最も簡単な方法は、次をダウンロードすることです: Unsloth Desktop app。対応: macOS, Windows、および Linux.
または、手動でインストールしたい場合は:
MacOS、Linux、WSL:
Windows PowerShell:
Unsloth を起動
MacOS、Linux、WSL、および Windows:
次に開く http://127.0.0.1:8888 （または指定された URL）をブラウザで開きます。
HTTPS と Cloudflare で Unsloth を安全に起動
新機能! Unsloth は、無料の Cloudflare トンネルを通じて HTTPS で Unsloth を起動する安全な方法を提供するようになりました。以下を使用してください（Windows、Mac、Linux で動作します）:
Kimi K3 を検索してダウンロード
Unsloth Studio は自動的に RAM にオフロードし、マルチ GPU 構成を検出します。初回起動時には、アカウントを保護するためのパスワードを作成し、後で再度サインインする必要があります。
次に Model hub タブに移動して Kimi K3 を検索バーで検索し、希望するモデルと量子化をダウンロードしてください。モデルを実行するのに十分な計算資源があることを確認してください。
Kimi K3 を実行
Unsloth Studio を使うと推論パラメータは自動設定されますが、手動で変更することもできます。また、 low、high、または max の思考を切り替えたり、コンテキスト長、チャットテンプレート、その他の設定を編集したりできます。
詳細は以下をご覧ください: Unsloth Studio 推論ガイド.
🦙 llama.cpp で Kimi K3 を実行
これらのチュートリアルでは、 llama.cpp を使って高速なローカル推論を行います。特に CPU がある場合に有効です。私たちは フォークを作成しました Kimi K3 のビジョンをサポートするために特化したものです。これは別の llama.cpp の PR.
の特定の Unsloth フォークを入手してください llama.cpp で GitHub はこちら で、ビジョンサポートを有効にします。以下のビルド手順に従っても構いません。 -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。GPU がない場合、または CPU 推論だけをしたい場合。 Apple Mac / Metal デバイスの場合は、 -DGGML_CUDA=OFF を設定し、その後は通常どおり進めてください。Metal サポートはデフォルトで有効です。
これで llama.cpp を直接使って、モデルの読み込みやダウンロードができます。ちょうど ollama runと同じです。まず、使用したい量子化タイプを選択します。たとえば IQ1_Sも使用します。 export LLAMA_CACHE="folder" を使って llama.cpp 特定の場所に保存するよう強制できます。 このダウンロード प्रक्रियाは非常に遅くなる可能性があることに注意してください。そのため、次のセクションの手動ダウンロード手順を使うのがおそらく最善です。
モデルを手動でダウンロードしたい場合は、以下のコードでダウンロードできます（ pip install huggingface_hubをインストールした後）。ダウンロードが止まる場合は、以下を参照してください: Hugging Face Hub、XETのデバッグ
次に、会話モードでモデルを実行します:
すると、次のように表示されます:
そして「-1 の平方根は何ですか」と尋ねました:
Kimi K3 は画像もサポートしており、たとえば Unsloth の画像を読み込めます:
そして次にナマケモノの画像を使い、どう関係しているのかを尋ねます:
📊 ベンチマーク
ベンチマークの表は下にさらにあります:
推論と知識
GPQA Diamond
93.5
92.6
94.1
91.0
93.5
91.2
HLE-Full
43.5 / 56.0
53.3 / 63.0
44.5 / 58.0
49.8 / 57.9
41.4 / 52.2
—
コーディング
DeepSWE
67.5
70.0
73.0
59.0
67.0
46.2
Terminal-Bench 2.1
88.3
88.0
88.8
84.6
83.4
82.7
エージェント
BrowseComp
91.2
88.0
90.4
84.3
84.4
—
GDPval-AA v2 (Elo)
1686
1747
1736
1593
1491
1510
OSWorld 2.0
58.3
66.1
62.6
55.7
49.5
—
ビジョン
MMMU-Pro
81.6 / 83.4
81.2 / 86.5
83.0 / 84.6
78.9 / 82.7
81.2 / 83.2
—
MathVision
94.3 / 97.8
94.8 / 98.6
95.8 / 97.8
86.7 / 97.1
92.2 / 96.8
—
DeepSWE のベンチマークは、Kimi-K3 が非常に効率的に動作していることを示しています!
最終更新
役に立ちましたか？