🥝Kimi K2.5: ローカル実行ガイド
Kimi-K2.5を自分のローカルデバイスで実行するためのガイド!
Kimi-K2.5 は Moonshot による新しいモデルで、視覚、コーディング、エージェント型、チャットの各タスクで SOTA 性能を達成します。1T パラメータのハイブリッド推論モデルは 600GB のディスク容量を必要としますが、量子化版は Unsloth Dynamic 1.8ビット 240GB(サイズ -60%)まで削減されます: Kimi-K2.5-GGUF
すべてのアップロードは Unsloth の Dynamic 2.0 SOTA の Aider と 5-shot MMLU 性能向けに。Dynamic 1–2ビット GGUF が コーディングベンチマークで.
⚙️ 推奨要件
1.8ビット(UD-TQ1_0)の量子化版は、すべての MoE レイヤーをシステム RAM(または高速 SSD)にオフロードすれば、単一の 24GB GPU で動作します。RAM が約 256GB あれば、約 10 トークン/秒が見込めます。Kimi K2.5 のフルモデルは 630GB で、通常は少なくとも 4 台の H200 GPU が必要です。
モデルが収まるなら、B200 を使うと >40 トークン/秒が得られます。
モデルをほぼ 完全精度で動かすには、4ビットまたは5ビットの量子化版を使えます。念のためなら、より高いものを使っても構いません。
高い性能を得るには、10+ トークン/秒に到達するために >240GB の統合メモリ(または RAM+VRAM 合計)を目指してください。それ未満でも動作はしますが、速度は低下します(llama.cpp は mmap/ディスクオフロード経由でも実行可能です)。約 10 トークン/秒から <2 トークン/秒まで落ちることがあります。
サイズと品質のバランスが良い UD-Q2_K_XL(375GB)を推奨します。目安としては RAM+VRAM ≈ 量子化サイズです。それ以外でも動作はしますが、オフロードのために遅くなります。
🥝 Kimi K2.5 実行ガイド
Kimi-K2.5 では、用途ごとに異なるサンプリングパラメータが必要です。
現在は 画像対応がありません が、llama.cpp が近日中に対応してくれることを期待しています。
🌙 使い方ガイド:
Moonshot AI によると、Kimi K2.5 の推論に推奨される設定は次のとおりです:
temperature = 0.6
temperature = 1.0
top_p = 0.95
top_p = 0.95
min_p = 0.01
min_p = 0.01
次を設定してください temperature 1.0 にすると、反復や不整合を減らせます。
推奨コンテキスト長 = 98,304(最大256K)
注:異なるツールを使う場合は別の設定が必要になることがあります
Kimi K2.5 のチャットテンプレート
実行中 tokenizer.apply_chat_template([{"role": "user", "content": "What is 1+1?"},]) は次のようになります:
🦥 Unsloth Studio で Kimi-K2.5 を実行
Kimi-K2.5 は Unsloth Studio。これはローカルAI向けの新しいオープンソースWeb UIです。Unsloth Studioを使えば、モデルをローカルで次の環境で実行できます MacOS、Windows、Linux、そして:
検索、ダウンロード、 GGUFを実行 およびsafetensorモデル
自己修復 ツール呼び出し + web search
コード実行 (Python、Bash)
自動推論 パラメータ調整(temp、top-pなど)
llama.cppによる高速CPU + GPU推論
LLMを学習 VRAMを70%削減して2倍高速

Unslothをインストール
ターミナルで次を実行してください:
MacOS、Linux、WSL:
Windows PowerShell:
Unsloth を起動
MacOS、Linux、WSL、Windows:
その後、 http://localhost:8888 をブラウザで開いてください。
Kimi-K2.5 を検索してダウンロード
初回起動時には、アカウントを保護するためのパスワードを作成し、後で再度サインインする必要があります。その後、モデル、データセット、基本設定を選ぶ簡単な初期設定ウィザードが表示されます。いつでもスキップして、そのままチャットへ進めます。
それから Unsloth Chat タブで検索して Kimi-K2.5 を検索バーに入力し、目的のモデルと量子化設定をダウンロードしてください。モデルを実行するのに十分な計算資源があることを確認してください。

Kimi-K2.5 を実行
Unsloth Studio を使用すると推論パラメータは自動設定されるはずですが、手動で変更することもできます。コンテキスト長、チャットテンプレート、その他の設定も編集できます。
詳細については、次を参照してください。 Unsloth Studio 推論ガイド.

✨ llama.cpp で Kimi K2.5 を実行
このガイドでは、サイズが 240GB の最小の 1ビット量子化版を使用します。量子化タイプは 2ビット、3ビットなどに自由に変更できます。モデルをほぼ 完全精度で動かすには、4ビットまたは5ビットの量子化版を使えます。念のためなら、より高いものを使っても構いません。
最新の
llama.cppを GitHubこちら。以下のビルド手順に従うこともできます。変更してください-DGGML_CUDA=ONを-DGGML_CUDA=OFFGPUがない場合、またはCPU推論のみを使いたい場合は。 Apple Mac / Metalデバイスの場合、次を設定します-DGGML_CUDA=OFFその後は通常どおり続けてください。Metalサポートはデフォルトで有効です。
を使いたい場合は
llama.cppモデルを直接読み込むには、以下のようにできます:(:UD-TQ1_0) は量子化タイプです。Hugging Face経由でもダウンロードできます(ポイント3)。これは次に似ていますollama runに似ています。export LLAMA_CACHE="folder"を使ってllama.cpp特定の場所に保存するには、
--fit onは、モデルを自動でシステムに最適化します。--fit onGPU の合計メモリが約 360GB あるなら、-ot ".ffn_.*_exps.=CPU"を削除して最大速度を得てください。
以下をインストールした後、(
pip install huggingface_hub hf_transfer)。サイズと精度のバランスを取るため、2ビットのダイナミック量子化UD-Q2_K_XLの使用を推奨します。全バージョンはこちら: huggingface.co/unsloth/Kimi-K2.5-GGUF ダウンロードが止まる場合は、こちらを参照してください: Hugging Face Hub、XET のデバッグ
任意のプロンプトを実行できます。
編集
--ctx-size 16384をご覧ください。コンテキスト長について。--fit on
例として「HTML で Flappy Bird ゲームを作成して」と入力すると、次のようになります:

✨ llama-server と OpenAI の completion ライブラリでデプロイ
に従ってllama.cppをインストールした後、 Kimi K2.5以下を使ってOpenAI互換サーバーを起動できます:
その後、OpenAI の Python ライブラリを使います。 pip install openai :
そして、次のようになります:

そして、もう一方の llama-server の画面では:

📊 ベンチマーク
ベンチマークは、以下で表形式でも確認できます:

推論と知識
HLE-フル
30.1
34.5
30.8
37.5
25.1†
-
HLE-フル(ツールあり)
50.2
45.5
43.2
45.8
40.8†
-
AIME 2025
96.1
100
92.8
95.0
93.1
-
HMMT 2025(2月)
95.4
99.4
92.9*
97.3*
92.5
-
IMO-AnswerBench
81.8
86.3
78.5*
83.1*
78.3
-
GPQA-Diamond
87.6
92.4
87.0
91.9
82.4
-
MMLU-Pro
87.1
86.7*
89.3*
90.1
85.0
-
画像と動画
MMMU-Pro
78.5
79.5*
74.0
81.0
-
69.3
CharXiv(RQ)
77.5
82.1
67.2*
81.4
-
66.1
MathVision
84.2
83.0
77.1*
86.1*
-
74.6
MathVista(mini)
90.1
82.8*
80.2*
89.8*
-
85.8
ZeroBench
9
9*
3*
8*
-
4*
ZeroBench(ツールあり)
11
7*
9*
12*
-
3*
OCRBench
92.3
80.7*
86.5*
90.3*
-
87.5
OmniDocBench 1.5
88.8
85.7
87.7*
88.5
-
82.0*
InfoVQA(val)
92.6
84*
76.9*
57.2*
-
89.5
SimpleVQA
71.2
55.8*
69.7*
69.7*
-
56.8*
WorldVQA
46.3
28.0
36.8
47.4
-
23.5
VideoMMMU
86.6
85.9
84.4*
87.6
-
80.0
MMVU
80.4
80.8*
77.3
77.5
-
71.1
MotionBench
70.4
64.8
60.3
70.3
-
-
VideoMME
87.4
86.0*
-
88.4*
-
79.0
LongVideoBench
79.8
76.5*
67.2*
77.7*
-
65.6*
LVBench
75.9
-
-
73.5*
-
63.6
コーディング
SWE-Bench Verified
76.8
80.0
80.9
76.2
73.1
-
SWE-Bench Pro
50.7
55.6
55.4*
-
-
-
SWE-Bench 多言語
73.0
72.0
77.5
65.0
70.2
-
Terminal Bench 2.0
50.8
54.0
59.3
54.2
46.4
-
PaperBench
63.5
63.7*
72.9*
-
47.1
-
CyberGym
41.3
-
50.6
39.9*
17.3*
-
SciCode
48.7
52.1
49.5
56.1
38.9
-
OJBench(cpp)
57.4
-
54.6*
68.5*
54.7*
-
LiveCodeBench(v6)
85.0
-
82.2*
87.4*
83.3
-
長文コンテキスト
Longbench v2
61.0
54.5*
64.4*
68.2*
59.8*
-
AA-LCR
70.0
72.3*
71.3*
65.3*
64.3*
-
エージェント型検索
BrowseComp
60.6
65.8
37.0
37.8
51.4
-
BrowseComp(ctx 管理あり)
74.9
65.8
57.8
59.2
67.6
-
BrowseComp(Agent Swarm)
78.4
-
-
-
-
-
WideSearch(item-f1)
72.7
-
76.2*
57.0
32.5*
-
WideSearch(item-f1 Agent Swarm)
79.0
-
-
-
-
-
DeepSearchQA
77.1
71.3*
76.1*
63.2*
60.9*
-
FinSearchCompT2&T3
67.8
-
66.2*
49.9
59.1*
-
Seal-0
57.4
45.0
47.7*
45.5*
49.5*
-
注記
*= 著者によって再評価されたスコア(以前は公開されていなかったものです)。†= DeepSeek V3.2 のスコアは、脚注に記載のとおりテキストのみのサブセットに対応します。-= 未評価 / 利用不可。
最終更新
役に立ちましたか?

