🌘Kimi K2.7 Code - ローカル実行方法

Kimi K2.7 Codeを自分のローカルデバイスで実行するためのステップバイステップガイド。

Kimi K2.7 Codeは、Moonshot AIのエージェント型コーディングモデルで、 K2.6 タスク完了率を向上させつつ、思考トークンを約30%削減します。1Tパラメータ（32B有効）のMoEモデルは、推論のみ、画像認識、256Kコンテキストをサポートします。画像、コーディング、エージェント、長文コンテキスト、チャットの各タスクで、オープンモデルとして最高水準の性能を発揮します。完全精度では605GBのディスク容量が必要です。Unsloth Dynamic 2ビットには 325GB（-48%）が必要です。 Kimi-K2.7-Code-GGUF をUnsloth Studioまたはllama.cpp経由で実行できます。

Unsloth Dynamic 量子化 重要なレイヤーを8ビットにアップキャストし、1ビットには 310GB以上のVRAM/RAM の構成が必要です. 〜に対して 損失なしの Kimi K2.7を使う場合は、Q8（UD-Q8_K_XL）を使用してください。これは 10GB大きい で、Q4（UD-Q4_K_XL）を使用してください。Mac Studioまたは DGX Station.

表: ハードウェア要件 （単位 = 合計メモリ: RAM + VRAM、またはユニファイドメモリ）

ダイナミック1ビット

ダイナミック2ビット

ダイナミックQ3

Q8（損失なし）

310GB

325〜350GB

385〜470GB

605GB

📊 量子化分析

のように、 Kimi-K2.6, UD-Q8_K_XL は損失なしです。これはKimiがMoE重みにint4を使い、それ以外すべてにBF16を使っているためで、 Q8_K_XL もそれに従います。そのため、Kimi-K2.6の変換でも同じダイナミック方式を使用します。 UD-Q4_K_XL は似ていますが、残りのテンソルは Q8_0なので、ほぼ完全精度であり、600GBのRAM/VRAMが必要です。 UD-Q8_K_XL は「真に損失なし」です。

測定

UD-Q2_K_XL

UD-Q4_K_XL

UD-Q8_K_XL（損失なし）

ディスク容量

339GB

584GB

595GB

パープレキシティ

~2.4131

~1.8420

~1.8419

私たちは jukofyorkの発見に従いました。それは const float d = max / -7; をデフォルトの const float d = max / -8; の代わりに、量子化処理中はMoEレイヤーにのみ適用するというものです。このINT4ネイティブMoEへの双射パッチにより、 Q4_0 量子化タイプは絶対誤差を1.8%からほぼ0%（epsilon）まで減らせます。以下はKimi-K2.7-Codeのヒストグラムの例で、-8が完全に未使用であることが分かります:

なお、他のレイヤーもBF16のままにする必要があり、賢く「Q4_0」にしてはいけません。以下に、BF16ベースラインと比較した両者の誤差プロットを示します。 UD-Q8-K_XL は、Q4_0からBF16へ変換する際に機械イプシロン程度の差はあるものの、真に「損失なし」です。したがってQ4_K_XLにはQ8_0を使用しているため量子化誤差がありますが、Q8_K_XLはBF16の丸め誤差を除けばほぼ損失なしです。

Q4_K_XLについては、Q8_0とBF16のテンソルごとの誤差もプロットしています。一般に、Q8_K_XL（ほぼ損失なし）とQ4_K_XLの間にはある程度の誤差がありますが、大きくはありません。

⚙️ 使用ガイド

Kimi K2.7 Codeは 推論のみで、 preserve_thinking が常に有効です。インスタントモードはサポートされていません。

デフォルト（推論モード）

temperature = 1.0

top_p = 0.95

推奨コンテキスト長 = 98,304 （最大 262,144)

モデルが収まれば、B200を使用すると100トークン/秒以上が得られます。私たちは UD-Q2_K_XL （345GB）を、サイズと品質のバランスが良いものとして推奨します。最も簡単な目安は、RAM+VRAM ≈ 量子化サイズです。そうでなくても動作はしますが、オフロードのため遅くなります。

Kimi K2.7-Codeのチャットテンプレート

実行中 tokenizer.apply_chat_template([{"role": "user", "content": "What is 1+1?"},]) を実行すると:

<|im_user|>user<|im_middle|>What is 1+1?<|im_end|><|im_assistant|>assistant<|im_middle|><think>

また、で参照されているツールも入力すると Tool Calling Guide、以下のようになります:

<|im_system|>tool_declare<|im_middle|># ツール

## 関数
namespace functions {
// 2つの数を足します。
type add_number = (_: {
  // 1つ目の数。
  a: string,
  // 2つ目の数。
  b: string
}) => any;
// 2つの数を掛けます。
type multiply_number = (_: {
  // 1つ目の数。
  a: string,
  // 2つ目の数。
  b: string
}) => any;
// 2つの数を引きます。
type subtract_number = (_: {
  // 1つ目の数。
  a: string,
  // 2つ目の数。
  b: string
}) => any;
// ランダムな物語を書きます。
type write_a_story = (_: {}) => any;
// ターミナルから操作を実行します。
type terminal = (_: {
  // 起動したいコマンド。例: `ls`、`rm` など
  command: string
}) => any;
// 実行されるPythonコードを指定してPythonインタープリタを呼び出します。
type python = (_: {
  // 実行するPythonコード
  code: string
}) => any;
}
<|im_end|><|im_user|>user<|im_middle|>What is 1+1?<|im_end|><|im_assistant|>assistant<|im_middle|><think>

Kimi K2.7 Code 実行ガイド

🦥 Unsloth StudioでKimi-K2.7-Codeを実行

Kimi K2.7 Codeは Unsloth Studioで実行できます。これはローカルAI向けのオープンソースWeb UIです。 Unsloth Studioは自動的にRAMへオフロードし、マルチGPU構成を検出します。Unsloth Studioを使えば、ローカルでモデルを実行できます MacOS、Windows、Linux、および次の機能：

検索、ダウンロード、 GGUFの実行およびsafetensorモデル
自己修復 ツール呼び出し + ウェブ検索
コード実行 （Python、Bash）
自動推論パラメータ調整（temp、top-pなど）
llama.cpp経由の高速CPU＋GPU推論
LLMの学習 VRAMを70%削減しつつ2倍高速

Unslothをインストールして起動

インストールするには、ターミナルで次を実行してください:

MacOS、Linux、WSL：

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell：

irm https://unsloth.ai/install.ps1 | iex

Unslothを起動

MacOS、Linux、WSL、およびWindows：

unsloth studio -H 0.0.0.0 -p 8888

次に開く http://127.0.0.1:8888 （またはお使いのURL）をブラウザで。

Kimi K2.7-Codeを検索してダウンロード

Unsloth Studioは自動的にRAMへオフロードし、マルチGPU構成を検出します。初回起動時には、アカウントを保護するためのパスワードを作成し、後で再度サインインする必要があります。

次に〜へ移動し Unsloth Chat タブで Kimi-K2.7 Code を検索バーで検索し、希望するモデルと量子化をダウンロードしてください。モデルを実行するのに十分な計算資源があることを確認してください。

Kimi-K2.7-Codeを実行

Unsloth Studioを使うと推論パラメータは自動設定されますが、手動でも変更できます。コンテキスト長、チャットテンプレート、その他の設定も編集できます。

詳細については、次を参照してください Unsloth Studio推論ガイド.

🦙 llama.cppでKimi K2.7 Codeを実行

このガイドでは、 UD-Q2_K_XL 量子化を実行します。これには少なくとも345GBのRAMが必要です。量子化タイプは自由に変更できます。GGUF: Kimi-K2.7-Code-GGUF

これらのチュートリアルでは、 llama.cpp 高速なローカル推論のために、特にCPUしかない場合に使用します。

最新の llama.cpp の GitHubはこちら。以下のビルド手順に従うこともできます。次を変更してください -DGGML_CUDA=ON を -DGGML_CUDA=OFF GPUがない場合やCPU推論だけにしたい場合。 Apple Mac / Metalデバイスでは、次を設定し -DGGML_CUDA=OFF 、その後は通常どおり続けてください。Metalサポートはデフォルトで有効です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

まず画像を取得しましょう！ 画像をアップロードすることもできます。ここでは https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/images/unsloth%20made%20with%20love.pngを使用します。これは、Unslothでファインチューニングがどのように作られているかを示す、私たちのミニロゴです:

wget https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/images/unsloth%20made%20with%20love.png -O unsloth.png

2枚目の画像は https://files.worldwildlife.org/wwfcmsprod/images/Sloth_Sitting_iStock_3_12_2014/story_full_width/8l7pbjmj29_iStock_000011145477Large_mini__1_.jpg

wget https://files.worldwildlife.org/wwfcmsprod/images/Sloth_Sitting_iStock_3_12_2014/story_full_width/8l7pbjmj29_iStock_000011145477Large_mini__1_.jpg -O picture.png

これで次を使用できます llama.cpp モデルの読み込みとダウンロードに直接使えます。次と同じように ollama run。まず、次のように希望する量子化タイプを選択します Q2_K_XL。また、次も使用します export LLAMA_CACHE="folder" して llama.cpp を特定の場所に保存するよう強制できます。このダウンロード प्रक्रियाはかなり遅い場合があるため、次のセクションの手動ダウンロード手順を使うのがおそらく最善です。

export LLAMA_CACHE="unsloth/Kimi-K2.7-Code-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Kimi-K2.7-Code-GGUF:UD-Q2_K_XL \\
    --temp 1.0 \
    --top-p 0.95

モデルを手動でダウンロードしたい場合は、以下のコードでダウンロードできます（次をインストールした後） pip install huggingface_hub。ダウンロードが止まった場合は、次を参照してください： Hugging Face Hub、XETのデバッグ

hf download unsloth/Kimi-K2.7-Code-GGUF \\
    --local-dir unsloth/Kimi-K2.7-Code-GGUF \\
    --include "*mmproj-F16*" \\
    --include "*UD-Q2_K_XL*" # フル精度には "*UD-Q8_K_XL*" を使用

それでは、会話モードでモデルを実行します:

./llama.cpp/llama-cli \
    --model unsloth/Kimi-K2.7-Code-GGUF/UD-Q2_K_XL/Kimi-K2.7-Code-UD-Q2_K_XL-00001-of-00008.gguf \\
    --mmproj unsloth/Kimi-K2.7-Code-GGUF/mmproj-F16.gguf \\
    --temp 1.0 \
    --top-p 0.95

すると、以下のように表示されます:

次に /image を使って両方の画像を読み込み、「この画像は何ですか」と尋ねます:

すると、以下のような結果が得られます:

ナマケモノの2枚目の画像では:

次のようになります:

📊 ベンチマーク

ベンチマークは、以下の表形式でもご覧いただけます:

ベンチマーク

Kimi K2.7 Code

Kimi K2.6

GPT-5.5

Claude Opus 4.8

コーディング

Kimi Code Bench v2

62.0

50.9

69.0

67.4

Program Bench

53.6

48.3

69.1

63.8

MLS Bench Lite

35.1

26.7

35.5

42.8

エージェント型

Kimi Claw 24/7 Bench

46.9

42.9

52.8

50.4

MCP Atlas

76.0

69.4

79.4

81.3

MCP Mark Verified

81.1

72.8

92.9

76.4

最終更新 4 日前

役に立ちましたか？