以下の形式の版もアップロードしました [BF16 形式](https://huggingface.co/unsloth/Kimi-K2-Instruct-BF16).
### ✨ llama.cppでInstructを実行
1. 最新の `llama.cpp` を [GitHubこちら](https://github.com/ggml-org/llama.cpp)。以下のビルド手順に従うこともできます。変更してください `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF` GPUがない場合、またはCPU推論のみを使いたい場合は。
```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
-DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split llama-mtmd-cli
cp llama.cpp/build/bin/llama-* llama.cpp
```
2. を使いたい場合は `llama.cpp` モデルを直接読み込むには、以下のようにできます：(:UD-IQ1\_S) は量子化タイプです。Hugging Face経由でもダウンロードできます（ポイント3）。これは次に似ています `ollama run` に似ています。 `export LLAMA_CACHE="folder"` を使って `llama.cpp` 特定の場所に保存するには、\ **モデルの2025年9月の新しい更新を実行するには、モデル名を'Kimi-K2-Instruct'から'Kimi-K2-Instruct-0905'に変更してください。**
{% hint style="info" %}
ぜひお試しください `-ot ".ffn_.*_exps.=CPU"` を試して、すべての MoE 層を CPU にオフロードしてください！これにより、非MoE層すべてを1枚のGPUに収められるようになり、生成速度が向上します。GPU容量がさらにあれば、正規表現を調整してより多くの層を収めることもできます。
GPU メモリがもう少し多ければ、 `-ot ".ffn_(up|down)_exps.=CPU"` を試してください。これは up と down の projection MoE 層をオフロードします。
試してみてください `-ot ".ffn_(up)_exps.=CPU"` GPU メモリがさらに多い場合はこちら。これは up projection の MoE 層のみをオフロードします。
そして最後に、すべての層を `-ot ".ffn_.*_exps.=CPU"` でオフロードします。
これは最も少ない VRAM を使用します。 `-ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU"` は、6層目以降から gate、up、down の MoE 層をオフロードすることを意味します。
{% endhint %}
```bash
export LLAMA_CACHE="unsloth/Kimi-K2-Instruct-GGUF"
./llama.cpp/llama-cli \
-hf unsloth/Kimi-K2-Instruct-GGUF:TQ1_0 \\
--n-gpu-layers 99 \\
--temp 0.6 \
--min-p 0.01 \\
--ctx-size 16384 \\
--seed 3407 \\
-ot ".ffn_.*_exps.=CPU"
```
3. 以下をインストールした後、( `pip install huggingface_hub hf_transfer` をインストール後）。 `UD-TQ1_0`（動的1.8ビット量子化）または以下のような他の量子化版 `Q2_K_XL` をインストールした後で）。 **当社の 2 ビット動的量子化の使用を推奨します**** ****`UD-Q2_K_XL`**** ****サイズと精度のバランスを取るために**。他のバージョンはこちら: [huggingface.co/unsloth/Kimi-K2-Instruct-GGUF](https://huggingface.co/unsloth/Kimi-K2-Instruct-GGUF)
{% code overflow="wrap" %}
```python
# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0" # 時々レート制限が発生することがあるため、無効にするには 0 に設定します
from huggingface_hub import snapshot_download
snapshot_download(
repo_id = "unsloth/Kimi-K2-Instruct-GGUF",
local_dir = "unsloth/Kimi-K2-Instruct-GGUF",
allow_patterns = ["*UD-TQ1_0*"], # Dynamic 1ビット (281GB) には "*UD-Q2_K_XL*" を使用
)
```
{% endcode %}
{% hint style="info" %}
ダウンロードが90〜95%あたりで止まる場合は、こちらをご覧ください
{% endhint %}
4. 任意のプロンプトを実行できます。
5. 編集 `--threads -1` CPUスレッド数用（デフォルトではCPUの最大スレッド数に設定されています）、 `--ctx-size 16384` コンテキスト長は `--n-gpu-layers 99` GPUオフローディングで何層を担当するかを指定します。MoEのCPUオフローディングと組み合わせて99に設定すると最良の性能が得られます。GPUがメモリ不足になる場合は調整してみてください。また、CPUのみで推論する場合は削除してください。
{% code overflow="wrap" %}
```bash
./llama.cpp/llama-cli \
--model unsloth/Kimi-K2-Instruct-GGUF/UD-TQ1_0/Kimi-K2-Instruct-UD-TQ1_0-00001-of-00005.gguf \\
--n-gpu-layers 99 \\
--temp 0.6 \
--min-p 0.01 \\
--ctx-size 16384 \\
--seed 3407 \\
-ot ".ffn_.*_exps.=CPU"
```
{% endcode %}
### :bird: Flappy Bird + その他のテスト
DeepSeek R1向けの1.58ビット量子化版が提供された際に、Flappy Birdテストを導入しました。Kimi K2は、このテストを含むすべてのタスクを一発でこなせた数少ないモデルの一つだと分かりました。 [Heptagon ](/docs/jp/moderu/tutorials/deepseek-r1-0528-how-to-run-locally.md#heptagon-test)2ビットでも他のテストでも同様でした。目的は、LLMにFlappy Birdゲームを作成させつつ、いくつかの特定の指示に従わせることです：
{% code overflow="wrap" %}
```
PythonでFlappy Birdゲームを作成してください。以下の内容を必ず含めてください：
1. pygame を使用する必要があります。
2. 背景色はランダムに選ばれる明るい色にしてください。最初は薄い青色にします。
3. SPACE を何度も押すと鳥が加速します。
4. 鳥の形は四角、円、三角形のいずれかをランダムに選びます。色はランダムに暗い色を選びます。
5. 画面下部に、ランダムに選ばれた濃い茶色または黄色の地面を配置します。
6. スコアを右上に表示します。パイプを通過してぶつからなければ加算してください。
7. 十分な間隔を空けて、ランダムな間隔でパイプを配置します。色はランダムに濃い緑、薄い茶色、または暗いグレー系の色にします。
8. 負けたら最高スコアを表示します。文字は画面内に表示してください。q または Esc を押すとゲームを終了します。再開はもう一度 SPACE を押します。
最終的なゲームは、Pythonのmarkdownセクション内に入れてください。最終markdownセクションの前にコードのエラーを確認し、修正してください。
```
{% endcode %}
また、Heptagonテストでもダイナミック量子化版を試せます。 [r/Localllama](https://www.reddit.com/r/LocalLLaMA/comments/1j7r47l/i_just_made_an_animation_of_a_ball_bouncing/) これは、移動する閉じた七角形の形の中で回転するボールをシミュレートする基本的な物理エンジンを作成できるかをモデルにテストするものです。
目的は七角形を回転させ、その中のボールも動くようにすることです。プロンプトは以下のとおりです：
{% code overflow="wrap" %}
```
回転する七角形の中で20個のボールが跳ねる様子を表示するPythonプログラムを書いてください:
- すべてのボールは同じ半径を持つ。
- すべてのボールには1から20までの番号が付いている。
- 開始時、すべてのボールは七角形の中心から落下する。
- 色は: #f8b862, #f6ad49, #f39800, #f08300, #ec6d51, #ee7948, #ed6d3d, #ec6800, #ec6800, #ee7800, #eb6238, #ea5506, #ea5506, #eb6101, #e49e61, #e45e32, #e17b34, #dd7a56, #db8449, #d66a35
- ボールは重力と摩擦の影響を受け、回転する壁に現実的に跳ね返る必要があります。ボール同士の衝突も必要です。
- すべてのボールの材質により、その跳ね返りの高さは七角形の半径を超えず、かつボールの半径よりは高くなければなりません。
- すべてのボールは摩擦を伴って回転し、ボール上の数字はボールの回転を示すために使えます。
- 七角形は中心の周りを回転し、回転速度は5秒で360度です。
- 七角形の大きさは、すべてのボールを収められる十分な大きさでなければなりません。
- pygameライブラリは使わず、衝突検出アルゴリズムや衝突応答などは自分で実装してください。以下のPythonライブラリは使用可能です: tkinter, math, numpy, dataclasses, typing, sys.
- すべてのコードは1つのPythonファイルにまとめてください。
```
{% endcode %}
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.
Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:
```
GET https://unsloth.ai/docs/jp/moderu/tutorials/kimi-k2-thinking-how-to-run-locally.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
