{% endstep %}
{% endstepper %}
### 🦙 Llama.cppガイド
{% stepper %}
{% step %}
特定の `llama.cpp` のPRを取得 [**GitHub はこちら**](https://github.com/ggml-org/llama.cpp/pull/24523)。以下のビルド手順に従うこともできます。 `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF` に変更してください。GPU がない場合や CPU 推論だけを使いたい場合です。 **Apple Mac / Metal デバイスの場合**、 `-DGGML_CUDA=OFF` に設定し、そのまま続行してください。Metal サポートはデフォルトで有効です。
```bash
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
git fetch origin pull/24523/head:minimax-m3
git checkout minimax-m3
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j --target llama-cli llama-server
```
{% endstep %}
{% step %}
これで以下を使用できます `llama.cpp` を直接使ってモデルを読み込み・ダウンロードできます。ちょうど `ollama run`のように。まず、希望する量子化タイプを `Q2_K_XL`。また、以下を使用して `export LLAMA_CACHE="folder"` を使って `llama.cpp` 特定の場所に固定できます。なお、このダウンロード प्रक्रियाは非常に遅い場合があるため、次のセクションの手動ダウンロード手順を使うのがおそらく最適です。
```bash
export LLAMA_CACHE="unsloth/MiniMax-M3-GGUF"
./build/bin/llama-cli \
-hf unsloth/MiniMax-M3-GGUF:UD-IQ1_M \
--temp 1.0 \\
--top-p 0.95 \\
--top-k 40
```
{% hint style="info" %}
注：MiniMax Sparse Attentionはまだサポートされていないため、推論はdense attentionにフォールバックします。
{% endhint %}
{% endstep %}
{% step %}
モデルを手動でダウンロードしたい場合は、以下のコードでダウンロードできます（ `pip install huggingface_hub`をインストールした後）。ダウンロードが止まる場合は、以下を参照： [Hugging Face Hub、XETのデバッグ](/docs/jp/ji-ben/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md)
```bash
hf download unsloth/MiniMax-M3-GGUF \
--local-dir unsloth/MiniMax-M3-GGUF \
--include "*UD-IQ1_M*" # 4ビットの場合は"*UD-IQ4_XS*"を使用
```
{% endstep %}
{% step %}
以下を編集できます `--threads 32` CPUスレッド数として、 `--ctx-size 32768` コンテキスト長として、 `--n-gpu-layers 2` GPUオフロードする層数を指定します。GPUのメモリ不足になる場合は調整してみてください。CPUのみで推論する場合はこれも削除してください。MSAはまだサポートされていないので、 `--ctx-size` 控えめにしてください。非常に長いコンテキストではdense attentionが多くのメモリを使用します。
{% code overflow="wrap" %}
```bash
./build/bin/llama-cli \
--model unsloth/MiniMax-M3-GGUF/UD-IQ1_M/MiniMax-M3-UD-IQ1_M-00001-of-00004.gguf \
--temp 1.0 \\
--top-p 0.95 \\
--top-k 40
```
{% endcode %}
{% endstep %}
{% endstepper %}
## 📊 ベンチマーク
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:
```
GET https://unsloth.ai/docs/jp/moderu/minimax-m3.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.