{% endstep %}
{% endstepper %}
### 🦙 Llama.cpp ガイド
{% stepper %}
{% step %}
SPECIFIC PR を取得する `llama.cpp` PR で [**GitHubからこちらで取得**](https://github.com/ggml-org/llama.cpp/pull/24523)。以下のビルド手順に従うこともできます。 `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF` に変更してください。GPUがない場合、またはCPU推論だけを使いたい場合です。 **Apple Mac / Metalデバイスの場合**、 `-DGGML_CUDA=OFF` を設定し、そのまま通常どおり続行してください。Metalサポートはデフォルトで有効です。
```bash
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
git fetch origin pull/24523/head:minimax-m3
git checkout minimax-m3
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j --target llama-cli llama-server
```
{% endstep %}
{% step %}
これで次を使用できます `llama.cpp` を直接使って、モデルの読み込みやダウンロードができます。 `ollama run`まず、希望する量子化タイプを選択してください。たとえば `Q2_K_XL`。また、次も使用してください `export LLAMA_CACHE="folder"` を使うと `llama.cpp` を使って特定の場所に保存できます。このダウンロード प्रक्रियाは非常に遅い場合があるため、次のセクションの手動ダウンロード手順を使うのがたぶん最善です。
```bash
export LLAMA_CACHE="unsloth/MiniMax-M3-GGUF"
./build/bin/llama-cli \\
-hf unsloth/MiniMax-M3-GGUF:UD-IQ1_M \\
--temp 1.0 \
--top-p 0.95 \
--top-k 40
```
{% hint style="info" %}
注意: MiniMax Sparse Attention はまだサポートされていないため、推論は dense attention にフォールバックします。
{% endhint %}
{% endstep %}
{% step %}
モデルを手動でダウンロードしたい場合は、以下のコードでモデルをダウンロードできます（ `pip install huggingface_hub`をインストールした後）。ダウンロードが止まった場合は、次を参照してください: [Hugging Face Hub、XET のデバッグ](/docs/jp/ji-chu/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md)
```bash
hf download unsloth/MiniMax-M3-GGUF \\
--local-dir unsloth/MiniMax-M3-GGUF \\
--include "*UD-IQ1_M*" # 4ビットの場合は "*UD-IQ4_XS*" を使用
```
{% endstep %}
{% step %}
編集できます `--threads 32` CPU スレッド数を指定するには `--ctx-size 32768` コンテキスト長を指定するには `--n-gpu-layers 2` GPU オフロードでは何層にするかを指定します。GPU のメモリ不足になる場合は調整してみてください。CPU のみで推論する場合はこれも削除してください。MSA はまだサポートされていないので、 `--ctx-size` は控えめにしてください。非常に長いコンテキストでの dense attention は大量のメモリを使用します。
{% code overflow="wrap" %}
```bash
./build/bin/llama-cli \\
--model unsloth/MiniMax-M3-GGUF/UD-IQ1_M/MiniMax-M3-UD-IQ1_M-00001-of-00004.gguf \\
--temp 1.0 \
--top-p 0.95 \
--top-k 40
```
{% endcode %}
{% endstep %}
{% endstepper %}
## 📊 ベンチマーク
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.
Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:
```
GET https://unsloth.ai/docs/jp/moderu/tutorials/minimax-m3.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
