{% endstep %}
{% endstepper %}
### 🦙 Llama.cppガイド
{% stepper %}
{% step %}
特定の `llama.cpp` PR を取得 [**GitHubこちら**](https://github.com/ggml-org/llama.cpp/pull/24523)。以下のビルド手順に従うこともできます。変更してください `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF` GPUがない場合、またはCPU推論のみを使いたい場合は。 **Apple Mac / Metalデバイスの場合**、次を設定します `-DGGML_CUDA=OFF` その後は通常どおり続けてください。Metalサポートはデフォルトで有効です。
```bash
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
git fetch origin pull/24523/head:minimax-m3
git checkout minimax-m3
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j --target llama-cli llama-server
```
{% endstep %}
{% step %}
これから使えます `llama.cpp` を直接使ってモデルを読み込み・ダウンロードできます。ちょうど `ollama run`。まず、次のような希望の量子化タイプを選択します `Q2_K_XL`。また、 `export LLAMA_CACHE="folder"` を使って `llama.cpp` 特定の場所に保存するために使用します。このダウンロード प्रक्रियाは非常に遅い可能性があるため、次のセクションの手動ダウンロード手順を使うのが最善でしょう。
```bash
export LLAMA_CACHE="unsloth/MiniMax-M3-GGUF"
./build/bin/llama-cli \\
-hf unsloth/MiniMax-M3-GGUF:UD-IQ1_M \\
--temp 1.0 \\
--top-p 0.95 \\
--top-k 40
```
{% hint style="info" %}
注意：MiniMax Sparse Attention はまだサポートされていないため、推論は dense attention にフォールバックします。
{% endhint %}
{% endstep %}
{% step %}
モデルを手動でダウンロードしたい場合は、以下のコードでダウンロードできます（インストール後 `pip install huggingface_hub`）。ダウンロードが止まる場合は、次を参照してください： [Hugging Face Hub、XET のデバッグ](/docs/jp/ji-chu/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md)
```bash
hf download unsloth/MiniMax-M3-GGUF \\
--local-dir unsloth/MiniMax-M3-GGUF \\
--include "*UD-IQ1_M*" # 4ビットには "*UD-IQ4_XS*" を使用
```
{% endstep %}
{% step %}
編集できます `--threads 32` CPUスレッド数は `--ctx-size 32768` コンテキスト長は `--n-gpu-layers 2` GPU オフロード用に、何層にするかを調整してください。GPU のメモリが不足する場合は調整してみてください。また、CPU のみで推論する場合はこれを削除してください。MSA はまだサポートされていないことを忘れずに、 `--ctx-size` は控えめにしてください。非常に長いコンテキストでの dense attention は大量のメモリを使用します。
{% code overflow="wrap" %}
```bash
./build/bin/llama-cli \\
--model unsloth/MiniMax-M3-GGUF/UD-IQ1_M/MiniMax-M3-UD-IQ1_M-00001-of-00004.gguf \\
--temp 1.0 \\
--top-p 0.95 \\
--top-k 40
```
{% endcode %}
{% endstep %}
{% endstepper %}
## 📊 ベンチマーク
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.
Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:
```
GET https://unsloth.ai/docs/jp/moderu/minimax-m3.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
