{% endstep %}
{% endstepper %}
### 🦙 Llama.cppガイド
{% stepper %}
{% step %}
特定の `llama.cpp` PRを [**GitHub はこちら**](https://github.com/ggml-org/llama.cpp/pull/24523)。以下のビルド手順に従うこともできます。変更してください `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF` GPU がない場合、または CPU 推論のみを使用したい場合。 **Apple Mac / Metal デバイスの場合**、次を設定し `-DGGML_CUDA=OFF` その後は通常どおり続行してください。Metal サポートはデフォルトで有効です。
```bash
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
git fetch origin pull/24523/head:minimax-m3
git checkout minimax-m3
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j --target llama-cli llama-server
```
{% endstep %}
{% step %}
現在は `llama.cpp` を直接使ってモデルを読み込み・ダウンロードできます。 `ollama run`と同じように。まず、 `Q2_K_XL`のように、希望する量子化タイプを選択してください。また、 `export LLAMA_CACHE="folder"` して `llama.cpp` を特定の場所に保存するよう強制できます。このダウンロード प्रक्रियाはかなり遅い場合があるため、次のセクションの手動ダウンロード手順を使うのがおそらく最善です。
```bash
export LLAMA_CACHE="unsloth/MiniMax-M3-GGUF"
./build/bin/llama-cli \
-hf unsloth/MiniMax-M3-GGUF:UD-IQ1_M \
--temp 1.0 \\
--top-p 0.95 \\
--top-k 40
```
{% hint style="info" %}
注意：MiniMax Sparse Attentionはまだサポートされていないため、推論は密な注意にフォールバックします。
{% endhint %}
{% endstep %}
{% step %}
モデルを手動でダウンロードしたい場合は、以下のコードでダウンロードできます（次をインストールした後） `pip install huggingface_hub`をインストールした後）。ダウンロードが止まる場合は、次を参照してください： [Hugging Face Hub、XETデバッグ](/docs/jp/ji-ben/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md)
```bash
hf download unsloth/MiniMax-M3-GGUF \
--local-dir unsloth/MiniMax-M3-GGUF \
--include "*UD-IQ1_M*" # 4-bit には "*UD-IQ4_XS*" を使用
```
{% endstep %}
{% step %}
次を編集できます `--threads 32` CPUスレッド数として `--ctx-size 32768` コンテキスト長として `--n-gpu-layers 2` GPUオフロードについて、何層にするか。GPUのメモリ不足になる場合は調整してみてください。CPUのみの推論の場合はこれも削除してください。MSAはまだサポートされていないことを忘れずに、 `--ctx-size` は控えめにしてください。非常に長いコンテキストでの密な注意は大量のメモリを使用します。
{% code overflow="wrap" %}
```bash
./build/bin/llama-cli \
--model unsloth/MiniMax-M3-GGUF/UD-IQ1_M/MiniMax-M3-UD-IQ1_M-00001-of-00004.gguf \
--temp 1.0 \\
--top-p 0.95 \\
--top-k 40
```
{% endcode %}
{% endstep %}
{% endstepper %}
## 📊 ベンチマーク
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:
```
GET https://unsloth.ai/docs/jp/moderu/minimax-m3.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.