🐱Ministral 3 - 実行ガイド

Mistral Ministral 3 モデルをローカルで実行またはファインチューニングするためのガイド

Mistralは新しいマルチモーダルモデル Ministral 3 を Base、Instruct、Reasoning バリアントでリリースしました。サイズは 3B, 8B、および 14B です。これらは同サイズ帯で最高クラスの性能を提供し、指示やチャット用途向けにファインチューニングされています。マルチモーダルモデルは 256Kコンテキスト ウィンドウ、複数言語、ネイティブ関数呼び出し、JSON 出力をサポートします。

フルの未量子化 14B Ministral-3-Instruct-2512 モデルは 24GBのRAM/VRAM に収まります。Unsloth を使ってすべての Ministral 3 モデルを実行、ファインチューン、強化学習で扱うことができます：

Ministral 3 チュートリアルを実行するMinistral 3 のファインチューニング

また Mistral Large 3 もアップロードしました GGUFはこちら。すべての Ministral 3 のアップロード（BnB、FP8）については、 ここを参照してください.

Ministral-3-Instruct の GGUF：	Ministral-3-Reasoning の GGUF：
3B • 8B • 14B	3B • 8B • 14B

⚙️ 使用ガイド

で最適なパフォーマンスを達成するには、 指示（Instruct）に対して、Mistral は低めの温度（例えば temperature = 0.15 または 0.1

に関して 推論（Reasoning））の使用を推奨しています。Mistral は temperature = 0.7 および top_p = 0.95.

Instruct：	Reasoning：
Temperature = 0.15 または 0.1	Temperature = 0.7
Top_P = デフォルト	Top_P = 0.95

十分な出力長：Thinkingバリアントではほとんどのクエリに対して出力長を 32,768 は推論バリアントの多くのクエリに対してのトークン数で、 16,384 は指示（instruct）バリアント向けです。必要に応じて、Reasoning モデルの最大出力サイズを増やすことができます。

Ministral 3 が到達可能な最大コンテキスト長は 262,144

チャットテンプレートの形式は以下を使用したときに見られます：

tokenizer.apply_chat_template([
    {"role" : "user", "content" : "What is 1+1?"},
    {"role" : "assistant", "content" : "2"},
    {"role" : "user", "content" : "What is 2+2?"}
    ], add_generation_prompt = True
)

Ministral 推論（Reasoning） チャットテンプレート：

<s>[SYSTEM_PROMPT]# あなたがどのように考え、回答すべきか

まず応答に至るまで思考プロセス（内的独白）を下書きしてください。応答は Markdown 形式で、数学式には LaTeX を使用してください。思考と応答は入力と同じ言語で記述してください。

あなたの思考プロセスは以下のテンプレートに従わなければなりません：[THINK]あなたの思考や下書き、スクラッチペーパーに問題を解くような内容。ユーザーへの回答を生成する自信がつくまで、カジュアルに長めに記述して構いません。[/THINK]ここで自己完結した回答を提供してください。[/SYSTEM_PROMPT][INST]1+1は何ですか？[/INST]2</s>[INST]2+2は何ですか？[/INST]

Ministral 指示（Instruct） チャットテンプレート：

<s>[SYSTEM_PROMPT]あなたは Ministral-3-3B-Instruct-2512 であり、フランスのパリに本拠を置くスタートアップ Mistral AI によって作成された大規模言語モデル（LLM）です。
あなたは Le Chat という AI アシスタントを動かしています。
あなたのナレッジベースは最終更新日が 2023-10-01 です。
現在の日付は {today} です。

情報に確信が持てない場合や、ユーザーの要求が最新または特定のデータを必要とする場合は、利用可能なツールを使って情報を取得しなければなりません。より正確または完全な回答が得られる場合はためらわずにツールを使用してください。関連するツールが利用できない場合は、情報がないことを明確に伝え、でっち上げを避けてください。
ユーザーの質問が不明確、曖昧、または正確に答えるのに十分な文脈がない場合、すぐに答えようとせず、ユーザーに要求を明確にするよう尋ねてください（例：「近くの良いレストランは？」=>「どちらにいますか？」、あるいは「次の東京行きの便はいつ？」=>「どこから出発しますか？」）。
あなたは常に日付に注意深く、特に日付を解決するよう努めます（例：「昨日」は {yesterday} です）。特定の日付に関する情報を尋ねられた場合は、別の日付の情報は除外します。
これらの指示はすべての言語で従うべきであり、ユーザーが使用または要求する言語で常に応答してください。
次のセクションでは、あなたが持つ能力について説明します。

# ウェブ閲覧に関する指示

あなたはウェブ検索を行ったり、URL やリンクを開いたりしてインターネットへアクセスすることはできません。ユーザーがそれを期待しているように見える場合は状況を明確にし、ユーザーにテキストをチャットに直接コピーペーストするよう依頼してください。

# マルチモーダルに関する指示

あなたは画像を読む能力がありますが、画像を生成することはできません。また音声ファイルや動画を文字起こしすることもできません。
音声ファイルや動画を読み取ったり文字起こししたりすることはできません。

# ツール呼び出しに関する指示

あなたは情報を取得したり操作を実行したりするために使用できるツールにアクセスできる場合があります。次の場合にはこれらのツールを使用しなければなりません：

1. リクエストが最新の情報を必要とする場合。
2. リクエストがあなたのナレッジベースにない特定のデータを必要とする場合。
3. リクエストがツールなしでは実行できない操作を伴う場合。

常に最も正確で役立つ回答を提供するためにツールの使用を優先してください。ツールが利用できない場合は、現時点で要求された操作を実行できないことをユーザーに知らせてください。[/SYSTEM_PROMPT][INST]1+1は何ですか？[/INST]2</s>[INST]2+2は何ですか？[/INST]

📖 Ministral 3 チュートリアルを実行する

以下はモデルの 推論（Reasoning） および 指示（Instruct） モデルのバリアント。

Instruct：Ministral-3-Instruct-2512

で最適なパフォーマンスを達成するには、 指示（Instruct）に対して、Mistral は低めの温度（例えば temperature = 0.15 または 0.1

✨ Llama.cpp：Ministral-3-14B-Instruct チュートリアルを実行

1

最新の llama.cpp を GitHub で入手できます。下のビルド手順に従うこともできます。変更してください -DGGML_CUDA=ON から -DGGML_CUDA=OFF GPU がない場合や CPU 推論のみを行いたい場合は。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

Hugging Faceから直接プルできます：

./llama.cpp/llama-cli \
    -hf unsloth/Ministral-3-14B-Instruct-2512-GGUF:Q4_K_XL \
    --jinja -ngl 99 --ctx-size 32684 \
    --temp 0.15

3

（以下をインストールした後に）モデルをダウンロードします pip install huggingface_hub hf_transfer ）。量子化バージョンとして選べます UD_Q4_K_XL や他のもの。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Ministral-3-14B-Instruct-2512-GGUF",
    local_dir = "Ministral-3-14B-Instruct-2512-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

Reasoning：Ministral-3-Reasoning-2512

で最適なパフォーマンスを達成するには、 推論（Reasoning）、Mistral は使用を推奨します temperature = 0.7 および top_p = 0.95.

✨ Llama.cpp：Ministral-3-14B-Reasoning チュートリアルを実行

1

最新の llama.cpp を GitHub。下のビルド手順も使用できます。を変更してください -DGGML_CUDA=ON から -DGGML_CUDA=OFF GPU がない場合や CPU 推論のみを行いたい場合は。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

Hugging Faceから直接プルできます：

./llama.cpp/llama-cli \
    -hf unsloth/Ministral-3-14B-Reasoning-2512-GGUF:Q4_K_XL \
    --jinja -ngl 99 --ctx-size 32684 \
    --temp 0.6 --top-p 0.95

3

（以下をインストールした後に）モデルをダウンロードします pip install huggingface_hub hf_transfer ）。量子化バージョンとして選べます UD_Q4_K_XL や他のもの。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Ministral-3-14B-Reasoning-2512-GGUF",
    local_dir = "Ministral-3-14B-Reasoning-2512-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

🛠️ Ministral 3 のファインチューニング

Unsloth は現在、ビジョンサポートを含むすべての Ministral 3 モデルのファインチューニングをサポートしています。トレーニングするには、最新の 🤗Hugging Face を使用する必要があります： transformers v5 および unsloth には我々の最近の 超ロングコンテキスト サポートが含まれています。大きな 14B Ministral 3 モデルは無料の Colab GPU に収まるはずです。

Ministral 3 をファインチューンするための無料の Unsloth ノートブックを作成しました。使用したいモデル名に変更してください。

• Ministral-3B-Instruct Vision ノートブック （ビジョン）

• Ministral-3B-Instruct GRPO ノートブック

Ministral Vision ファインチューニングノートブック

Google Colabcolab.research.google.com

Ministral Sudoku GRPO RL ノートブック

Google Colabcolab.research.google.com

✨推論＋会話ノートブック

Unsloth は現在、Mistral モデル向けの RL と GRPO もサポートしています。いつものように、これらは Unsloth のすべての改良の恩恵を受けます。明日、数独パズルを自律的に解くための専用ノートブックを近日公開予定です。

• Ministral-3B-Instruct GRPO ノートブック

最新バージョンの Unsloth と transformers v5 を使用するには、次のようにアップデートしてください：

pip install --upgrade --force-reinstall --no-cache-dir --no-deps unsloth unsloth_zoo

目標は数独を解くための戦略を自動生成することです！

Ministral の報酬プロットは以下の通りです。うまく動作していることがわかります！