🐱Ministral 3 - 実行ガイド

Mistral Ministral 3モデルを、お使いのデバイスでローカルに実行またはファインチューニングするためのガイド

Mistral は、Base、Instruct、Reasoning の各バリアントを備えた新しいマルチモーダルモデル Ministral 3 をリリースしました。利用可能なのは 3B, 8B、および 14B サイズです。これらはサイズに対してクラス最高の性能を提供し、指示応答およびチャット用途向けにファインチューニングされています。マルチモーダルモデルは 256Kのコンテキスト ウィンドウ、複数言語、ネイティブ関数呼び出し、JSON 出力をサポートします。

量子化なしの完全な 14B Ministral-3-Instruct-2512 モデルは 24GB RAM/VRAM に収まります。これで、Unsloth を使ってすべての Ministral 3 モデルを実行、ファインチューニング、RL できます:

Ministral 3 チュートリアルを実行 Ministral 3 のファインチューニング

Mistral Large 3 もアップロードしましたここで GGUF を入手。すべての Ministral 3 のアップロード（BnB、FP8）については、こちらを参照.

Ministral-3-Instruct GGUF:

Ministral-3-Reasoning GGUF:

3B • 8B • 14B

⚙️ 使用ガイド

最適な性能を達成するには Instruct、Mistral は次のような低めの温度を使用することを推奨しています temperature = 0.15 または 0.1

対象は Reasoning、Mistral は次を推奨しています temperature = 0.7 および top_p = 0.95.

Instruct:

Reasoning:

Temperature = 0.15 または 0.1

Temperature = 0.7

Top_P = default

Top_P = 0.95

適切な出力長: 出力長を 32,768 トークンを、推論バリアントではほとんどのクエリに対して、そして 16,384 をインストラクトバリアントに対して使用します。必要であれば、推論モデルの最大出力サイズを増やすことができます。

Ministral 3 が到達できる最大コンテキスト長は 262,144

チャットテンプレートの形式は、以下を使用すると確認できます:

tokenizer.apply_chat_template([
    {"role" : "user", "content" : "What is 1+1?"},
    {"role" : "assistant", "content" : "2"},
    {"role" : "user", "content" : "What is 2+2?"}
    ], add_generation_prompt = True
)

Ministral Reasoning チャットテンプレート:

<s>[SYSTEM_PROMPT]# HOW YOU SHOULD THINK AND ANSWER

まず、応答にたどり着くまでの思考過程（内的独白）を下書きしてください。Markdown で応答を整形し、数式には LaTeX を使用してください。思考と応答は入力と同じ言語で書いてください。

Your thinking process must follow the template below:[THINK]Your thoughts or/and draft, like working through an exercise on scratch paper. Be as casual and as long as you want until you are confident to generate the response to the user.[/THINK]Here, provide a self-contained response.[/SYSTEM_PROMPT][INST]What is 1+1?[/INST]2</s>[INST]What is 2+2?[/INST]

Ministral Instruct チャットテンプレート:

<s>[SYSTEM_PROMPT]あなたは Ministral-3-3B-Instruct-2512 です。これは、パリに本社を置くフランスのスタートアップ Mistral AI が作成した大規模言語モデル（LLM）です。
あなたは Le Chat と呼ばれる AI アシスタントを支えています。
あなたの知識ベースの最終更新日は 2023-10-01 です。
現在の日付は {today} です。

何らかの情報に確信が持てないとき、またはユーザーの依頼に最新または特定のデータが必要なときは、利用可能なツールを使って情報を取得しなければなりません。より正確または完全な応答を提供できる場合は、ためらわずにツールを使用してください。関連するツールがない場合は、その情報を持っていないことを明確に伝え、何もでっち上げないでください。
ユーザーの質問が明確でない、曖昧である、または正確に答えるのに十分な文脈がない場合は、すぐに答えようとせず、代わりに依頼内容を明確にするようユーザーに尋ねてください（例: "近くの良いレストランは？" => "どこにいますか？"、または "東京行きの次の便はいつ？" => "どこから出発しますか？"）。
あなたは常に日付に非常に注意を払い、特に日付の解決を試みます（例: "昨日" は {yesterday} です）。また、特定の日付の情報について尋ねられたときは、別の日付の情報は除外します。
あなたはこれらの指示をすべての言語で守り、常にユーザーが使うか要求した言語で応答します。
次のセクションでは、あなたが持つ能力について説明します。

# WEB BROWSING INSTRUCTIONS

ウェブ検索を行ったり、インターネットにアクセスして URL やリンクなどを開いたりすることはできません。ユーザーがそれを期待しているようであれば、その状況を説明し、チャットにテキストを直接コピー＆ペーストするようユーザーに依頼してください。

# MULTI-MODAL INSTRUCTIONS

画像を読み取ることはできますが、画像を生成することはできません。音声ファイルや動画を文字起こしすることもできません。
音声ファイルや動画を読み取ることも文字起こしすることもできません。

# TOOL CALLING INSTRUCTIONS

情報を取得したりアクションを実行したりするために使えるツールにアクセスできる場合があります。次の状況では、これらのツールを使用しなければなりません:

1. リクエストに最新情報が必要な場合。
2. リクエストに、知識ベースにない特定のデータが必要な場合。
3. リクエストに、ツールなしでは実行できない操作が含まれる場合。

常にツールの使用を優先して、最も正確で役立つ応答を提供してください。ツールが利用できない場合は、現時点では依頼された操作を実行できないとユーザーに伝えてください。[/SYSTEM_PROMPT][INST]What is 1+1?[/INST]2</s>[INST]What is 2+2?[/INST]

📖 Ministral 3 チュートリアルを実行

以下は Reasoning および Instruct モデルの派生版。

Instruct: Ministral-3-Instruct-2512

最適な性能を達成するには Instruct、Mistral は次のような低めの温度を使用することを推奨しています temperature = 0.15 または 0.1

✨ Llama.cpp: Ministral-3-14B-Instruct チュートリアルを実行

最新の llama.cpp を GitHub こちらから取得してください。以下のビルド手順に従うこともできます。 -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。GPU がない場合、または CPU 推論だけを使いたい場合です。 Apple Mac / Metal デバイスの場合、次を設定して -DGGML_CUDA=OFF その後は通常どおり続けてください - Metal サポートは既定で有効です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

Hugging Faceから直接次の方法で取得できます:

./llama.cpp/llama-cli \\
    -hf unsloth/Ministral-3-14B-Instruct-2512-GGUF:Q4_K_XL \
    --jinja -ngl 99 --ctx-size 32784 \
    --temp 0.15

モデルのダウンロード（ pip install huggingface_hub hf_transfer のインストール後）。 UD_Q4_K_XL または他の量子化版を選べます。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Ministral-3-14B-Instruct-2512-GGUF",
    local_dir = "Ministral-3-14B-Instruct-2512-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

Reasoning: Ministral-3-Reasoning-2512

最適な性能を達成するには Reasoning、Mistral は次を使用することを推奨しています temperature = 0.7 および top_p = 0.95.

✨ Llama.cpp: Ministral-3-14B-Reasoning チュートリアルを実行

最新の llama.cpp を GitHub。以下のビルド手順も使用できます。変更してください -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。GPU がない場合、または CPU 推論だけを使いたい場合です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

Hugging Faceから直接次の方法で取得できます:

./llama.cpp/llama-cli \\
    -hf unsloth/Ministral-3-14B-Reasoning-2512-GGUF:Q4_K_XL \
    --jinja -ngl 99 --ctx-size 32784 \
    --temp 0.6 --top-p 0.95

モデルのダウンロード（ pip install huggingface_hub hf_transfer のインストール後）。 UD_Q4_K_XL または他の量子化版を選べます。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Ministral-3-14B-Reasoning-2512-GGUF",
    local_dir = "Ministral-3-14B-Reasoning-2512-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

🛠️ Ministral 3 のファインチューニング

Unsloth は現在、視覚サポートを含むすべての Ministral 3 モデルのファインチューニングをサポートしています。学習するには、最新の 🤗Hugging Face を使用する必要があります transformers v5 と unsloth を使用してください。これには、最近の超長文コンテキストサポートが含まれます。大きな 14B Ministral 3 モデルは無料の Colab GPU に収まるはずです。

Ministral 3 をファインチューニングするための無料の Unsloth ノートブックを用意しました。目的のモデルを使うよう名前を変更してください。

Ministral-3B-Instruct Vision ノートブック (vision)
Ministral-3B-Instruct GRPO ノートブック

Ministral Vision ファインチューニングノートブック

Google Colabcolab.research.google.com

Ministral Sudoku GRPO RL ノートブック

Google Colabcolab.research.google.com

✨強化学習（GRPO）

Unsloth は現在、Mistral モデル向けの RL と GRPO もサポートしています。いつものように、Unsloth のすべての改良の恩恵を受けます。さらに明日には、数独パズルを自律的に解くための専用ノートブックをまもなく公開します。

Ministral-3B-Instruct GRPO ノートブック

Unsloth の最新バージョンと transformers v5 を使用するには、次の方法で अपडेटしてください:

pip install --upgrade --force-reinstall --no-cache-dir --no-deps unsloth unsloth_zoo

目標は、数独を完成させる戦略を自動生成することです！

Ministral の報酬プロットは以下のとおりです。うまく機能していることがわかります！

最終更新 1 か月前

役に立ちましたか？