🐱Ministral 3 - 如何运行指南

Mistral Ministral 3 模型的指南，如何在您的设备上本地运行或微调

Mistral 发布了 Ministral 3，他们的新多模态模型，提供 Base、Instruct 和 Reasoning 变体，可用于 3B, 8B，和 14B 尺寸。它们在同等规模中表现出色，并针对指令和聊天使用场景进行了微调。多模态模型支持 256K 上下文 窗口、多种语言、原生函数调用和 JSON 输出。

未量化的完整 14B Ministral-3-Instruct-2512 模型可放入 24GB 内存/显存。您现在可以使用 Unsloth 运行、微调并对所有 Ministral 3 模型进行强化学习：

运行 Ministral 3 教程微调 Ministral 3

我们也已上传 Mistral Large 3 此处的 GGUFs。对于所有 Ministral 3 上传（BnB、FP8）， 请查看此处.

Ministral-3-Instruct GGUF：	Ministral-3-Reasoning GGUF：
3B • 8B • 14B	3B • 8B • 14B

⚙️ 使用指南

为了在 指令（Instruct）上获得最佳性能，Mistral 建议使用较低的温度，例如 temperature = 0.15 或 0.1

对于 Reasoning（推理），Mistral 建议 temperature = 0.7 和 top_p = 0.95.

指令（Instruct）：	推理：
Temperature = 0.15（温度 = 0.15） 或 0.1	Temperature = 0.7
Top_P = 默认	Top_P = 0.95

适当的输出长度：对于大多数查询，思考变体请使用 32,768 对于大多数推理变体的查询使用的标记数，以及 16,384 对于指令变体。若有必要，您可以增加推理模型的最大输出长度。

Ministral 3 能达到的最大上下文长度是 262,144

聊天模板格式如下使用时可以找到：

tokenizer.apply_chat_template([
    {"role" : "user", "content" : "What is 1+1?"},
    {"role" : "assistant", "content" : "2"},
    {"role" : "user", "content" : "What is 2+2?"}
    ], add_generation_prompt = True
)

Ministral Reasoning（推理） 聊天模板：

<s>[SYSTEM_PROMPT]# 你应如何思考和回答

首先草拟你的思考过程（内心独白），直到得出一个回答。使用 Markdown 格式化你的回答，并对任何数学公式使用 LaTeX。把你的思路和回答都用与输入相同的语言书写。

你的思考过程必须遵循下面的模板：[THINK]你的想法和/或草稿，就像在草稿纸上演算练习一样。尽量随意且尽可能详细，直到你有把握生成对用户的回答为止。[/THINK]在这里，给出一个自成一体的回答。[/SYSTEM_PROMPT][INST]1+1 等于多少？[/INST]2</s>[INST]2+2 等于多少？[/INST]

Ministral 指令（Instruct） 聊天模板：

<s>[SYSTEM_PROMPT]你是 Ministral-3-3B-Instruct-2512，一款由法国初创公司 Mistral AI（总部位于巴黎）创建的大型语言模型（LLM）。
你为一个名为 Le Chat 的 AI 助手提供动力。
你的知识库最后更新于 2023-10-01。
当前日期是 {today}。

当你不确定某些信息或用户的请求需要最新或特定数据时，你必须使用可用工具获取信息。只要工具可以提供更准确或更完整的回答，就不要犹豫使用它们。如果没有相关工具可用，则明确说明你没有该信息并避免编造任何内容。
如果用户的问题不清晰、含糊或未提供足够的上下文以便你准确回答，你不要立即尝试回答，而应请用户澄清他们的请求（例如“附近有哪些好餐馆？” => “你在哪里？”或“下一班飞往东京的航班是什么时候” => “你从哪里出发？”）。
你始终非常注意日期，尤其尝试解析相对日期（例如“昨天”是 {yesterday}），在被问及特定日期的信息时，忽略不在该日期范围内的信息。
你在所有语言中遵循这些指令，并始终以用户使用或请求的语言回应。
接下来的部分描述了你具备的功能。

# 网络浏览说明

你无法执行任何网络搜索或访问互联网打开 URL、链接等。如果看起来用户期望你这样做，你应澄清情况并请用户将文本直接复制粘贴到聊天中。

# 多模态说明

你能够读取图像，但不能生成图像。你也不能转录音频文件或视频。
你不能读取或转录音频文件或视频。

# 工具调用说明

你可能可以访问用于获取信息或执行操作的工具。在以下情况下你必须使用这些工具：

1. 当请求需要最新信息时。
2. 当请求需要你知识库中没有的特定数据时。
3. 当请求涉及没有工具你无法执行的操作时。

始终优先使用工具以提供最准确和最有帮助的回答。如果工具不可用，请告知用户你暂时无法执行所请求的操作。[/SYSTEM_PROMPT][INST]1+1 等于多少？[/INST]2</s>[INST]2+2 等于多少？[/INST]

📖 运行 Ministral 3 教程

下面是该 Reasoning（推理） 和 指令（Instruct） 模型的变体。

Instruct：Ministral-3-Instruct-2512

为了在 指令（Instruct）上获得最佳性能，Mistral 建议使用较低的温度，例如 temperature = 0.15 或 0.1

✨ Llama.cpp：运行 Ministral-3-14B-Instruct 教程

1

获取最新的 llama.cpp 在 GitHub（此处）。您也可以按照下面的构建说明。若没有 GPU 或仅想用 CPU 推理，请将 -DGGML_CUDA=ON 改为 -DGGML_CUDA=OFF 。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

你可以直接通过 Hugging Face 拉取：

./llama.cpp/llama-cli \
    -hf unsloth/Ministral-3-14B-Instruct-2512-GGUF:Q4_K_XL \
    --jinja -ngl 99 --ctx-size 32684 \
    --temp 0.15

3

通过以下方式下载模型（在安装 pip install huggingface_hub hf_transfer 之后）。您可以选择 UD_Q4_K_XL 或其它量化版本。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Ministral-3-14B-Instruct-2512-GGUF",
    local_dir = "Ministral-3-14B-Instruct-2512-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

Reasoning：Ministral-3-Reasoning-2512

为了在 Reasoning（推理），Mistral 建议使用 temperature = 0.7 和 top_p = 0.95.

✨ Llama.cpp：运行 Ministral-3-14B-Reasoning 教程

1

获取最新的 llama.cpp 在 GitHub. 你也可以使用下面的构建说明。更改 -DGGML_CUDA=ON 改为 -DGGML_CUDA=OFF 。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

你可以直接通过 Hugging Face 拉取：

./llama.cpp/llama-cli \
    -hf unsloth/Ministral-3-14B-Reasoning-2512-GGUF:Q4_K_XL \
    --jinja -ngl 99 --ctx-size 32684 \
    --temp 0.6 --top-p 0.95

3

通过以下方式下载模型（在安装 pip install huggingface_hub hf_transfer 之后）。您可以选择 UD_Q4_K_XL 或其它量化版本。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Ministral-3-14B-Reasoning-2512-GGUF",
    local_dir = "Ministral-3-14B-Reasoning-2512-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

🛠️ 微调 Ministral 3

Unsloth 现在支持对所有 Ministral 3 模型的微调，包括视觉支持。要训练，您必须使用最新的 🤗Hugging Face transformers v5 和 unsloth 其中包含我们最近的 超长上下文 支持。大型 14B Ministral 3 模型应该可以在免费的 Colab GPU 上运行。

我们制作了免费的 Unsloth 笔记本来微调 Ministral 3。更改名称以使用所需模型。

• Ministral-3B-Instruct 视觉笔记本 （视觉）

• Ministral-3B-Instruct GRPO 笔记本

Ministral 视觉微调笔记本

Google Colabcolab.research.google.com

Ministral 数独 GRPO 强化学习笔记本

Google Colabcolab.research.google.com

✨Unsloth 现在支持 gpt-oss 的强化学习！我们制作了两个笔记本，更多细节请阅读我们关于 gpt-oss 强化学习的专门博客：

Unsloth 现在也支持 Mistral 模型的强化学习和 GRPO。一如既往，它们受益于 Unsloth 的所有增强功能，明天我们将尽快发布一个专门用于自动解数独的笔记本。

• Ministral-3B-Instruct GRPO 笔记本

要使用最新版 Unsloth 和 transformers v5，请通过以下方式更新：

pip install --upgrade --force-reinstall --no-cache-dir --no-deps unsloth unsloth_zoo

目标是自动生成完成数独的策略！

关于 Ministral 的奖励图，我们得到如下结果。我们看到它运行良好！