🐱Ministral 3 - 如何运行指南

Mistral Ministral 3 模型指南，可在你的设备上本地运行或微调

Mistral 发布了 Ministral 3，这是他们全新的多模态模型，分为 Base、Instruct 和 Reasoning 变体，可在 3B, 8B，以及 14B 种规模下使用。它们在各自规模上提供同类最佳性能，并针对指令和聊天使用场景进行了微调。该多模态模型支持 256K 上下文 窗口、多语言、原生函数调用和 JSON 输出。

完整的未量化 14B Ministral-3-Instruct-2512 模型可放入 24GB RAM/VRAM 中。现在你可以使用 Unsloth 在所有 Ministral 3 模型上运行、微调和进行 RL：

运行 Ministral 3 教程微调 Ministral 3

我们还上传了 Mistral Large 3 这里的 GGUF。对于所有 Ministral 3 上传版本（BnB、FP8）， 请看这里.

Ministral-3-Instruct GGUF：	Ministral-3-Reasoning GGUF：
3B • 8B • 14B	3B • 8B • 14B

⚙️ 使用指南

为了在 Instruct上获得最佳性能，Mistral 建议使用较低的温度，例如 temperature = 0.15 或 0.1

对于 Reasoning，Mistral 建议 temperature = 0.7 和 top_p = 0.95.

Instruct：	Reasoning：
Temperature = 0.15 或 0.1	Temperature = 0.7
Top_P = 默认值	Top_P = 0.95

足够的输出长度：对于大多数查询，thinking 变体使用 32,768 tokens，用于推理变体的大多数查询，以及 16,384 用于指令变体。必要时，你可以为推理模型增加最大输出大小。

Ministral 3 可达到的最大上下文长度是 262,144

聊天模板格式可通过使用下面内容找到：

tokenizer.apply_chat_template([
    {"role" : "user", "content" : "What is 1+1?"},
    {"role" : "assistant", "content" : "2"},
    {"role" : "user", "content" : "What is 2+2?"}
    ], add_generation_prompt = True
)

Ministral Reasoning 聊天模板：

<s>[SYSTEM_PROMPT]# 你应该如何思考和回答

先草拟你的思考过程（内心独白），直到得出回答。使用 Markdown 格式化你的回答，并对任何数学方程使用 LaTeX。你的思考和回答都要用与输入相同的语言书写。

你的思考过程必须遵循下面的模板：[THINK]你的想法和/或草稿，就像在草稿纸上解题一样。请尽量保持随意，并写得尽可能长，直到你有信心生成给用户的回复为止。[/THINK]在这里，请提供一个自包含的回复。[/SYSTEM_PROMPT][INST]1+1 等于多少？[/INST]2</s>[INST]2+2 等于多少？[/INST]

Ministral Instruct 聊天模板：

<s>[SYSTEM_PROMPT]你是 Ministral-3-3B-Instruct-2512，一个由 Mistral AI 创建的大语言模型（LLM）。Mistral AI 是一家总部位于巴黎的法国初创公司。
你驱动着一个名为 Le Chat 的 AI 助手。
你的知识库最后更新时间为 2023-10-01。
当前日期是 {today}。

当你对某些信息不确定，或者用户的请求需要最新或特定数据时，你必须使用可用工具来获取信息。只要工具能够提供更准确或更完整的回复，就不要犹豫使用它们。如果没有相关工具可用，那么请明确说明你没有这些信息，并避免编造任何内容。
如果用户的问题不清楚、含糊，或者没有提供足够的上下文让你准确回答，你不要立刻尝试回答，而应先请用户澄清其请求（例如："我附近有哪些不错的餐馆？" => "你在哪里？"，或 "下一班去东京的航班什么时候？" => "你从哪里出发？"）。
你始终非常关注日期，尤其会尝试解析日期（例如："昨天" 是 {yesterday}），并且在被询问特定日期的信息时，你会忽略其他日期的信息。
你在所有语言中都遵循这些指令，并始终用用户使用或要求的语言回复用户。
接下来的部分描述了你具备的能力。

# 网页浏览说明

你不能进行任何网页搜索，也不能访问互联网来打开 URL、链接等。如果看起来用户希望你这样做，你要说明情况，并请用户直接将文本复制粘贴到聊天中。

# 多模态说明

你有读取图像的能力，但不能生成图像。你也不能转录音频文件或视频。
你不能读取或转录音频文件或视频。

# 工具调用说明

你可能可以使用一些工具来获取信息或执行操作。在以下情况下，你必须使用这些工具：

1. 当请求需要最新信息时。
2. 当请求需要你知识库中没有的特定数据时。
3. 当请求涉及你 بدون工具无法执行的操作时。

始终优先使用工具，以提供最准确、最有帮助的回复。如果没有可用工具，请告知用户你目前无法执行所请求的操作。[/SYSTEM_PROMPT][INST]1+1 等于多少？[/INST]2</s>[INST]2+2 等于多少？[/INST]

📖 运行 Ministral 3 教程

以下是针对该模型 Reasoning 和 Instruct 模型变体。

Instruct：Ministral-3-Instruct-2512

为了在 Instruct上获得最佳性能，Mistral 建议使用较低的温度，例如 temperature = 0.15 或 0.1

✨ Llama.cpp：运行 Ministral-3-14B-Instruct 教程

1

获取最新的 llama.cpp 在 GitHub 这里。你也可以按照下面的构建说明操作。将 -DGGML_CUDA=ON 改为 -DGGML_CUDA=OFF 如果你没有 GPU，或者只想进行 CPU 推理。 对于 Apple Mac / Metal 设备，设置 -DGGML_CUDA=OFF 然后照常继续——Metal 支持默认开启。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

你可以通过以下方式直接从 Hugging Face 拉取：

./llama.cpp/llama-cli \
    -hf unsloth/Ministral-3-14B-Instruct-2512-GGUF:Q4_K_XL \\
    --jinja -ngl 99 --ctx-size 32784 \\
    --temp 0.15

3

通过以下方式下载模型（在安装 pip install huggingface_hub hf_transfer 之后）。你可以选择 UD_Q4_K_XL 或其他量化版本。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Ministral-3-14B-Instruct-2512-GGUF",
    local_dir = "Ministral-3-14B-Instruct-2512-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

Reasoning：Ministral-3-Reasoning-2512

为了在 Reasoning，Mistral 建议使用 temperature = 0.7 和 top_p = 0.95.

✨ Llama.cpp：运行 Ministral-3-14B-Reasoning 教程

1

获取最新的 llama.cpp 在 GitHub。你也可以使用下面的构建说明。更改 -DGGML_CUDA=ON 改为 -DGGML_CUDA=OFF 如果你没有 GPU，或者只想进行 CPU 推理。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

你可以通过以下方式直接从 Hugging Face 拉取：

./llama.cpp/llama-cli \
    -hf unsloth/Ministral-3-14B-Reasoning-2512-GGUF:Q4_K_XL \\
    --jinja -ngl 99 --ctx-size 32784 \\
    --temp 0.6 --top-p 0.95

3

通过以下方式下载模型（在安装 pip install huggingface_hub hf_transfer 之后）。你可以选择 UD_Q4_K_XL 或其他量化版本。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Ministral-3-14B-Reasoning-2512-GGUF",
    local_dir = "Ministral-3-14B-Reasoning-2512-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

🛠️ 微调 Ministral 3

Unsloth 现在支持所有 Ministral 3 模型的微调，包括视觉支持。要进行训练，你必须使用最新的 🤗Hugging Face transformers v5 以及 unsloth ，其中包括我们最近的 超长上下文 支持。大型 14B Ministral 3 模型应该可以放入免费的 Colab GPU。

我们制作了免费的 Unsloth 笔记本来微调 Ministral 3。请更改名称以使用所需的模型。

• Ministral-3B-Instruct 视觉笔记本 （视觉）

• Ministral-3B-Instruct GRPO 笔记本

Ministral Vision 微调笔记本

Google Colabcolab.research.google.com

Ministral 数独 GRPO RL 笔记本

Google Colabcolab.research.google.com

✨强化学习（GRPO）

Unsloth 现在也支持 Mistral 模型的 RL 和 GRPO。和往常一样，它们受益于 Unsloth 的所有增强功能，而且明天我们将很快发布一个专门用于自主解决数独谜题的笔记本。

• Ministral-3B-Instruct GRPO 笔记本

要使用最新版的 Unsloth 和 transformers v5，请通过以下方式更新：

pip install --upgrade --force-reinstall --no-cache-dir --no-deps unsloth unsloth_zoo

目标是自动生成完成数独的策略！

对于 Ministral 的奖励图，我们得到如下结果。可以看到效果很好！