MiniMax-M2.5：运行指南

在您的本地设备上运行 MiniMax-M2.5！

MiniMax-M2.5 是一个新的开放式大型语言模型，在编码、代理工具使用以及搜索和办公工作方面实现了最先进水平，在以下测试中得分为 80.2%。 SWE-Bench Verified，在 Multi-SWE-Bench 中得分 51.3%，在 BrowseComp 中得分 76.3%。

该 230B 参数 （10B 活跃）模型具有一个 200K 上下文 窗口且未量化的 bf16 需要 457GB。Unsloth 动态 3 位 GGUF 将大小减少到 101GB (-62%): MiniMax-M2.5 GGUF

所有上传都使用 Unsloth Dynamic 2.0 以获得最先进的量化性能——因此 3 位量化会将重要层提升为 8 或 16 位。你也可以通过 Unsloth 使用多 GPU 对模型进行微调。

⚙️ 使用指南

3 位动态量化 UD-Q3_K_XL 使用 101GB 的磁盘空间——这正好适合放在 128GB 统一内存的 Mac 上约有 ~20+ 令牌/秒，并且在具有 1x16GB GPU 和 96GB 内存 的系统上可实现 25+ 令牌/秒 的更快速度。 2 位 量化或最大的 2 位版本将适合 96GB 设备。

若需接近 全精度，请使用 Q8_0 （8 位），它占用 243GB，可安装在 256GB 内存的设备/Mac 上，速度约为 10+ 令牌/秒。

虽然不是必须的，但为了获得最佳性能，请确保你的显存 + 内存总和等于你所下载的量化文件大小。如果不满足，使用 llama.cpp 的硬盘/SSD 异地卸载也能工作，只是推理会更慢。

推荐设置

MiniMax 推荐使用以下参数以获得最佳性能： temperature=1.0, top_p = 0.95, top_k = 40.

默认设置（大多数任务）
temperature = 1.0
top_p = 0.95
top_k = 40
重复惩罚 = 1.0 或禁用

• 最大上下文窗口： 196,608

• Min_P = 0.01 （默认可能是 0.05）

• 默认系统提示：

你是一个乐于助人的助手。你的名字是 MiniMax-M2.5，由 MiniMax 构建。

运行 MiniMax-M2.5 教程：

对于这些教程，我们将使用 3 位 UD-Q3_K_XL 量化，它可以放在 128GB 内存的设备中。

✨ 在 llama.cpp 中运行

1

获取最新的 llama.cpp 于 此处的 GitHub。你也可以按照下面的构建说明进行。若要更改 -DGGML_CUDA=ON 为 -DGGML_CUDA=OFF 如果你没有 GPU 或仅想使用 CPU 推理。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

如果你想直接使用 llama.cpp 来加载模型，你可以按下面步骤操作：（:Q3_K_XL）是量化类型。你也可以通过 Hugging Face（第 3 点）下载。这与 ollama run 类似。使用 export LLAMA_CACHE="folder" 来强制 llama.cpp 保存到特定位置。请记住模型最多只有 200K 的上下文长度。

按照此操作以获得 大多数默认 用例：

export LLAMA_CACHE="unsloth/MiniMax-M2.5-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/MiniMax-M2.5-GGUF:UD-Q3_K_XL \
    --ctx-size 16384 \
    --flash-attn on \
    --temp 1.0 \
    --top-p 0.95 \
    --min-p 0.01 \
    --top-k 40

3

通过（在安装 pip install huggingface_hub hf_transfer ）后下载模型。你可以选择 UD-Q3_K_XL （动态 4 位量化）或其他量化版本如 UD-Q6_K_XL 。我们建议使用我们的 4 位动态量化 UD-Q3_K_XL 以在大小和准确性之间取得平衡。

hf download unsloth/MiniMax-M2.5-GGUF \
    --local-dir unsloth/MiniMax-M2.5-GGUF \
    --include "*UD-Q3_K_XL*" # 对于 8 位使用 "*Q8_0*"

4

你可以编辑 --threads 32 来设置 CPU 线程数， --ctx-size 16384 来设置上下文长度， --n-gpu-layers 2 来设置用于 GPU 异地卸载的层数。如果你的 GPU 出现内存不足，请尝试调整它。如果仅使用 CPU 推理，请将其移除。

./llama.cpp/llama-cli \
    --model unsloth/MiniMax-M2.5-GGUF/UD-Q3_K_XL/MiniMax-M2.5-UD-Q3_K_XL-00001-of-00004.gguf \
    --temp 1.0 \
    --top-p 0.95 \
    --min-p 0.01 \
    --top-k 40 \
    --ctx-size 16384 \
    --seed 3407

🦙 Llama-server 与 OpenAI 的 completion 库

要将 MiniMax-M2.5 部署到生产环境，我们使用 llama-server 或 OpenAI API。在新终端（例如通过 tmux）中，通过以下命令部署模型：

./llama.cpp/llama-server \
    --model unsloth/MiniMax-M2.5-GGUF/UD-Q3_K_XL/MiniMax-M2.5-UD-Q3_K_XL-00001-of-00004.gguf \
    --alias "unsloth/MiniMax-M2.5" \
    --prio 3 \
    --temp 1.0 \
    --top-p 0.95 \
    --min-p 0.01 \
    --top-k 40 \
    --ctx-size 16384 \
    --port 8001

然后在新终端中，在执行 pip install openai之后，执行：

from openai import OpenAI
import json
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/MiniMax-M2.5",
    messages = [{"role": "user", "content": "Create a Snake game."},],
)
print(completion.choices[0].message.content)

📊 基准测试

你可以在下方查看以表格形式展示的更多基准测试：

基准	MiniMax-M2.5	MiniMax-M2.1	Claude Opus 4.5	Claude Opus 4.6	Gemini 3 Pro	GPT-5.2（思考中）
AIME25	86.3	83.0	91.0	95.6	96.0	98.0
GPQA-D	85.2	83.0	87.0	90.0	91.0	90.0
SciCode	44.4	41.0	50.0	52.0	56.0	52.0
IFBench	70.0	70.0	58.0	53.0	70.0	75.0
AA-LCR	69.5	62.0	74.0	71.0	71.0	73.0
SWE-Bench 已验证	80.2	74.0	80.9	80.8	78.0	80.0
SWE-Bench 专业版	55.4	49.7	56.9	55.4	54.1	55.6
Terminal Bench 2	51.7	47.9	53.4	55.1	54.0	54.0
不使用工具的 HLE	19.4	22.2	28.4	30.7	37.2	31.4
Multi-SWE-Bench	51.3	47.2	50.0	50.3	42.7	—
SWE-Bench 多语种	74.1	71.9	77.5	77.8	65.0	72.0
VIBE-Pro（平均）	54.2	42.4	55.2	55.6	36.9	—
BrowseComp（含上下文）	76.3	62.0	67.8	84.0	59.2	65.8
广域搜索	70.3	63.2	76.2	79.4	57.0	—
RISE	50.2	34.0	50.5	62.5	36.8	50.0
BFCL 多回合	76.8	37.4	68.0	63.3	61.0	—
τ² 电信	97.8	87.0	98.2	99.3	98.0	98.7
MEWC	74.4	55.6	82.1	89.8	78.7	41.3
GDPval-MM	59.0	24.6	61.1	73.5	28.1	54.5
金融建模	21.6	17.3	30.1	33.2	15.0	20.0

编码核心基准得分

搜索与工具使用

每 100 项完成的任务数

办公能力