# MiniMax-M2.5：运行指南 MiniMax-M2.5 是一款全新的开放 LLM，在编程、智能体式工具使用、搜索和办公工作中达到了 SOTA，在 [SWE-Bench](#benchmarks) Verified、Multi-SWE-Bench 中达到 51.3%，在 BrowseComp 中达到 76.3%。 这些 **2300亿参数** （100亿活跃）模型拥有 **20万上下文** 窗口，未量化的 bf16 需要 **457GB**。Unsloth Dynamic **3-bit** GGUF 将大小降至 **101GB** **(-62%):** [**MiniMax-M2.5 GGUF**](https://huggingface.co/unsloth/MiniMax-M2.5-GGUF) 所有上传都使用 Unsloth [Dynamic 2.0](https://unsloth.ai/docs/zh/ji-chu/unsloth-dynamic-2.0-ggufs) ，以获得 SOTA 量化性能——因此 3-bit 会将重要层上转为 8 位或 16 位。你也可以通过 Unsloth 使用多 GPU 对模型进行微调。 {% hint style="success" %} **2月26日：** 看看我们的 GGUF 量化 [在基准测试中的表现](#unsloth-gguf-benchmarks). {% endhint %} ### :gear: 使用指南 3-bit 动态量化 UD-Q3\_K\_XL 使用 **101GB** 磁盘空间——这非常适合 **128GB 统一内存的 Mac** ，可实现约 20+ tokens/s，而且在以下配置下也能更快运行： **1x16GB GPU 和 96GB RAM** ，可达到 25+ tokens/s。 **2-bit** 量化版本，或者最大的 2-bit 版本可安装在 96GB 设备上。 对于接近 **全精度**，请使用 `Q8_0` （8-bit），它占用 243GB，可安装在 256GB RAM 的设备 / Mac 上，速度可达 10+ tokens/s。 {% hint style="success" %} 为了获得最佳性能，请确保你的可用总内存（VRAM + 系统 RAM）大于你正在下载的量化模型文件大小。如果不够，llama.cpp 仍然可以通过 SSD/HDD 卸载运行，但推理会更慢。 {% endhint %} ### 推荐设置 MiniMax 建议使用以下参数以获得最佳性能： `temperature=1.0`, `top_p = 0.95`, `top_k = 40`. {% columns %} {% column %} | 默认设置（大多数任务） | | -------------------------- | | `temperature = 1.0` | | `top_p = 0.95` | | `top_k = 40` | | `repeat penalty = 1.0` 或禁用 | | {% endcolumn %} | {% column %} * **最大上下文窗口：** `196,608` * `Min_P = 0.01` （默认值可能为 0.05） * 默认系统提示词： {% code overflow="wrap" %} ``` 你是一个有帮助的助手。你的名字是 MiniMax-M2.5，由 MiniMax 构建。 ``` {% endcode %} {% endcolumn %} {% endcolumns %} ## 运行 MiniMax-M2.5 教程： 在这些教程中，我们将使用 3-bit [UD-Q3\_K\_XL](https://huggingface.co/unsloth/MiniMax-M2.5-GGUF?show_file_info=UD-Q3_K_XL%2FMiniMax-M2.5-UD-Q3_K_XL-00001-of-00004.gguf) 量化版本，它可适配 128GB RAM 设备。 #### ✨ 直接在 llama.cpp 中运行 {% stepper %} {% step %} 获取最新的 `llama.cpp` 在 [GitHub 这里](https://github.com/ggml-org/llama.cpp)。你也可以按照下面的构建说明进行。将 `-DGGML_CUDA=ON` 改为 `-DGGML_CUDA=OFF` 如果你没有 GPU，或者只想进行 CPU 推理。 **对于 Apple Mac / Metal 设备**，设置 `-DGGML_CUDA=OFF` 然后照常继续——Metal 支持默认开启。 {% code overflow="wrap" %} ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` {% endcode %} {% endstep %} {% step %} 如果你想直接使用 `llama.cpp` 直接加载模型，你可以执行以下操作：（:Q3\_K\_XL）是量化类型。你也可以通过 Hugging Face 下载（见第3点）。这类似于 `ollama run` 类似。使用 `export LLAMA_CACHE="folder"` 以强制 `llama.cpp` 保存到指定位置。请记住，该模型的最大上下文长度只有 20 万。 针对 **大多数默认** 用例： ```bash export LLAMA_CACHE="unsloth/MiniMax-M2.5-GGUF" ./llama.cpp/llama-cli \ -hf unsloth/MiniMax-M2.5-GGUF:UD-Q3_K_XL \\ --ctx-size 16384 \ --flash-attn on \\ --temp 1.0 \ --top-p 0.95 \\ --min-p 0.01 \\ --top-k 40 ``` {% endstep %} {% step %} 通过以下方式下载模型（安装完 `pip install huggingface_hub hf_transfer` ）。你可以选择 `UD-Q3_K_XL` （动态 4-bit 量化）或其他量化版本，例如 `UD-Q6_K_XL` 。我们建议使用我们的 4bit 动态量化 `UD-Q3_K_XL` 来平衡大小和准确率。如果下载卡住，请参见 [hugging-face-hub-xet-debugging](https://unsloth.ai/docs/zh/ji-chu/troubleshooting-and-faqs/hugging-face-hub-xet-debugging "mention") ```bash hf download unsloth/MiniMax-M2.5-GGUF \\ --local-dir unsloth/MiniMax-M2.5-GGUF \\ --include "*UD-Q3_K_XL*" # 8-bit 请使用 "*Q8_0*" ``` {% endstep %} {% step %} 你可以编辑 `--threads 32` 以设置 CPU 线程数， `--ctx-size 16384` 用于上下文长度， `--n-gpu-layers 2` 以设置有多少层卸载到 GPU。如果你的 GPU 显存不足，请尝试调整它。如果你仅使用 CPU 推理，也请移除它。 {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \ --model unsloth/MiniMax-M2.5-GGUF/UD-Q3_K_XL/MiniMax-M2.5-UD-Q3_K_XL-00001-of-00004.gguf \\ --temp 1.0 \ --top-p 0.95 \\ --min-p 0.01 \\ --top-k 40 \\ --ctx-size 16384 \ --seed 3407 ``` {% endcode %} {% endstep %} {% endstepper %} ### 🦙 Llama-server 和 OpenAI 的 completion 库 为了将 MiniMax-M2.5 部署到生产环境，我们使用 `llama-server` 或 OpenAI API。在一个新的终端中，例如通过 tmux，使用以下方式部署模型： {% code overflow="wrap" %} ```bash ./llama.cpp/llama-server \\ --model unsloth/MiniMax-M2.5-GGUF/UD-Q3_K_XL/MiniMax-M2.5-UD-Q3_K_XL-00001-of-00004.gguf \\ --alias "unsloth/MiniMax-M2.5" \\ --prio 3 \\ --temp 1.0 \ --top-p 0.95 \\ --min-p 0.01 \\ --top-k 40 \\ --ctx-size 16384 \ --port 8001 ``` {% endcode %} 然后在一个新终端中，在执行 `pip install openai`之后，执行： {% code overflow="wrap" %} ```python from openai import OpenAI import json openai_client = OpenAI( base_url = "http://127.0.0.1:8001/v1", api_key = "sk-no-key-required", ) completion = openai_client.chat.completions.create( model = "unsloth/MiniMax-M2.5", messages = [{"role": "user", "content": "Create a Snake game."},], ) print(completion.choices[0].message.content) ``` {% endcode %} ## 📊 基准测试 ### Unsloth GGUF 基准测试
[Benjamin Marie（第三方）进行了基准测试](https://x.com/bnjmn_marie/status/2027043753484021810/photo/1) **MiniMax-M2.5** 使用 **Unsloth GGUF 量化版本** 在 **750 条提示的混合套件** （LiveCodeBench v6、MMLU Pro、GPQA、Math500），同时报告 **整体准确率** 和 **相对错误增加** （量化模型相比原始模型更频繁出错的程度）。 Unsloth 量化版本无论精度如何，在准确率和相对误差方面都比非 Unsloth 对应版本表现更好得多（尽管体积小 8GB）。 **关键结果：** * **这里最佳的质量/体积权衡： `unsloth UD-Q4_K_XL`.**\ 它最接近原始模型：只低了 **6.0 分** ，而且“仅仅” **+22.8%** 比基线多出更多错误。 * **其他 Unsloth Q4 量化版本的表现非常接近（约 64.5–64.9 准确率）。**\ `IQ4_NL`, `MXFP4_MOE`，以及 `UD-IQ2_XXS` 在这个基准上基本属于同一质量水平，且比原始模型 **约 33–35%** 有更多错误。 * Unsloth GGUF 的表现比其他非 Unsloth GGUF 好得多，例如见 `lmstudio-community - Q4_K_M` （尽管体积小 8GB）以及 `AesSedai - IQ3_S`. ### 官方基准 你可以在下方查看表格形式的基准测试：
基准MiniMax-M2.5MiniMax-M2.1Claude Opus 4.5Claude Opus 4.6Gemini 3 ProGPT-5.2（thinking）
AIME2586.383.091.095.696.098.0
GPQA-D85.283.087.090.091.090.0
SciCode44.441.050.052.056.052.0
IFBench70.070.058.053.070.075.0
AA-LCR69.562.074.071.071.073.0
SWE-Bench Verified80.274.080.980.878.080.0
SWE-Bench Pro55.449.756.955.454.155.6
Terminal Bench 251.747.953.455.154.054.0
不使用工具的 HLE19.422.228.430.737.231.4
Multi-SWE-Bench51.347.250.050.342.7—
SWE-Bench 多语言74.171.977.577.865.072.0
VIBE-Pro（平均）54.242.455.255.636.9—
BrowseComp（含上下文）76.362.067.884.059.265.8
宽泛搜索70.363.276.279.457.0—
RISE50.234.050.562.536.850.0
BFCL 多轮76.837.468.063.361.0—
τ² Telecom97.887.098.299.398.098.7
MEWC74.455.682.189.878.741.3
GDPval-MM59.024.661.173.528.154.5
金融建模21.617.330.133.215.020.0

编程核心基准得分

搜索与工具使用

每 100 个任务完成数

办公能力

--- # Agent Instructions: Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://unsloth.ai/docs/zh/mo-xing/tutorials/minimax-m25.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.