📙Devstral 2 - 如何运行指南

本地运行 Mistral Devstral 2 模型的指南：123B-Instruct-2512 与 Small-2-24B-Instruct-2512。

Devstral 2 是 Mistral 面向软件工程的新型编码与代理大语言模型，可用的 24B 和 123B 规格。123B 模型在 SWE-bench、编码、工具调用和代理用例中达到 SOTA。24B 模型可运行于 25GB RAM/VRAM，123B 可运行于 128GB。

2025年12月13日 更新

我们已修复 Devstral 聊天模板中的问题，结果应显著改善。24B 和 123B 已更新。另请安装截至 2025年12月13日 的最新 llama.cpp！

Devstral 2 支持视觉功能，具有 256k 上下文窗口并且使用与 Ministral 3相同的架构。您现在可以运行并 微调 这两个模型（使用 Unsloth）在本地运行。

所有 Devstral 2 上传均使用我们的 Unsloth Dynamic 2.0 方法论，在 Aider Polyglot 和 5-shot MMLU 基准上提供最佳性能。

Devstral-Small-2-24BDevstral-2-123B

Devstral 2 - Unsloth Dynamic GGUF 文件：

Devstral-Small-2-24B-Instruct-2512	Devstral-2-123B-Instruct-2512
Devstral-Small-2-24B-Instruct-2512-GGUF	Devstral-2-123B-Instruct-2512-GGUF

🖥️ 运行 Devstral 2

请参阅我们逐步指南以运行 Devstral 24B 以及大型 Devstral 123B 模型。两个模型都支持视觉功能，但目前 视觉尚不受支持 在 llama.cpp 中

⚙️ 使用指南

以下是推理的推荐设置：

• Temperature ~0.15

• Min_P 为 0.01（可选，但 0.01 效果良好，llama.cpp 默认为 0.1）

• 使用 --jinja 以启用系统提示。

• 最大上下文长度 = 262,144

• 推荐最小上下文：16,384

• 请安装最新的 llama.cpp，因为一项 2025年12月13日 的 pull request 修复了若干问题。

🎩Devstral-Small-2-24B

全精度（Q8）Devstral-Small-2-24B GGUF 将可装入 25GB RAM/VRAM。当前仅限文本。

✨ 在 llama.cpp 中运行 Devstral-Small-2-24B-Instruct-2512

1. 获取最新的 llama.cpp 在 GitHub（此处）。您也可以按照下面的构建说明。若没有 GPU 或仅想用 CPU 推理，请将 -DGGML_CUDA=ON 改为 -DGGML_CUDA=OFF 。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

1. 如果您想直接使用 llama.cpp 来加载模型，您可以如下操作：(:Q4_K_XL) 是量化类型。您也可以直接从 Hugging Face 拉取：

./llama.cpp/llama-cli \
    -hf unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF:UD-Q4_K_XL \
    --jinja -ngl 99 --ctx-size 16384 \
    --temp 0.15

1. 通过以下方式下载模型（在安装 pip install huggingface_hub hf_transfer 之后）。您可以选择 UD_Q4_K_XL 或其它量化版本。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF",
    local_dir = "unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*", "*mmproj-F16*"], # 用于 Q4_K_XL
)

1. 以对话模式运行模型：

./llama.cpp/llama-cli \
    --model unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF/Devstral-Small-2-24B-Instruct-2512-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF/mmproj-F16.gguf \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    --seed 3407 \
    --prio 2 \
    --temp 0.15 \
    --jinja

👀Devstral 与视觉

1. 要玩转 Devstral 的图像能力，首先让我们下载如下图片 FP8 强化学习 与 Unsloth 如下：

2. 我们通过以下方式获取该图片 wget https://unsloth.ai/cgi/image/fp8grpolarge_KharloZxEEaHAY2X97CEX.png?width=3840%26quality=80%26format=auto -O unsloth_fp8.png 该命令会将图片保存为 "unsloth_fp8.png"

3. 然后通过以下命令将图片加载进来 /image unsloth_fp8.png 在模型加载后，如下所示：

4. 然后我们提示它 描述这张图片 并得到如下：

   

🚚Devstral-2-123B

全精度（Q8）Devstral-Small-2-123B GGUF 可装入 128GB RAM/VRAM。当前仅限文本。

✨ 运行 Devstral-2-123B-Instruct-2512 教程

1. 获取最新的 llama.cpp 在 GitHub（此处）。您也可以按照下面的构建说明。若没有 GPU 或仅想用 CPU 推理，请将 -DGGML_CUDA=ON 改为 -DGGML_CUDA=OFF 。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

1. 您可以直接通过 HuggingFace 拉取：

./llama.cpp/llama-cli \
    -hf unsloth/Devstral-2-123B-Instruct-2512-GGUF:UD-Q2_K_XL \
    --jinja -ngl 99 --ctx-size 16384 \
    --temp 0.15

1. 通过以下方式下载模型（在安装 pip install huggingface_hub hf_transfer 之后）。您可以选择 UD_Q4_K_XL 或其它量化版本。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Devstral-2-123B-Instruct-2512-GGUF",
    local_dir = "unsloth/Devstral-2-123B-Instruct-2512-GGUF",
    allow_patterns = ["*UD-Q2_K_XL*", "*mmproj-F16*"],
)

1. 以对话模式运行模型：

./llama.cpp/llama-cli \
    --model unsloth/Devstral-2-123B-Instruct-2512-GGUF/Devstral-2-123B-Instruct-2512-UD-Q2_K_XL.gguf \
    --mmproj unsloth/Devstral-2-123B-Instruct-2512-GGUF/mmproj-F16.gguf \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    --seed 3407 \
    --prio 2 \
    --temp 0.15 \
    --jinja

🦥 使用 Unsloth 对 Devstral 2 进行微调

就像 Ministral 3一样，Unsloth 支持对 Devstral 2 的微调。训练速度提高 2 倍，使用 VRAM 减少 70%，并支持 8 倍更长的上下文长度。Devstral 2 可以在 24GB VRAM 的 L4 GPU 上轻松运行。

不幸的是，Devstral 2 略微超出 16GB VRAM 的内存限制，因此目前无法在 Google Colab 上免费微调。不过，您 可以 使用我们的免费 Kaggle notebook来免费微调，该笔记本提供双 GPU 访问。只需将笔记本中的 Magistral 模型名称更改为 unsloth/Devstral-Small-2-24B-Instruct-2512 模型即可。

我们制作了免费 Unsloth 笔记本来微调 Ministral 3，并直接支持 Devstral 2，因为它们共享相同架构！更改名称以使用所需模型。

• Ministral-3B-Instruct 视觉笔记本 （视觉）（将模型名更改为 Devstral 2）

• Ministral-3B-Instruct GRPO 笔记本 （将模型名更改为 Devstral 2）

Devstral 视觉微调笔记本

Google Colabcolab.research.google.com

Devstral 数独 GRPO 强化学习笔记本

Google Colabcolab.research.google.com

😎Llama-server 服务与部署

要将 Devstral 2 部署到生产环境，我们使用 llama-server 在新终端（例如通过 tmux）中，通过以下方式部署模型：

./llama.cpp/llama-server \
    --model unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF/Devstral-Small-2-24B-Instruct-2512-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF/mmproj-F16.gguf \
    --alias "unsloth/Devstral-Small-2-24B-Instruct-2512" \
    --n-gpu-layers 999 \
    --prio 3 \
    --min_p 0.01 \
    --ctx-size 16384 \
    --port 8001 \
    --jinja

运行上述命令后，您将得到：

然后在新终端中，执行 pip install openai，然后执行：

from openai import OpenAI
import json
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/Devstral-Small-2-24B-Instruct-2512",
    messages = [{"role": "user", "content": "What is 2+2?"},],
)
print(completion.choices[0].message.content)

这将直接打印 4。

🧰使用 Devstral 2 的工具调用 教程

在遵循 Devstral 2 之后，我们可以加载一些工具并观看 Devstral 的实际应用！让我们制作一些工具——将它们复制并在 Python 中执行。

import json, subprocess, random
from typing import Any
def add_number(a: float | str, b: float | str) -> float:
    return float(a) + float(b)
def multiply_number(a: float | str, b: float | str) -> float:
    return float(a) * float(b)
def substract_number(a: float | str, b: float | str) -> float:
    return float(a) - float(b)
def write_a_story() -> str:
    return random.choice([
        "很久很久以前，在一个遥远的银河系……",
        "有两个朋友，他们热爱树懒和代码……",
        "世界正走向终结，因为每只树懒都进化出超人般的智慧……",
        "在一个朋友不知情的情况下，另一个朋友意外编写了一个程序来进化树懒……",
    ])
def terminal(command: str) -> str:
    if "rm" in command or "sudo" in command or "dd" in command or "chmod" in command:
        msg = "无法执行 'rm, sudo, dd, chmod' 命令，因为它们很危险"
        print(msg); return msg
    print(f"正在执行终端命令 `{command}`")
    try:
        return str(subprocess.run(command, capture_output = True, text = True, shell = True, check = True).stdout)
    except subprocess.CalledProcessError as e:
        return f"命令失败：{e.stderr}"
def python(code: str) -> str:
    data = {}
    exec(code, data)
    del data["__builtins__"]
    return str(data)
MAP_FN = {
    "add_number": add_number,
    "multiply_number": multiply_number,
    "substract_number": substract_number,
    "write_a_story": write_a_story,
    "terminal": terminal,
    "python": python,
}
tools = [
    {
        "type": "function",
        "function": {
            "name": "add_number",
            "description": "将两个数字相加。",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "第一个数字。",
                    },
                    "b": {
                        "type": "string",
                        "description": "第二个数字。",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "multiply_number",
            "description": "将两个数字相乘。",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "第一个数字。",
                    },
                    "b": {
                        "type": "string",
                        "description": "第二个数字。",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "substract_number",
            "description": "将两个数字相减。",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "第一个数字。",
                    },
                    "b": {
                        "type": "string",
                        "description": "第二个数字。",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "write_a_story",
            "description": "写一个随机故事。",
            "parameters": {
                "type": "object",
                "properties": {},
                "required": [],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "terminal",
            "description": "在终端执行操作。",
            "parameters": {
                "type": "object",
                "properties": {
                    "command": {
                        "type": "string",
                        "description": "您希望执行的命令，例如 `ls`, `rm`, ...",
                    },
                },
                "required": ["command"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "python",
            "description": "调用 Python 解释器并运行一些 Python 代码。",
            "parameters": {
                "type": "object",
                "properties": {
                    "code": {
                        "type": "string",
                        "description": "要运行的 Python 代码",
                    },
                },
                "required": ["code"],
            },
        },
    },
]

然后我们从一组可能的消息中随机选择一个简单问题来测试模型：

import random
messages = [{
    "role": "user",
    "content": [random.choice([
        {"type": "text", "text": "你能给我写一个故事吗？"},
        {"type": "text", "text": "今天的日期加三天是几号？"},
        {"type": "text", "text": "获取当前时间的纳秒数。"},
        {"type": "text", "text": "用 Python 创建一个斐波那契函数并计算 fib(20)。"},
    ])],
}]

接着我们使用下面的函数（复制粘贴并执行），它们会自动解析函数调用——Devstral 2 可能会同时发起多个调用！

temperature = 0.15
from openai import OpenAI
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
model_name = next(iter(openai_client.models.list())).id
print(f"使用的模型 = {model_name}")
has_tool_calls = True
original_messages_len = len(messages)
while has_tool_calls:
    print(f"当前消息 = {messages}")
    response = openai_client.chat.completions.create(
        model = model_name,
        messages = messages,
        temperature = temperature,
        tools = tools if tools else None,
        tool_choice = "auto" if tools else None,
    )
    tool_calls = response.choices[0].message.tool_calls or []
    content = response.choices[0].message.content or ""
    tool_calls_dict = [tc.to_dict() for tc in tool_calls] if tool_calls else tool_calls
    messages.append({"role": "assistant", "tool_calls": tool_calls_dict, "content": content,})
    for tool_call in tool_calls:
        fx, args, _id = tool_call.function.name, tool_call.function.arguments, tool_call.id
        out = MAP_FN[fx](**json.loads(args))
        messages.append({"role": "tool", "tool_call_id": _id, "name": fx, "content": str(out),})
    else:
        has_tool_calls = False
print(json.dumps(messages[original_messages_len:], indent = 2))

大约 1 分钟后，我们得到：

或以 JSON 形式：

[
  {
    "role": "assistant",
    "tool_calls": [
      {
        "id": "JviLK0wUveWguuKQHgZdFdYI2adu85jy",
        "function": {
          "arguments": "{}",
          "name": "write_a_story"
        },
        "type": "function"
      }
    ],
    "content": null
  },
  {
    "role": "tool",
    "tool_call_id": "JviLK0wUveWguuKQHgZdFdYI2adu85jy",
    "name": "write_a_story",
    "content": "很久很久以前，在一个遥远的银河系……"
  },
  {
    "role": "assistant",
    "tool_calls": null,
    "content": "在遥远的银河中，群星以非凡的光辉燃烧，有一颗名为 Eldoria 的行星。Eldoria 是一个强烈对比的世界——繁华的城市坐落于巍峨的群山之间，广袤的沙漠在双日下无尽延伸。Eldoria 的人们以其能源掌控而闻名，尤以传奇的激光长剑为著称。\n\n这些长剑不仅是武器；它们是持有者灵魂的延伸，由稀有晶石锻造，脉动着宇宙的精华。每把长剑独一无二，其颜色与威力反映了持剑者的个性与精神。最熟练的战士，被称为 Saberborn，能以极致的精确与优雅挥舞长剑，仿佛在与现实的织物共舞。\n\n在 Saberborn 中，有一位名为 Kael 的战士。Kael 曾是神圣长剑圣殿的守护者，因违抗议会命令而被流放。议会试图囤积长剑的力量，用以控制 Eldoria 的人民。Kael 认为长剑应由那些寻求保护而非统治的人持有。\n\n有一天，Kael 收到来自沙漠边缘一个小村庄的求救信号。该村庄正遭到一群叛变的 Saberborn 袭击，领袖是名为 Vexis 的残酷军阀。Vexis 企图夺取村庄的古老遗物——据说能将任何激光长剑的力量放大十倍的晶石。如果 Vexis 得手，他的军队将所向披靡，Eldoria 将陷入黑暗。\n\nKael 知道自己必须行动。他束上自己的长剑——一把发出深蓝光芒、共鸣着宇宙能量的刀刃——踏上穿越沙漠的征途。旅程险象环生，沙尘暴与 Vexis 侦察兵设下的陷阱接连不断。但 Kael 在他曾发誓守护之人的记忆驱使下，坚持前行。\n\n当他抵达村庄时，战斗已全面爆发。Vexis 的战士们以残暴的效率挥舞长剑，轻易斩倒防卫者。Kael 投身战团，他的蓝色长剑成了光的模糊，接连缴械并击败一个又一个敌人。村民们见到他们的救星到来，纷纷集结在他身后，自己的长剑闪烁着光芒，奋战以收复家园。\n\nKael 在村庄广场与 Vexis 相遇。军阀的长剑呈病态的绿色，脉动着黑暗能量。“你来晚了，Kael，”Vexis 冷笑道。“遗物属于我，凭它我将统治 Eldoria。”Kael 站稳脚跟，举剑相迎。“除非从我尸体上踏过去，”他回答。\n\n两名战士交锋，长剑相击迸发出火花。Kael 感到遗物的原始力量流入 Vexis 的刀刃，但他拒绝退缩。他引导自己的能量，长剑光芒越发耀眼，抵挡住 Vexis 的猛攻。最终，他以一记绝望的反击缴械了 Vexis，使其长剑掉落。\n\nVexis 带着屈服的怒吼倒下，但 Kael 并未杀死他。相反，他给了 Vexis 一个选择：“加入我，共同保护 Eldoria，或者离开此地永不回头。”Vexis 在被谦卑与真理触动后，选择了站在他一方。\n\n在 Vexis 的部众成为盟友后，Kael 与村民们夺回了遗物，利用其力量恢复了 Eldoria 的平衡。长剑圣殿得以重建，激光长剑重新由那些寻求保护而非控制的人掌握。\n\nKael 的传奇流传开来，他成为 Eldoria 人民的希望象征。他的故事提醒众人：即使在最黑暗的时刻，勇气与正义的光芒仍能战胜一切。因此，Saberborn 得以延续，他们的激光长剑在这充满阴影的银河中成为力量与团结的灯塔。"
  }
]