📙Devstral 2 - 如何运行指南

本地运行 Mistral Devstral 2 模型的指南：123B-Instruct-2512 和 Small-2-24B-Instruct-2512。

Devstral 2 是 Mistral 面向软件工程的新代码与智能体型 LLM，提供 24B 和 123B 两种规模。123B 模型在 SWE-bench、代码、工具调用和智能体用例上达到了 SOTA。24B 模型可放入 25GB RAM/VRAM，而 123B 可放入 128GB。

2025年12月13日更新

我们已修复 Devstral 聊天模板中的问题，效果应该会显著提升。24B 和 123B 已更新。另外请安装截至 2025年12月13日的最新 llama.cpp！

Devstral 2 支持视觉能力、256k 上下文窗口，并采用与 Ministral 3相同的架构。你现在可以本地运行并微调这两个模型，使用 Unsloth。

所有 Devstral 2 上传都使用我们的 Unsloth Dynamic 2.0 方法，在 Aider Polyglot 和 5-shot MMLU 基准上提供最佳性能。

Devstral-Small-2-24B Devstral-2-123B

Devstral 2 - Unsloth Dynamic GGUF：

Devstral-Small-2-24B-Instruct-2512

Devstral-2-123B-Instruct-2512

Devstral-Small-2-24B-Instruct-2512-GGUF

Devstral-2-123B-Instruct-2512-GGUF

🖥️ 运行 Devstral 2

查看我们关于运行 Devstral 24B 以及大型 Devstral 123B 模型的分步指南。两个模型都支持视觉能力，但目前 不支持视觉 在 llama.cpp 中

⚙️ 使用指南

以下是推理的推荐设置：

温度 ~0.15
Min_P 设为 0.01（可选，但 0.01 效果很好，llama.cpp 默认是 0.1）
使用 --jinja 来启用系统提示词。
最大上下文长度 = 262,144
建议最小上下文：16,384
安装最新的 llama.cpp，因为一个 2025年12月13日的拉取请求修复了问题。

🎩Devstral-Small-2-24B

完整精度（Q8）的 Devstral-Small-2-24B GGUF 可放入 25GB RAM/VRAM。目前仅支持文本。

✨ 在 llama.cpp 中运行 Devstral-Small-2-24B-Instruct-2512

获取最新的 llama.cpp 在 GitHub 这里。你也可以按照下面的构建说明操作。将 -DGGML_CUDA=ON 改为 -DGGML_CUDA=OFF 如果你没有 GPU，或者只想进行 CPU 推理。 对于 Apple Mac / Metal 设备，设置 -DGGML_CUDA=OFF 然后照常继续——Metal 支持默认开启。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

如果你想使用 llama.cpp 直接加载模型，你可以执行下面的命令：（:Q4_K_XL）是量化类型。你也可以直接从 Hugging Face 拉取：

./llama.cpp/llama-cli \
    -hf unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF:UD-Q4_K_XL \
    --jinja -ngl 99 --ctx-size 16384 \
    --temp 0.15

通过以下方式下载模型（在安装 pip install huggingface_hub hf_transfer 之后）。你可以选择 UD_Q4_K_XL 或其他量化版本。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF",
    local_dir = "unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*", "*mmproj-F16*"], # 用于 Q4_K_XL
)

在对话模式下运行模型：

./llama.cpp/llama-cli \
    --model unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF/Devstral-Small-2-24B-Instruct-2512-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF/mmproj-F16.gguf \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    --seed 3407 \
    --prio 2 \
    --temp 0.15 \
    --jinja

👀Devstral 与视觉

为了体验 Devstral 的图像能力，我们先下载一张像这样的图片使用 Unsloth 的 FP8 强化学习如下：
我们通过以下方式获取图片 wget https://unsloth.ai/cgi/image/fp8grpolarge_KharloZxEEaHAY2X97CEX.png?width=3840%26quality=80%26format=auto -O unsloth_fp8.png 这会将图片保存为“unsloth_fp8.png”
然后通过以下方式加载图片 /image unsloth_fp8.png 在模型加载完成后，如下所示：
然后我们向它提问 描述这张图片 并得到如下结果：

🚚Devstral-2-123B

完整精度（Q8）的 Devstral-Small-2-123B GGUF 可放入 128GB RAM/VRAM。目前仅支持文本。

✨ 运行 Devstral-2-123B-Instruct-2512 教程

获取最新的 llama.cpp 在 GitHub 这里。你也可以按照下面的构建说明操作。将 -DGGML_CUDA=ON 改为 -DGGML_CUDA=OFF 如果你没有 GPU，或者只想进行 CPU 推理。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

你可以直接通过 HuggingFace 拉取：

./llama.cpp/llama-cli \
    -hf unsloth/Devstral-2-123B-Instruct-2512-GGUF:UD-Q2_K_XL \
    --jinja -ngl 99 --ctx-size 16384 \
    --temp 0.15

通过以下方式下载模型（在安装 pip install huggingface_hub hf_transfer 之后）。你可以选择 UD_Q4_K_XL 或其他量化版本。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Devstral-2-123B-Instruct-2512-GGUF",
    local_dir = "unsloth/Devstral-2-123B-Instruct-2512-GGUF",
    allow_patterns = ["*UD-Q2_K_XL*", "*mmproj-F16*"],
)

在对话模式下运行模型：

./llama.cpp/llama-cli \
    --model unsloth/Devstral-2-123B-Instruct-2512-GGUF/Devstral-2-123B-Instruct-2512-UD-Q2_K_XL.gguf \
    --mmproj unsloth/Devstral-2-123B-Instruct-2512-GGUF/mmproj-F16.gguf \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    --seed 3407 \
    --prio 2 \
    --temp 0.15 \
    --jinja

🦥 使用 Unsloth 微调 Devstral 2

就像 Ministral 3一样，Unsloth 支持 Devstral 2 微调。训练速度快 2 倍，显存使用少 70%，并支持长 8 倍的上下文长度。Devstral 2 在 24GB VRAM 的 L4 GPU 上运行得很轻松。

不幸的是，Devstral 2 略微超出了 16GB VRAM 的内存限制，因此目前无法在 Google Colab 上免费微调。不过，你可以使用我们的 Kaggle 笔记本免费微调该模型，它支持双 GPU。只需将笔记本中的 Magistral 模型名称改为 unsloth/Devstral-Small-2-24B-Instruct-2512 模型。

我们为微调 Ministral 3 制作了免费的 Unsloth 笔记本，并且可直接支持 Devstral 2，因为它们共享相同的架构！将名称改为所需模型即可。

Ministral-3B-Instruct 视觉笔记本（视觉）（将模型名称改为 Devstral 2）
Ministral-3B-Instruct GRPO 笔记本（将模型名称改为 Devstral 2）

Devstral 视觉微调笔记本

Google Colabcolab.research.google.com

Devstral 数独 GRPO RL 笔记本

Google Colabcolab.research.google.com

😎Llama-server 服务与部署

要将 Devstral 2 部署到生产环境，我们使用 llama-server 在一个新终端中，例如通过 tmux，按以下方式部署模型：

./llama.cpp/llama-server \
    --model unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF/Devstral-Small-2-24B-Instruct-2512-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF/mmproj-F16.gguf \
    --alias "unsloth/Devstral-Small-2-24B-Instruct-2512" \
    --n-gpu-layers 999 \
    --prio 3 \
    --min-p 0.01 \
    --ctx-size 16384 \
    --port 8001 \
    --jinja

当你运行上面的命令时，你会得到：

然后在一个新终端中，在执行 pip install openai之后，执行：

from openai import OpenAI
import json
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/Devstral-Small-2-24B-Instruct-2512",
    messages = [{"role": "user", "content": "2+2 等于多少？"},],
)
print(completion.choices[0].message.content)

这将直接打印 4。

🧰Devstral 2 工具调用教程

在完成 Devstral 2 之后，我们就可以加载一些工具，看看 Devstral 的实际表现！让我们创建一些工具——复制、粘贴并在 Python 中执行它们。

import json, subprocess, random
from typing import Any
def add_number(a: float | str, b: float | str) -> float:
    return float(a) + float(b)
def multiply_number(a: float | str, b: float | str) -> float:
    return float(a) * float(b)
def subtract_number(a: float | str, b: float | str) -> float:
    return float(a) - float(b)
def write_a_story() -> str:
    return random.choice([
        "很久很久以前，在一个遥远的星系里……",
        "有两个朋友，他们热爱树懒和代码……",
        "世界即将毁灭，因为每只树懒都进化成了超人般的智慧……",
        "其中一位朋友并不知道，另一位不小心写了一个让树懒进化的程序……",
    ])
def terminal(command: str) -> str:
    if "rm" in command or "sudo" in command or "dd" in command or "chmod" in command:
        msg = "无法执行 'rm, sudo, dd, chmod' 命令，因为它们很危险"
        print(msg); return msg
    print(f"正在执行终端命令 `{command}`")
    try:
        return str(subprocess.run(command, capture_output = True, text = True, shell = True, check = True).stdout)
    except subprocess.CalledProcessError as e:
        return f"命令失败：{e.stderr}"
def python(code: str) -> str:
    data = {}
    exec(code, data)
    del data["__builtins__"]
    return str(data)
MAP_FN = {
    "add_number": add_number,
    "multiply_number": multiply_number,
    "subtract_number": subtract_number,
    "write_a_story": write_a_story,
    "terminal": terminal,
    "python": python,
}
tools = [
    {
        "type": "function",
        "function": {
            "name": "add_number",
            "description": "将两个数字相加。",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "第一个数字。",
                    },
                    "b": {
                        "type": "string",
                        "description": "第二个数字。",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "multiply_number",
            "description": "将两个数字相乘。",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "第一个数字。",
                    },
                    "b": {
                        "type": "string",
                        "description": "第二个数字。",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "subtract_number",
            "description": "将两个数字相减。",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "第一个数字。",
                    },
                    "b": {
                        "type": "string",
                        "description": "第二个数字。",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "write_a_story",
            "description": "写一个随机故事。",
            "parameters": {
                "type": "object",
                "properties": {},
                "required": [],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "terminal",
            "description": "执行终端操作。",
            "parameters": {
                "type": "object",
                "properties": {
                    "command": {
                        "type": "string",
                        "description": "你希望运行的命令，例如 `ls`、`rm` 等。",
                    },
                },
                "required": ["command"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "python",
            "description": "调用一个 Python 解释器来运行一段 Python 代码。",
            "parameters": {
                "type": "object",
                "properties": {
                    "code": {
                        "type": "string",
                        "description": "要运行的 Python 代码",
                    },
                },
                "required": ["code"],
            },
        },
    },
]

然后我们从一组随机可能消息中提出一个简单问题来测试模型：

import random
messages = [{
    "role": "user",
    "content": [random.choice([
        {"type": "text", "text": "你能给我写一个故事吗？"},
        {"type": "text", "text": "今天的日期加 3 天是多少？"},
        {"type": "text", "text": "获取当前纳秒时间。"},
        {"type": "text", "text": "用 Python 创建一个斐波那契函数并求 fib(20)。"},
    ])],
}]

然后我们使用下面的函数（复制并粘贴后执行），它们会自动解析函数调用——Devstral 2 可能会同时发起多个调用！

temperature = 0.15
from openai import OpenAI
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
model_name = next(iter(openai_client.models.list())).id
print(f"使用模型 = {model_name}")
has_tool_calls = True
original_messages_len = len(messages)
while has_tool_calls:
    print(f"当前消息 = {messages}")
    response = openai_client.chat.completions.create(
        model = model_name,
        messages = messages,
        temperature = temperature,
        tools = tools if tools else None,
        tool_choice = "auto" if tools else None,
    )
    tool_calls = response.choices[0].message.tool_calls or []
    content = response.choices[0].message.content or ""
    tool_calls_dict = [tc.to_dict() for tc in tool_calls] if tool_calls else tool_calls
    messages.append({"role": "assistant", "tool_calls": tool_calls_dict, "content": content,})
    for tool_call in tool_calls:
        fx, args, _id = tool_call.function.name, tool_call.function.arguments, tool_call.id
        out = MAP_FN[fx](**json.loads(args))
        messages.append({"role": "tool", "tool_call_id": _id, "name": fx, "content": str(out),})
    else:
        has_tool_calls = False
print(json.dumps(messages[original_messages_len:], indent = 2))

一分钟后，我们得到：

或者以 JSON 形式：

[
  {
    "role": "assistant",
    "tool_calls": [
      {
        "id": "JviLK0wUveWguuKQHgZdFdYI2adu85jy",
        "function": {
          "arguments": "{}",
          "name": "write_a_story"
        },
        "type": "function"
      }
    ],
    "content": null
  },
  {
    "role": "tool",
    "tool_call_id": "JviLK0wUveWguuKQHgZdFdYI2adu85jy",
    "name": "write_a_story",
    "content": "很久很久以前，在一个遥远的星系里……"
  },
  {
    "role": "assistant",
    "tool_calls": null,
    "content": "在一个遥远的星系里，群星燃烧着超凡脱俗的光芒，有一颗名为埃尔多里亚（Eldoria）的星球。埃尔多里亚是一个鲜明对比的世界——繁华的城市坐落在高耸的群山之间，广袤的沙漠在双重太阳下无尽延伸。埃尔多里亚的人们以操控能量的技艺而闻名遐迩，尤其是他们传奇般的激光光刃。\n\n这些光刃不仅仅是武器；它们是使用者灵魂的延伸，由稀有晶体锻造而成，闪烁着宇宙的本质。每一把光刃都独一无二，其颜色与力量都反映了主人独特的性格与精神。最精湛的战士，被称为“刃生者”（Saberborn），能够以如此精确与优雅的方式挥舞光刃，仿佛他们在与现实本身共舞。\n\n在刃生者之中，有一位名叫凯尔（Kael）的战士。凯尔曾是神圣光刃神殿的守护者之一，但因违抗议会的命令而被放逐，成为了一个被遗弃者。议会试图垄断激光光刃的力量，并用它们控制埃尔多里亚的人民。凯尔相信，光刃应该被那些想要守护的人使用，而不是用来支配他人。\n\n一天，凯尔收到了一条来自沙漠边缘小村庄的求救信号。这个村庄正遭到一伙叛变刃生者的袭击，由一位名叫维克西斯（Vexis）的冷酷军阀率领。维克西斯想要夺取村庄中的古老遗物——一块据说能将任何激光光刃威力放大十倍的晶体。如果维克西斯得逞，他的军队将势不可挡，埃尔多里亚也将坠入黑暗。\n\n凯尔知道自己必须行动。他将那把深蓝色的光刃佩戴在身上——刀锋中低鸣着宇宙的能量——然后穿越沙漠出发。旅途危机四伏，有沙暴，也有维克西斯侦察兵布下的隐秘陷阱。但凯尔没有停下，他被曾经誓言守护的那些人的记忆所驱动，继续前行。\n\n当他抵达村庄时，战斗已进入白热化。维克西斯的战士挥舞着光刃，残酷而高效，轻易击倒防守者。凯尔跃入战团，蓝色光刃化作一道光影，他一个接一个解除并击败敌人。村民们看到救星到来，纷纷在他身后集结，自己的光刃也闪烁起来，共同奋战，夺回家园。\n\n凯尔在村庄广场中央与维克西斯正面对峙。军阀的光刃呈病态的绿色，涌动着黑暗能量。\"你来晚了，凯尔，\"维克西斯冷笑道，\"遗物是我的，有了它，我将统治埃尔多里亚。\"凯尔毫不退缩，举起光刃。\"除非我死，\"他回答。\n\n两位战士猛烈交锋，光刃相接，火花四溅。凯尔感受到遗物的原始力量正沿着维克西斯的刀锋奔涌，但他拒绝后退。他引导出自己的能量，光刃愈发明亮，顶住了维克西斯的攻势。最后，在一次绝望的反击中，凯尔缴了维克西斯的械，令他的光刃铛啷落地。\n\n维克西斯愤怒地低吼着承认失败，但凯尔没有杀他。相反，他给了对方一个选择：\"加入我，守护埃尔多里亚，或者离开，永远不要回来。\"维克西斯心服口服，也看清了凯尔话语中的真相，于是选择与他站在一起。\n\n随着维克西斯一派成为盟友，凯尔和村民们夺回了遗物，并利用它的力量恢复了埃尔多里亚的平衡。光刃神殿得以重建，而激光光刃再次被那些追求守护而非控制的人所执掌。\n\n凯尔的传奇不断传扬，他成为埃尔多里亚人民希望的象征。他的故事提醒他们，即便在最黑暗的时刻，勇气与正义之光也终将胜出。于是，刃生者继续存在，他们的激光光刃成为充满阴影的银河中力量与团结的灯塔。"
  }
]

最后更新于 2个月前

这有帮助吗？