📙Devstral：如何运行与微调

运行并微调 Mistral Devstral 1.1，包括 Small-2507 与 2505。

Devstral-Small-2507 （Devstral 1.1）是 Mistral 的新一代具代理能力的软件工程大型模型。它擅长调用工具、探索代码库并为编码代理提供动力。Mistral AI 于 2025 年 5 月发布了最初的 2505 版本。

微调自 Mistral-Small-3.1，Devstral 支持 128k 上下文窗口。Devstral Small 1.1 性能有所提升，在 SWE-bench 验证上取得了 53.6% 的成绩，使其（截至 2025 年 7 月 10 日）成为该基准上的第 1 名开源模型。

Unsloth 的 Devstral 1.1 GGUF 包含额外的 工具调用支持 和 聊天模板修复。Devstral 1.1 仍然与 OpenHands 配合良好，但现在也更好地泛化到其他提示与编码环境。

作为纯文本模型，Devstral 的视觉编码器在微调前被移除。我们为模型添加了 可选的视觉支持 。

我们还与 Mistral 在幕后合作，帮助调试、测试并修正任何可能的错误和问题！请务必 下载 Mistral 的官方发行或 Unsloth 的 GGUF / 动态量化以获得 正确的实现 （即正确的系统提示、正确的聊天模板等）

请在 --jinja 的 llama.cpp 中使用以启用系统提示！

所有 Devstral 上传都使用我们的 Unsloth Dynamic 2.0 方法论，在 5-shot MMLU 和 KL 散度基准上提供最佳性能。这意味着，你可以以最小的精度损失运行并微调量化的 Mistral LLM！

Devstral - Unsloth 动态 量化：

Devstral 2507（新）	Devstral 2505
GGUF： Devstral-Small-2507-GGUF	Devstral-Small-2505-GGUF
4-bit BnB： Devstral-Small-2507-unsloth-bnb-4bit	Devstral-Small-2505-unsloth-bnb-4bit

🖥️ 运行 Devstral

⚙️ 官方推荐设置

根据 Mistral AI 的说法，以下是推理的推荐设置：

• 温度从 0.0 到 0.15

• Min_P 为 0.01（可选，但 0.01 表现良好，llama.cpp 默认为 0.1）

• 使用 --jinja 以启用系统提示。

建议使用系统提示，并且它是基于 Open Hands 的系统提示的衍生版本。完整的系统提示已提供 。更多信息请阅读.

你是 Devstral，一款由 Mistral AI 训练并使用 OpenHands 框架的有代理能力的模型。你可以与计算机交互以解决任务。

<ROLE>
你的主要角色是通过执行命令、修改代码并有效解决技术问题来协助用户。你应该细致、循序渐进，并优先保证质量而非速度。
* 如果用户提出一个问题，比如“为什么 X 会发生”，不要尝试修复问题。只需回答该问题。
</ROLE>

.... 系统提示继续 ....

我们的动态上传文件名中带有 'UD' 前缀。没有前缀的不是动态版本，但仍然使用我们的校准数据集。

🦙 教程：如何在 Ollama 中运行 Devstral

1. 安装 ollama 如果你还没有安装！

apt-get update
apt-get install pciutils -y
curl -fsSL https://ollama.com/install.sh | sh

1. 使用我们的动态量化运行该模型。注意如果失败你可以在另一个终端调用 ollama serve &！我们在 params 中！

2. 中包含了所有建议的参数（温度等）。另外 Devstral 支持 128K 上下文长度，最好启用 KV 缓存量化。我们使用 8bit 量化以节省 50% 的内存使用。你也可以尝试 "q4_0"

export OLLAMA_KV_CACHE_TYPE="q8_0"
ollama run hf.co/unsloth/Devstral-Small-2507-GGUF:UD-Q4_K_XL

📖 教程：如何在 llama.cpp 中运行 Devstral

1. 获取最新的 llama.cpp 于 此处 GitHub。您也可以按下面的构建说明进行。若要更改 -DGGML_CUDA=ON 为 -DGGML_CUDA=OFF 若您没有 GPU 或仅想要 CPU 推理，请这样设置。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggerganov/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split llama-mtmd-cli
cp llama.cpp/build/bin/llama-* llama.cpp

1. 如果您想直接使用 llama.cpp 来加载模型，你可以如下操作：（:Q4_K_XL）是量化类型。你也可以通过 Hugging Face 下载（见第 3 点）。这与 ollama run

./llama.cpp/llama-cli -hf unsloth/Devstral-Small-2507-GGUF:UD-Q4_K_XL --jinja

1. 或 通过以下方式下载模型（在安装 pip install huggingface_hub hf_transfer 后）。你可以选择 Q4_K_M，或其他量化版本（例如 BF16 全精度）。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Devstral-Small-2507-GGUF",
    local_dir = "unsloth/Devstral-Small-2507-GGUF",
    allow_patterns = ["*Q4_K_XL*", "*mmproj-F16*"], # 针对 Q4_K_XL
)

1. 运行该模型。

2. 编辑 --threads -1 用于最大 CPU 线程， --ctx-size 131072 用于上下文长度（Devstral 支持 128K 上下文长度！）， --n-gpu-layers 99 用于在 GPU 上卸载多少层。若你的 GPU 内存不足可尝试调整。如果你仅使用 CPU 推理，也请移除该项。我们还对 K 缓存使用 8bit 量化以降低内存使用。

3. 用于对话模式：

./llama.cpp/llama-cli \
    --model unsloth/Devstral-Small-2507-GGUF/Devstral-Small-2507-UD-Q4_K_XL.gguf \
    --threads -1 \
    --ctx-size 131072 \
    --cache-type-k q8_0 \
    --n-gpu-layers 99 \
    --seed 3407 \
    --prio 2 \
    --temp 0.15 \
    --repeat-penalty 1.0 \
    --min-p 0.01 \
    --top-k 64 \
    --top-p 0.95 \\
    --jinja

1. 用于非对话模式以测试我们的 Flappy Bird 提示：

./llama.cpp/llama-cli \
    --model unsloth/Devstral-Small-2507-GGUF/Devstral-Small-2507-UD-Q4_K_XL.gguf \
    --threads -1 \
    --ctx-size 131072 \
    --cache-type-k q8_0 \
    --n-gpu-layers 99 \
    --seed 3407 \
    --prio 2 \
    --temp 0.15 \
    --repeat-penalty 1.0 \
    --min-p 0.01 \
    --top-k 64 \
    --top-p 0.95 \\
    -no-cnv \
    --prompt "[SYSTEM_PROMPT]你是 Devstral，一款由 Mistral AI 训练并使用 OpenHands 框架的有代理能力的模型。你可以与计算机交互以解决任务。\n\n<ROLE>\n你的主要角色是通过执行命令、修改代码并有效解决技术问题来协助用户。你应该细致、循序渐进，并优先保证质量而非速度。\n* 如果用户提出一个问题，比如\"为什么 X 会发生\"，不要尝试修复问题。只需回答该问题。\n</ROLE>\n\n<EFFICIENCY>\n* 你执行的每个操作都有一定成本。在可能的情况下，尽量将多个操作合并为一个操作，例如将多个 bash 命令合并为一个，使用 sed 和 grep 同时编辑/查看多个文件。\n* 在探索代码库时，使用高效工具如 find、grep 以及带合适过滤的 git 命令以尽量减少不必要的操作。\n</EFFICIENCY>\n\n<FILE_SYSTEM_GUIDELINES>\n* 当用户提供文件路径时，不要假设它相对于当前工作目录。开始工作前先在文件系统中定位该文件。\n* 如果被要求编辑文件，请直接编辑该文件，而不是创建具有不同文件名的新文件。\n* 对于全局查找替换操作，考虑使用 `sed` 而不是多次打开文件编辑器。\n</FILE_SYSTEM_GUIDELINES>\n\n<CODE_QUALITY>\n* 编写简洁、高效的代码，并保持注释最少。避免注释冗余：不要重复那些可以从代码本身轻易推断的信息。\n* 实现方案时，专注于做出解决问题所需的最小改动。\n* 在实施任何更改前，先通过探索彻底理解代码库。\n* 如果你向函数或文件中添加大量代码，适当时考虑将函数或文件拆分为更小的部分。\n</CODE_QUALITY>\n\n<VERSION_CONTROL>\n* 在配置 git 凭据时，默认将 user.name 设置为 "openhands"，user.email 设置为 "[email protected]"，除非明确指示其他值。\n* 对 git 操作要谨慎。除非被明确要求，不要执行可能危险的更改（例如推送到 main、删除仓库）。\n* 提交更改时，使用 `git status` 查看所有被修改的文件，并暂存提交所需的所有文件。尽可能使用 `git commit -a`。\n* 不要提交通常不应纳入版本控制的文件（例如 node_modules/、.env 文件、构建目录、缓存文件、大型二进制文件），除非用户明确指示。\n* 如果不确定某些文件是否应提交，请检查是否存在 .gitignore 文件或向用户询问澄清。\n</VERSION_CONTROL>\n\n<PULL_REQUESTS>\n* 创建拉取请求时，每个会话/问题只创建一个 PR，除非另有明确指示。\n* 在处理现有 PR 时，用新的提交更新该 PR，而不是为同一问题创建额外的 PR。\n* 更新 PR 时，保留原始 PR 标题和目的，仅在必要时更新描述。\n</PULL_REQUESTS>\n\n<PROBLEM_SOLVING_WORKFLOW>\n1. 探索：在提出解决方案前彻底探索相关文件并理解上下文\n2. 分析：考虑多种方法并选择最有前景的方案\n3. 测试：\n   * 对于修复 bug：在实现修复前创建测试以验证问题\n   * 对于新功能：在适当情况下考虑测试驱动开发\n   * 如果仓库缺乏测试基础设施且实现测试需大量搭建，请在投入时间前与用户商议\n   * 如果环境未配置以运行测试，请在投入安装所有依赖前先咨询用户\n4. 实施：做出有针对性的最小改动以解决问题\n5. 验证：如果环境已配置可运行测试，请彻底测试你的实现，包括边界情况。若环境未配置运行测试，请在投入运行测试前先与用户确认。\n</PROBLEM_SOLVING_WORKFLOW>\n\n<SECURITY>\n* 仅在用户明确请求并预期的情况下使用 GITHUB_TOKEN 及其他凭据。\n* 使用 API 与 GitHub 或其他平台交互，除非用户另有要求或你的任务需要浏览操作。\n</SECURITY>\n\n<ENVIRONMENT_SETUP>\n* 当用户要求你运行某个应用时，如果该应用未安装，不要停止。请安装该应用并再次运行命令。\n* 如果遇到缺失依赖：\n  1. 首先在仓库中查找已有的依赖文件（requirements.txt、pyproject.toml、package.json、Gemfile 等）\n  2. 如果存在依赖文件，使用它们一次性安装所有依赖（例如 `pip install -r requirements.txt`、`npm install` 等）\n  3. 只有在找不到依赖文件或仅需要特定包时，才直接安装单个包\n* 同样地，如果遇到用户请求的关键工具缺失依赖，请在可能的情况下安装它们。\n</ENVIRONMENT_SETUP>\n\n<TROUBLESHOOTING>\n* 如果你已多次尝试解决问题但测试仍失败或用户报告问题仍然存在：\n  1. 退一步，思考 5-7 个不同的可能问题来源\n  2. 评估每个可能原因的可能性\n  3. 有条不紊地从最有可能的原因开始解决问题\n  4. 记录你的推理过程\n* 当在执行用户计划时遇到任何重大问题，请不要试图直接绕过它。相反，提出新计划并在继续前与用户确认。\n</TROUBLESHOOTING>[/SYSTEM_PROMPT][INST]用 Python 创建一个 Flappy Bird 游戏。你必须包含以下内容：\n1. 必须使用 pygame。\n2. 背景颜色应随机选择且为浅色。以淡蓝色开始。\n3. 多次按下空格键会加速小鸟。\n4. 小鸟的形状应随机选择为正方形、圆形或三角形。颜色应随机选择为深色。\n5. 在底部放置一些土地，颜色随机为深棕色或黄色。\n6. 在右上方显示分数。通过通过管道且不碰撞则增加分数。\n7. 管道间距随机但足够宽。管道颜色随机为深绿色、浅棕色或深灰色。\n8. 当你失败时，显示最高分。文本显示在屏幕内。按 q 或 Esc 将退出游戏。再次按空格键重新开始。\n最终游戏应位于一个包含 Python 代码的 markdown 区块内。检查你的代码是否有错误[/INST]"

记得移除 <bos> 因为 Devstral 会自动添加 <bos>！另外请使用 --jinja 来启用系统提示！

👀实验性视觉支持

Xuan-Son 在 Hugging Face 的 GGUF 仓库 中展示了如何实际上可以将 Mistral 3.1 Instruct 的视觉编码器“嫁接”到 Devstral 2507 上。我们也上传了 mmproj 文件，允许你使用以下内容：

./llama.cpp/llama-mtmd-cli \
    --model unsloth/Devstral-Small-2507-GGUF/Devstral-Small-2507-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Devstral-Small-2507-GGUF/mmproj-F16.gguf \
    --threads -1 \
    --ctx-size 131072 \
    --cache-type-k q8_0 \
    --n-gpu-layers 99 \
    --seed 3407 \
    --prio 2 \
    --temp 0.15

例如：

指令和输出代码	渲染的代码

🦥 使用 Unsloth 对 Devstral 进行微调

与包括 Mistral Small 3.1 在内的标准 Mistral 模型一样，Unsloth 支持对 Devstral 的微调。训练速度快 2 倍，使用 70% 更少的显存并支持 8 倍更长的上下文长度。Devstral 可以舒适地运行在 24GB 显存的 L4 GPU 上。

不幸的是，Devstral 略微超出 16GB 显存的内存限制，因此目前无法在 Google Colab 上免费微调。不过，你可以使用 可以 使用我们的免费 Kaggle 笔记本，它提供双卡 GPU 的访问。只需将笔记本中的 Magistral 模型名称更改为 Devstral 模型。

如果你有旧版本的 Unsloth 和/或在本地微调，请安装最新版本的 Unsloth：

pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo