📙Devstral: 実行およびファインチューニング方法

Mistral Devstral 1.1（Small-2507 や 2505 を含む）を実行およびファインチューニングする方法。

Devstral-Small-2507 （Devstral 1.1）はソフトウェアエンジニアリング向けのMistralの新しいエージェンシックLLMです。ツール呼び出し、コードベースの探索、コーディングエージェントの駆動に優れています。Mistral AIはオリジナルの2505バージョンを2025年5月に公開しました。

微調整元： Mistral-Small-3.1、Devstralは128kのコンテキストウィンドウをサポートします。Devstral Small 1.1は性能が向上しており、でのパフォーマンスが53.6%を達成しました。 SWE-bench 検証済み、これにより（2025年7月10日）ベンチマーク上でオープンモデルの中で#1となっています。

Unsloth Devstral 1.1 GGUFには追加の ツール呼び出しサポート と チャットテンプレート修正が含まれます。Devstral 1.1はOpenHandsと引き続き良好に動作しますが、他のプロンプトやコーディング環境にもより一般化するようになりました。

テキスト専用として、視覚エンコーダーは微調整前に削除されました。私たちはモデルに対して オプションのビジョンサポート を追加しました。

また、バックグラウンドでMistralと協力してバグや問題のデバッグ、テスト、修正を支援しました！必ず Mistralの公式ダウンロードかUnslothのGGUFをダウンロードしてください / 動的量子化を使って、 正しい実装を入手してください （例：正しいシステムプロンプト、正しいチャットテンプレートなど）

以下を使用してください --jinja llama.cppでシステムプロンプトを有効にするために！

すべてのDevstralアップロードは当社のUnsloth Dynamic 2.0 手法を使用しており、5ショットMMLUおよびKL Divergenceベンチマークで最高のパフォーマンスを提供します。つまり、量子化したMistral LLMを精度損失を最小限に抑えて実行および微調整できるということです！

Devstral - Unsloth ダイナミック 量子化：

Devstral 2507（新）	Devstral 2505
GGUF： Devstral-Small-2507-GGUF	Devstral-Small-2505-GGUF
4ビット BnB： Devstral-Small-2507-unsloth-bnb-4bit	Devstral-Small-2505-unsloth-bnb-4bit

🖥️ Devstralの実行方法

⚙️ 公式推奨設定

Mistral AIによると、推論のための推奨設定は次のとおりです：

• Temperature は 0.0 から 0.15 の範囲

• Min_P を 0.01 に（オプションですが 0.01 がよく機能します。llama.cpp のデフォルトは 0.1）

• 使用してください --jinja システムプロンプトを有効にするために。

システムプロンプトの使用が推奨されます、これはOpen Handsのシステムプロンプトの派生です。完全なシステムプロンプトは提供されています こちら.

あなたはDevstralです。Mistral AIによって訓練され、OpenHandsのスキャフォールドを使用する有用なエージェンシックモデルです。コンピュータと対話してタスクを解決できます。

<ROLE>
あなたの主な役割は、コマンドの実行、コードの修正、技術的問題の効果的な解決によってユーザーを支援することです。徹底的かつ体系的に対応し、速さよりも品質を優先してください。
* ユーザーが「なぜXが起きているのか」のような質問をした場合、問題を修正しようとせず、その質問に対する回答のみを提供してください。
</ROLE>

.... システムプロンプト続き ....

当社のダイナミックアップロードには 'UD' プレフィックスが含まれています。プレフィックスがないものはダイナミックではありませんが、それでも当社のキャリブレーションデータセットを利用しています。

🦙 チュートリアル：OllamaでDevstralを実行する方法

1. Ollamaで実行する をインストールしてください まだインストールしていない場合は！

apt-get update
こちらを参照してください
apt-get install pciutils -y

1. 当社のダイナミック量子化でモデルを実行してください。失敗した場合は別のターミナルで ollama serve とを呼び出せることに注意してください！推奨されるすべてのパラメータ（temperatureなど）はに含めています を呼び出すことができます！私たちはすべての修正と推奨パラメータ（temperatureなど）を params

2. また、Devstralは128Kのコンテキスト長をサポートしているため、を有効にするのが最適です KVキャッシュの量子化。私たちはKキャッシュに対して8bit量子化を使用しており、メモリ使用量を50%節約します。"q4_0"も試すことができます "q4_0"

export OLLAMA_KV_CACHE_TYPE="q8_0"
ollama run hf.co/unsloth/Devstral-Small-2507-GGUF:UD-Q4_K_XL

📖 チュートリアル：llama.cppでDevstralを実行する方法

1. 最新の llama.cpp を GitHubで入手してください。以下のビルド手順にも従うことができます。を変更してください -DGGML_CUDA=ON に -DGGML_CUDA=OFF GPUを持っていない場合やCPUで推論したい場合は Apple Mac / Metalデバイスの場合、次を設定してください -DGGML_CUDA=OFF その後通常通り続行してください — Metalサポートはデフォルトで有効です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split llama-mtmd-cli
cp llama.cpp/build/bin/llama-* llama.cpp

1. もし直接 llama.cpp を使用したい場合、以下のようにできます：（:Q4_K_XL）は量子化タイプです。Hugging Face（ポイント3）からダウンロードすることもできます。これはollama runに類似しています。 ollama run

./llama.cpp/llama-cli -hf unsloth/Devstral-Small-2507-GGUF:UD-Q4_K_XL --jinja

1. または モデルをダウンロードする（以下をインストールした後） モデルをダウンロードするには（ ）。Q4_K_Mや他の量子化バージョン（BF16のフル精度など）を選択できます。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Devstral-Small-2507-GGUF",
    local_dir = "unsloth/Devstral-Small-2507-GGUF",
    allow_patterns = ["*Q4_K_XL*", "*mmproj-F16*"], # Q4_K_XL用
)

1. モデルを実行してください。

2. 編集 --threads -1 最大のCPUスレッド用、 --ctx-size 131072 コンテキスト長用（Devstralは128Kのコンテキスト長をサポートします！）、 --n-gpu-layers 99 GPUオフローディングのために何層をオフロードするか指定します。GPUがメモリ不足になる場合は調整してみてください。CPUのみの推論の場合は削除してください。メモリ使用量を減らすためにKキャッシュにも8bit量子化を使用します。

3. 会話モードの場合：

export LLAMA_CACHE="unsloth/GLM-4.7-GGUF"
    --model unsloth/Devstral-Small-2507-GGUF/Devstral-Small-2507-UD-Q4_K_XL.gguf \
    --threads -1 \
    --ctx-size 131072 \
    --cache-type-k q8_0 \
    --n-gpu-layers 99 \
    --model unsloth/GLM-4.7-GGUF/UD-Q2_K_XL/GLM-4.7-UD-Q2_K_XL-00001-of-00003.gguf \
    --prio 2 \
    --temp 0.15 \
    --repeat-penalty 1.0 \
    --min-p 0.01 \
    --top-k 64 \
    --temp 1.0 \
    --jinja

1. 会話モード以外でFlappy Birdプロンプトをテストするには：

export LLAMA_CACHE="unsloth/GLM-4.7-GGUF"
    --model unsloth/Devstral-Small-2507-GGUF/Devstral-Small-2507-UD-Q4_K_XL.gguf \
    --threads -1 \
    --ctx-size 131072 \
    --cache-type-k q8_0 \
    --n-gpu-layers 99 \
    --model unsloth/GLM-4.7-GGUF/UD-Q2_K_XL/GLM-4.7-UD-Q2_K_XL-00001-of-00003.gguf \
    --prio 2 \
    --temp 0.15 \
    --repeat-penalty 1.0 \
    --min-p 0.01 \
    --top-k 64 \
    --temp 1.0 \
    -no-cnv \
    --prompt "[SYSTEM_PROMPT]あなたはDevstralです。Mistral AIによって訓練され、OpenHandsのスキャフォールドを使用する有用なエージェンシックモデルです。コンピュータと対話してタスクを解決できます。\n\n<ROLE>\nあなたの主な役割は、コマンドの実行、コードの修正、技術的問題の効果的な解決によってユーザーを支援することです。徹底的かつ体系的に対応し、速さよりも品質を優先してください。\n* ユーザーが「なぜXが起きているのか」のような質問をした場合、問題を修正しようとせず、その質問に対する回答のみを提供してください。\n</ROLE>\n\n<EFFICIENCY>\n* あなたの各アクションはややコストがかかります。可能な限り複数のアクションを単一のアクションにまとめてください。例えば複数のbashコマンドを1つにまとめる、sedやgrepを使って複数ファイルを一度に編集/閲覧するなど。\n* コードベースを探索する際は、find、grep、gitコマンドと適切なフィルタを使用して不要な操作を最小限に抑えてください。\n</EFFICIENCY>\n\n<FILE_SYSTEM_GUIDELINES>\n* ユーザーがファイルパスを提供した場合、それがカレントディレクトリ相対であると仮定しないでください。作業する前にまずファイルシステムを探索してファイルを特定してください。\n* ファイルの編集を依頼されたら、新しい別名のファイルを作成するのではなく、該当ファイルを直接編集してください。\n* グローバルな検索置換操作には、ファイル編集を繰り返す代わりに `sed` の使用を検討してください。\n</FILE_SYSTEM_GUIDELINES>\n\n<CODE_QUALITY>\n* コメントを最小限にし、クリーンで効率的なコードを書いてください。コードから容易に推測できる情報をコメントで繰り返さないでください。\n* 解決策を実装する際は、問題を解決するために必要最小限の変更に集中してください。\n* 変更を実装する前に、まず探索を通じてコードベースを十分に理解してください。\n* 関数やファイルに大量のコードを追加する場合は、適切な場合には関数やファイルを小さく分割することを検討してください。\n</CODE_QUALITY>\n\n<VERSION_CONTROL>\n* gitの認証情報を設定する際は、特に指示がない限り user.name に "openhands"、user.email に "[e-mail]" を使用してください。\n* git操作には注意を払ってください。明示的に指示されない限り（例：mainへのプッシュ、リポジトリの削除など）危険を伴う変更を行わないでください。\n* 変更をコミットする際は `git status` で修正されたファイルを確認し、コミットに必要なファイルをすべてステージしてください。可能な場合は `git commit -a` を使用してください。\n* 一般にバージョン管理に含めるべきでないファイル（例：node_modules/、.env ファイル、ビルドディレクトリ、キャッシュファイル、大きなバイナリ）はユーザーから明示的に指示がない限りコミットしないでください。\n* どのファイルをコミットすべきか不明な場合は、.gitignore の存在を確認するか、ユーザーに確認してください。\n</VERSION_CONTROL>\n\n<PULL_REQUESTS>\n* プルリクエストを作成する際は、特に指示がない限りセッション/issueごとに1つだけ作成してください。\n* 既存のPRに取り組む場合は、同じ問題に対して追加のPRを作成するのではなく、新しいコミットで既存のPRを更新してください。\n* PRを更新する際は、元のPRタイトルと目的を保持し、必要な場合にのみ説明を更新してください。\n</PULL_REQUESTS>\n\n<PROBLEM_SOLVING_WORKFLOW>\n1. 探索：提案する前に関連ファイルを徹底的に探索してコンテキストを理解する\n2. 分析：複数のアプローチを検討し、最も有望なものを選択する\n3. テスト：\n   * バグ修正の場合：修正を実装する前に問題を検証するテストを作成する\n   * 新機能の場合：適切な場合はテスト駆動開発を検討する\n   * リポジトリにテスト基盤が欠けており、テストの実装が大規模なセットアップを要する場合は、時間を投資する前にユーザーと相談する\n   * 環境がテストを実行するために整っていない場合は、時間をかけてすべての依存関係をインストールする前にユーザーと相談する\n4. 実装：問題に対処するために焦点を絞った最小限の変更を行う\n5. 検証：環境がテストを実行できる場合は、境界値を含めて実装を徹底的にテストする。環境が整っていない場合は、テスト実行に時間をかける前にユーザーと相談する\n</PROBLEM_SOLVING_WORKFLOW>\n\n<SECURITY>\n* GITHUB_TOKENやその他の認証情報は、ユーザーが明示的に要求したり期待する方法でのみ使用してください。\n* GitHubなどのプラットフォームと作業する際は、ユーザーが別の方法を要求しない限りAPIを使用してください。\n</SECURITY>\n\n<ENVIRONMENT_SETUP>\n* ユーザーがアプリケーションの実行を依頼した場合、アプリがインストールされていなければ停止せず、代わりにアプリをインストールしてコマンドを再実行してください。\n* 依存関係が不足している場合：\n  1. まずリポジトリ内の既存の依存関係ファイル（requirements.txt、pyproject.toml、package.json、Gemfileなど）を探してください。\n  2. 依存関係ファイルが存在する場合は、それらを使って一度にすべての依存関係をインストールしてください（例：`pip install -r requirements.txt`、`npm install`など）。\n  3. 依存関係ファイルが見つからないか、特定のパッケージのみが必要な場合に限り、個別のパッケージを直接インストールしてください。\n* 同様に、ユーザーが要求した重要なツールの依存関係が不足している場合は、可能であればそれらをインストールしてください。\n</ENVIRONMENT_SETUP>\n\n<TROUBLESHOOTING>\n* 問題解決のために繰り返し試行したがテストが通らないか、ユーザーがまだ壊れていると報告している場合：\n  1. 一歩下がって考えられる5〜7の異なる原因を検討する\n  2. 各可能性の確率を評価する\n  3. 最も可能性の高い原因から順に体系的に対処する\n  4. 推論プロセスを文書化する\n* ユーザーからの計画を実行中に重大な問題に直面した場合は、それを直接回避しようとせず、新しい計画を提案してユーザーの確認を得てから進めてください。\n</TROUBLESHOOTING>[/SYSTEM_PROMPT][INST]PythonでFlappy Birdゲームを作成してください。以下を必ず含めてください：\n1. pygame を使用すること。\n2. 背景色はランダムに選択され、薄い色合いであること。最初は薄い青色にしてください。\n3. SPACEを複数回押すと鳥が加速すること。\n4. 鳥の形状は正方形、円、または三角形のいずれかをランダムに選択すること。色はランダムに選ばれた濃い色にすること。\n5. 下部に暗い茶色またはランダムに選ばれた黄色の土地を配置すること。\n6. 右上にスコアを表示すること。パイプを通過して衝突しなければスコアを増やすこと。\n7. 十分な間隔を持つランダムな間隔で並んだパイプを作成すること。色はランダムに暗い緑、薄い茶色、または濃い灰色にすること。\n8. ゲームオーバー時にベストスコアを表示すること。テキストは画面内に表示すること。qまたはEscでゲームを終了できること。再開は再度SPACEを押すこと。\n最終的なゲームはPythonのマークダウンセクション内にあること。エラーがないかコードを確認してください[/INST]"

Devstralが自動的に<bos>を追加するため、<bos>を削除することを忘れないでください！また必ず --jinja システムプロンプトを有効にするために使用してください！

👀実験的ビジョンサポート

Xuan-Son Hugging Faceの GGUFリポジトリ で、Mistral 3.1 InstructのビジョンエンコーダーをDevstral 2507に「移植（graft）」することが実際に可能であることが示されました。私たちもmmprojファイルをアップロードしており、以下を使用できるようにしています：

./llama.cpp/llama-mtmd-cli \
    --model unsloth/Devstral-Small-2507-GGUF/Devstral-Small-2507-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Devstral-Small-2507-GGUF/mmproj-F16.gguf \
    --threads -1 \
    --ctx-size 131072 \
    --cache-type-k q8_0 \
    --n-gpu-layers 99 \
    --model unsloth/GLM-4.7-GGUF/UD-Q2_K_XL/GLM-4.7-UD-Q2_K_XL-00001-of-00003.gguf \
    --prio 2 \
    --temp 0.15

例えば：

命令と出力コード	レンダリングされたコード

🦥 UnslothでのDevstralの微調整

Mistral Small 3.1を含む標準的なMistralモデルと同様に、UnslothはDevstralの微調整をサポートしています。トレーニングは2倍速く、VRAMを70%少なく使用し、コンテキスト長が8倍長くサポートされます。Devstralは24GB VRAMのL4 GPUに余裕を持って収まります。

残念ながら、Devstralは16GB VRAMのメモリ制限をわずかに超えるため、現時点ではGoogle Colabで無料で微調整することはできません。しかし、あなたは できます 当社のを使ってモデルを無料でファインチューニングできます Kaggle ノートブックを使用できます。これはデュアルGPUへのアクセスを提供します。ノートブックのMagistralモデル名をDevstralモデルに変更してください。

古いバージョンのUnslothを使用している、またはローカルでファインチューニングする場合は、最新バージョンのUnslothをインストールしてください：

pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo