📙Devstral 2 - 実行ガイド

Mistral Devstral 2 モデル（123B-Instruct-2512 と Small-2-24B-Instruct-2512）をローカルで実行するためのガイド。

Devstral 2 はソフトウェアエンジニアリング向けの Mistral の新しいコーディングおよびエージェント型LLMで、以下で利用可能です 24B および 123B サイズです。123BモデルはSWE-bench、コーディング、ツール呼び出し、エージェントのユースケースでSOTAを達成しています。24Bモデルは25GBのRAM/VRAMに収まり、123Bは128GBに収まります。

2025年12月13日 更新

Devstral のチャットテンプレートの問題を解決し、結果は大幅に改善されているはずです。24Bと123Bは更新されました。さらに、2025年12月13日時点の最新の llama.cpp をインストールしてください！

Devstral 2 は視覚機能、256kのコンテキストウィンドウをサポートしており、以下と同じアーキテクチャを使用しています Ministral 3。これで実行および ファインチューン の両方を Unsloth でローカルに行えます。

すべての Devstral 2 アップロードは当社の Unsloth Dynamic 2.0 手法を使用しており、次で最高のパフォーマンスを提供します Aider Polyglot および 5-shot MMLU ベンチマークで。

Devstral-Small-2-24BDevstral-2-123B

Devstral 2 - Unsloth Dynamic GGUF：

Devstral-Small-2-24B-Instruct-2512	Devstral-2-123B-Instruct-2512
Devstral-Small-2-24B-Instruct-2512-GGUF	Devstral-2-123B-Instruct-2512-GGUF

🖥️ Devstral 2 の実行

実行に関するステップバイステップガイドを参照してください： Devstral 24B および大規模な Devstral 123B モデル。両モデルは視覚サポートをサポートしますが、現時点では 視覚はサポートされていません llama.cpp では

⚙️ 使用ガイド

以下は推奨される推論設定です：

• Temperature 約0.15

• Min_P は 0.01（オプションですが 0.01 がうまく機能します。llama.cpp のデフォルトは 0.1）

• 使用する --jinja でシステムプロンプトを有効にします。

• 最大コンテキスト長 = 262,144

• 推奨最小コンテキスト：16,384

• 最新の llama.cpp をインストールしてください。なぜなら 2025年12月13日のプルリクエストが 問題を修正したからです。

🎩Devstral-Small-2-24B

フルプレシジョン（Q8）の Devstral-Small-2-24B GGUF は 25GB の RAM/VRAM に収まります。現時点ではテキストのみです。

✨ llama.cpp で Devstral-Small-2-24B-Instruct-2512 を実行する

1. 最新の llama.cpp を GitHub で入手できます。下のビルド手順に従うこともできます。変更してください -DGGML_CUDA=ON から -DGGML_CUDA=OFF GPU がない場合や CPU 推論のみを行いたい場合は。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

1. 直接モデルを読み込むために llama.cpp を使用したい場合は、以下を実行できます：（:Q4_K_XL）は量子化タイプです。Hugging Face から直接プルすることもできます：

./llama.cpp/llama-cli \
    -hf unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF:UD-Q4_K_XL \
    --jinja -ngl 99 --ctx-size 16384 \
    --temp 0.15

1. （以下をインストールした後に）モデルをダウンロードします pip install huggingface_hub hf_transfer ）。量子化バージョンとして選べます UD_Q4_K_XL や他のもの。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF",
    local_dir = "unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*", "*mmproj-F16*"], # Q4_K_XL 用
)

1. 会話モードでモデルを実行します：

./llama.cpp/llama-cli \
    --model unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF/Devstral-Small-2-24B-Instruct-2512-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF/mmproj-F16.gguf \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    --seed 3407 \
    --prio 2 \
    --temp 0.15 \
    --jinja

👀Devstral とビジョン

1. Devstral の画像機能を試すには、まず次のような画像をダウンロードしましょう FP8 Reinforcement Learning with Unsloth 以下：

2. 画像は次で取得します wget https://unsloth.ai/cgi/image/fp8grpolarge_KharloZxEEaHAY2X97CEX.png?width=3840%26quality=80%26format=auto -O unsloth_fp8.png これにより画像が "unsloth_fp8.png" として保存されます

3. 次に画像を読み込むには、 /image unsloth_fp8.png モデルが以下のようにロードされた後に、

4. その後私たちはそれにプロンプトを与えます この画像を説明してください そして次のような応答を得ます：

   

🚚Devstral-2-123B

フルプレシジョン（Q8）の Devstral-Small-2-123B GGUF は 128GB の RAM/VRAM に収まります。現時点ではテキストのみです。

✨ Devstral-2-123B-Instruct-2512 チュートリアルを実行する

1. 最新の llama.cpp を GitHub で入手できます。下のビルド手順に従うこともできます。変更してください -DGGML_CUDA=ON から -DGGML_CUDA=OFF GPU がない場合や CPU 推論のみを行いたい場合は。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

1. HuggingFace から直接プルできます：

./llama.cpp/llama-cli \
    -hf unsloth/Devstral-2-123B-Instruct-2512-GGUF:UD-Q2_K_XL \
    --jinja -ngl 99 --ctx-size 16384 \
    --temp 0.15

1. （以下をインストールした後に）モデルをダウンロードします pip install huggingface_hub hf_transfer ）。量子化バージョンとして選べます UD_Q4_K_XL や他のもの。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Devstral-2-123B-Instruct-2512-GGUF",
    local_dir = "unsloth/Devstral-2-123B-Instruct-2512-GGUF",
    allow_patterns = ["*UD-Q2_K_XL*", "*mmproj-F16*"],
)

1. 会話モードでモデルを実行します：

./llama.cpp/llama-cli \
    --model unsloth/Devstral-2-123B-Instruct-2512-GGUF/Devstral-2-123B-Instruct-2512-UD-Q2_K_XL.gguf \
    --mmproj unsloth/Devstral-2-123B-Instruct-2512-GGUF/mmproj-F16.gguf \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    --seed 3407 \
    --prio 2 \
    --temp 0.15 \
    --jinja

🦥 Unsloth による Devstral 2 のファインチューニング

ちょうど Ministral 3のように、Unsloth は Devstral 2 のファインチューニングをサポートします。トレーニングは2倍速く、VRAM 使用量は70%削減され、コンテキスト長は8倍長くなります。Devstral 2 は 24GB VRAM の L4 GPU に余裕を持って収まります。

残念ながら、Devstral 2 は 16GB VRAM のメモリ制限を少し超えるため、現時点では Google Colab で無料でファインチューニングすることはできません。しかし、 あなたは 無料でモデルをファインチューンできます、当社の Kaggle ノートブックを使用して、デュアル GPU にアクセスできます。ノートブックの Magistral モデル名を以下に変更してください、 unsloth/Devstral-Small-2-24B-Instruct-2512 モデルに。

Ministral 3 をファインチューンするための無料の Unsloth ノートブックを作成しました。Devstral 2 は同じアーキテクチャを共有しているため直接サポートします！使用したいモデルに名前を変更してください。

• Ministral-3B-Instruct Vision ノートブック (vision)（モデル名を Devstral 2 に変更）

• Ministral-3B-Instruct GRPO ノートブック （モデル名を Devstral 2 に変更）

Devstral Vision ファインチューニングノートブック

Google Colabcolab.research.google.com

Devstral Sudoku GRPO RL ノートブック

Google Colabcolab.research.google.com

😎Llama-server によるサービングとデプロイ

本番用に Devstral 2 をデプロイするには、我々は llama-server を使用します。新しいターミナルで例えば tmux を使い、次でモデルをデプロイします：

./llama.cpp/llama-server \
    --model unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF/Devstral-Small-2-24B-Instruct-2512-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF/mmproj-F16.gguf \
    --alias "unsloth/Devstral-Small-2-24B-Instruct-2512" \
    --n-gpu-layers 999 \
    --prio 3 \
    --min_p 0.01 \
    --ctx-size 16384 \
    --port 8001 \
    --jinja

上記を実行すると、次が得られます：

その後、新しいターミナルで、次を実行した後に： pip install openai、次を行います：

from openai import OpenAI
import json
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/Devstral-Small-2-24B-Instruct-2512",
    messages = [{"role": "user", "content": "What is 2+2?"},],
)
print(completion.choices[0].message.content)

これにより単純に 4 が出力されます。

🧰Devstral 2 でのツール呼び出しチュートリアル

をフォローした後、 Devstral 2 いくつかのツールを読み込み、Devstral の動作を見ることができます！ツールを作成して Python にコピー＆ペーストして実行してください。

import json, subprocess, random
from typing import Any
def add_number(a: float | str, b: float | str) -> float:
    return float(a) + float(b)
def multiply_number(a: float | str, b: float | str) -> float:
    return float(a) * float(b)
def substract_number(a: float | str, b: float | str) -> float:
    return float(a) - float(b)
def write_a_story() -> str:
    return random.choice([
        "遠い昔、はるか彼方の銀河で...",
        "ナマケモノとコードを愛する二人の友人がいました...",
        "世界はすべてのナマケモノが超人的知能を獲得したため終わりを迎えていた...",
        "一方の友人が知らないうちに、もう一方がナマケモノを進化させるプログラムを誤って作成してしまった...",
    ])
def terminal(command: str) -> str:
    if "rm" in command or "sudo" in command or "dd" in command or "chmod" in command:
        msg = "危険なため 'rm, sudo, dd, chmod' コマンドは実行できません"
        print(msg); return msg
    print(f"ターミナルコマンド `{command}` を実行しています")
    try:
        return str(subprocess.run(command, capture_output = True, text = True, shell = True, check = True).stdout)
    except subprocess.CalledProcessError as e:
        return f"コマンドが失敗しました: {e.stderr}"
def python(code: str) -> str:
    data = {}
    exec(code, data)
    del data["__builtins__"]
    return str(data)
MAP_FN = {
    "add_number": add_number,
    "multiply_number": multiply_number,
    "substract_number": substract_number,
    "write_a_story": write_a_story,
    "terminal": terminal,
    "python": python,
}
tools = [
    {
        "type": "function",
        "function": {
            "name": "add_number",
            "description": "二つの数を加えます。",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "最初の数。",
                    },
                    "b": {
                        "type": "string",
                        "description": "二番目の数。",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "multiply_number",
            "description": "二つの数を掛けます。",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "最初の数。",
                    },
                    "b": {
                        "type": "string",
                        "description": "二番目の数。",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "substract_number",
            "description": "二つの数を引きます。",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "最初の数。",
                    },
                    "b": {
                        "type": "string",
                        "description": "二番目の数。",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "write_a_story",
            "description": "ランダムな物語を書きます。",
            "parameters": {
                "type": "object",
                "properties": {},
                "required": [],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "terminal",
            "description": "ターミナルから操作を実行します。",
            "parameters": {
                "type": "object",
                "properties": {
                    "command": {
                        "type": "string",
                        "description": "起動したいコマンド、例: `ls`, `rm`, ...",
                    },
                },
                "required": ["command"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "python",
            "description": "実行する Python コードを使って Python インタープリタを呼び出します。",
            "parameters": {
                "type": "object",
                "properties": {
                    "code": {
                        "type": "string",
                        "description": "実行する Python コード",
                    },
                },
                "required": ["code"],
            },
        },
    },
]

その後、モデルをテストするためにランダムなメッセージ候補リストから簡単な質問をします：

import random
messages = [{
    "role": "user",
    "content": [random.choice([
        {"type": "text", "text": "物語を書いてもらえますか？"},
        {"type": "text", "text": "今日の日付に3日を足すと何日ですか？"},
        {"type": "text", "text": "現在時刻をナノ秒で取得してください。"},
        {"type": "text", "text": "Pythonでフィボナッチ関数を作成し、fib(20) を求めてください。"},
    ])],
}]

次に、下記の関数を使用します（コピーして貼り付けて実行してください）。これらは関数呼び出しを自動的に解析します — Devstral 2 は同時に複数の呼び出しを行うことがあります！

temperature = 0.15
from openai import OpenAI
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
model_name = next(iter(openai_client.models.list())).id
print(f"使用中のモデル = {model_name}")
has_tool_calls = True
original_messages_len = len(messages)
while has_tool_calls:
    print(f"現在の messages = {messages}")
    response = openai_client.chat.completions.create(
        model = model_name,
        messages = messages,
        temperature = temperature,
        tools = tools if tools else None,
        tool_choice = "auto" if tools else None,
    )
    tool_calls = response.choices[0].message.tool_calls or []
    content = response.choices[0].message.content or ""
    tool_calls_dict = [tc.to_dict() for tc in tool_calls] if tool_calls else tool_calls
    messages.append({"role": "assistant", "tool_calls": tool_calls_dict, "content": content,})
    for tool_call in tool_calls:
        fx, args, _id = tool_call.function.name, tool_call.function.arguments, tool_call.id
        out = MAP_FN[fx](**json.loads(args))
        messages.append({"role": "tool", "tool_call_id": _id, "name": fx, "content": str(out),})
    else:
        has_tool_calls = False
print(json.dumps(messages[original_messages_len:], indent = 2))

そして1分後、次が得られます：

またはJSON形式では：

[
  {
    "role": "assistant",
    "tool_calls": [
      {
        "id": "JviLK0wUveWguuKQHgZdFdYI2adu85jy",
        "function": {
          "arguments": "{}",
          "name": "write_a_story"
        },
        "type": "function"
      }
    ],
    "content": null
  },
  {
    "role": "tool",
    "tool_call_id": "JviLK0wUveWguuKQHgZdFdYI2adu85jy",
    "name": "write_a_story",
    "content": "遠い昔、はるか彼方の銀河で..."
  },
  {
    "role": "assistant",
    "tool_calls": null,
    "content": "遠い銀河で、星々が異世界のような輝きを放つ場所に、エルドリアと呼ばれる惑星がありました。エルドリアは鮮やかな都市がそびえる山々と、双子の太陽の下に果てしなく広がる広大な砂漠という、はっきりとした対照を持つ世界でした。エルドリアの人々はエネルギーの扱いに長けており、特に伝説のレーザーセイバーで知られていました。\n\nこれらのセイバーは単なる武器ではなく、持ち主の魂の延長であり、宇宙の本質で脈打つ希少な結晶から鍛えられていました。各セイバーは独自のものであり、その色と力は所有者の個性と精神を反映していました。最も熟練した戦士たち、セイバーボーンと呼ばれる者たちは、そのセイバーを現実の織物と踊るかのような精度と優雅さで扱うことができました。\n\nセイバーボーンの中に、カエルという名の戦士がいました。カエルは追放された元護衛で、評議会の命令に逆らったために追放されていました。評議会はレーザーセイバーの力を独占し、それを用いてエルドリアの人々を支配しようとしていました。カエルは、セイバーは支配するためではなく守るために振るわれるべきだと信じていました。\n\nある日、カエルは砂漠のはずれの小さな村から救難信号を受け取りました。村は、暴虐の軍閥ベクシス率いる反逆的なセイバーボーンの一隊に襲われていました。ベクシスは、どんなレーザーセイバーの力でも十倍に増幅すると言われる古代の遺物を奪おうとしていました。もしベクシスが成功すれば、その軍は無敵となり、エルドリアは闇に覆われるでしょう。\n\nカエルは行動しなければならないと悟りました。彼は深い青の刃を持つセイバーを身に着け、それは宇宙のエネルギーでうなりを上げていました。砂嵐やベクシスの斥候が仕掛けた罠が続く危険な旅を越えて、彼は前進しました。カエルはかつて守ると誓った人々の記憶に駆られていました。\n\n村に着くと、戦いは既に激しく続いていました。ベクシスの戦士たちは残虐な効率でセイバーを扱い、防衛側を次々と倒していました。カエルは戦闘に飛び込み、青いセイバーは光の残像となって次々と敵を無力化しました。村人たちは救助者の到着を見て奮起し、己のセイバーを振るって故郷を取り戻そうと戦いました。\n\nカエルは村の広場の中央でベクシスと対峙しました。戦闘領主のセイバーは病的な緑で、暗いエネルギーが脈打っていました。「遅すぎたな、カエル」とベクシスは嘲りました。「遺物は私のものだ、それを使って私はエルドリアを支配する。」カエルは踏みとどまり、セイバーを掲げて言いました。「私の死体を越えて行け」。\n\n二人の戦士は衝突し、セイバーは火花を散らして絡み合いました。カエルは遺物の生む生の力がベクシスの刃を通して流れているのを感じましたが、退くことはしませんでした。彼は自身のエネルギーを集中させ、セイバーはより明るく輝き、ベクシスの攻撃を押し返しました。最後の必死の一撃で、カエルはベクシスの武器を奪い、そのセイバーを地面に落としました。\n\nベクシスは敗北に呻きましたが、カエルは彼を殺しませんでした。代わりに選択を与えました。「エルドリアを守るために共に立つか、去って二度と戻らないか。」謙虚になり、カエルの言葉の真実を見たベクシスは彼と共に立つことを選びました。\n\nベクシスの一派が同盟となったことで、カエルと村人たちは遺物を取り戻し、その力を使ってエルドリアの均衡を回復しました。セイバーテンプルは再編され、レーザーセイバーは再び支配するためではなく守るために振るわれる者たちによって用いられるようになりました。\n\nカエルの伝説は広まり、彼はエルドリアの人々にとって希望の象徴となりました。彼の物語は、最も暗い時でさえも勇気と正義の光が勝つことを思い出させました。こうしてセイバーボーンは生き続け、彼らのレーザーセイバーは影に満ちた銀河の中で力と団結の灯台となったのです。"
  }
]