llama-serverとOpenAIエンドポイントのデプロイガイド

OpenAI互換エンドポイントを備えたllama-server経由でデプロイします

Devstral-2 をデプロイします - こちらを参照してください Devstral 2 モデルの詳細についてはこちら。

最新の llama.cpp オン GitHub はこちらで入手してください。以下のビルド手順に従っても構いません。変更してください -DGGML_CUDA=ON を -DGGML_CUDA=OFF GPU がない場合、または CPU 推論だけを使いたい場合。 Apple Mac / Metal デバイスの場合、次のように設定し -DGGML_CUDA=OFF その後は通常どおり続けてください。Metal サポートはデフォルトで有効です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

使用する場合 --jinja llama-server は、ツールがサポートされている場合、次のシステムメッセージを追加します: JSON 形式で応答し、tool_call（ツール呼び出しの要求）またはユーザーの要求に対する response reply のいずれかを返してください 。このため、ファインチューニングで問題が発生することがあります！こちらを参照してください llama.cpp リポジトリ 詳細について。

まず Devstral 2 をダウンロードします:

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Devstral-2-123B-Instruct-2512-GGUF",
    local_dir = "Devstral-2-123B-Instruct-2512-GGUF",
    allow_patterns = ["*UD-Q2_K_XL*", "*mmproj-F16*"],
)

Devstral 2 を本番環境向けにデプロイするには、次を使用します llama-server 新しい端末で、tmux 経由などで、以下を使ってモデルをデプロイします：

./llama.cpp/llama-server \\
    --model Devstral-Small-2-24B-Instruct-2512-GGUF/Devstral-Small-2-24B-Instruct-2512-UD-Q4_K_XL.gguf \
    --mmproj Devstral-Small-2-24B-Instruct-2512-GGUF/mmproj-F16.gguf \
    --alias "unsloth/Devstral-Small-2-24B-Instruct-2512" \
    --threads -1 \
    --n-gpu-layers 999 \
    --prio 3 \
    --min-p 0.01 \
    --ctx-size 16384 \\
    --port 8001 \\
    --jinja

上記を実行すると、次の結果になります:

その後、新しい端末で、 pip install openaiを実行した後、次を行います：

from openai import OpenAI
import json
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/Devstral-Small-2-24B-Instruct-2512",
    messages = [{"role": "user", "content": "What is 2+2?"},],
)
print(completion.choices[0].message.content)

これは単純に 4 を表示します。 llama-server の画面に戻ると、興味深い統計情報が表示されることがあります:

speculative decoding の使用などの引数については、こちらを参照してください https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md

❔Llama-server の癖

• 使用する場合 --jinja llama-server は、ツールがサポートされている場合、次のシステムメッセージを追加します: JSON 形式で応答し、tool_call（ツール呼び出しの要求）またはユーザーの要求に対する response reply のいずれかを返してください 。このため、ファインチューニングで問題が発生することがあります！こちらを参照してください llama.cpp リポジトリ 詳細はこちら。 これを停止するには、次を使用します --no-jinja ただし、その場合 ツール はサポートされなくなります。 たとえば、FunctionGemma はデフォルトで次を使用します:

  あなたは、次の関数で関数呼び出しができるモデルです

  しかし、llama-server が追加のメッセージを付け加えるため、次のようになります:

  あなたは、次の関数で関数呼び出しができるモデルです\n\nJSON 形式で応答し、`tool_call`（ツール呼び出しの要求）またはユーザーの要求に対する `response` reply のいずれかを返してください

  この問題を報告しました https://github.com/ggml-org/llama.cpp/issues/18323 そして llama.cpp の開発者は修正に取り組んでいます！ それまでの間、すべてのファインチューニングでは、ツール呼び出し専用のプロンプトを追加してください！

🧰llama-server でのツール呼び出し

参照： Tool Calling Guide ツール呼び出しの方法について！