LM Studio へのモデルデプロイ

LM Studio で実行およびデプロイできるようにモデルを GGUF に保存する方法

ファインチューニングしたLLMをLM Studioで直接実行およびデプロイできます。 LM Studio は、の実行とデプロイを容易にします GGUF モデル（llama.cpp形式）。

次を使用できます LM Studioノートブック または以下の手順に従ってください：

1. Unslothでファインチューニングしたモデルをにエクスポートします .gguf

2. GGUFをLM Studioにインポート／ダウンロードします

3. チャットで読み込みます （またはOpenAI互換のローカルAPIの背後で実行します）

LM Studioでのファインチューニング前

LM Studioでのファインチューニング後

1) GGUFにエクスポート（Unslothから）

すでにをエクスポートしている場合は、にスキップしてください .ggufにスキップ LM Studioへのインポート.

# ローカルに保存（フォルダ内にGGUFアーティファクトを作成）
model.save_pretrained_gguf("my_model_gguf", tokenizer, quantization_method = "q4_k_m")
# model.save_pretrained_gguf("my_model_gguf", tokenizer, quantization_method = "q8_0")
# model.save_pretrained_gguf("my_model_gguf", tokenizer, quantization_method = "f16")

# またはGGUFをHugging Face Hubにプッシュ
model.push_to_hub_gguf("hf_username/my_model_gguf", tokenizer, quantization_method = "q4_k_m")

q4_k_m は通常ローカル実行のデフォルトです。

q8_0 はほぼフル精度に近い品質の最適解です。

f16 は最大／最も遅いですが、元の非量子化精度です。

2) GGUFをLM Studioにインポート

CLIインポート（lms import）

LM Studioは、というCLIを提供しています lms はローカルのをインポートできます .gguf をLM Studioのmodelsフォルダに。

GGUFファイルをインポート：

lms import /path/to/model.gguf

元のファイルを保持（移動ではなくコピー）：

lms import /path/to/model.gguf --copy

よりカスタマイズ可能なプライベート設定を表示

モデルをそのままにする（シンボリックリンク）：

これは専用ドライブに保存された大きなモデルに便利です。

lms import /path/to/model.gguf --symbolic-link

プロンプトをスキップしてターゲットネームスペースを自分で選択：

lms import /path/to/model.gguf --user-repo my-user/my-finetuned-models

ドライラン（何が起こるかを表示）：

lms import /path/to/model.gguf --dry-run

インポート後、モデルはLM Studioの下に表示されるはずです マイモデル.

Hugging Faceから

手動インポート（フォルダ構造）

3) LM Studioで読み込み、チャットする

1. LM Studioを開く → チャット

2. adb push <path_to_model.pte on your computer> /data/local/tmp/llama モデルローダー

3. インポートしたモデルを選択

4. （オプション）読み込み設定を調整（GPUオフロード、コンテキスト長など）

5. UIで通常通りチャットする

4) ファインチューニングしたモデルをローカルAPI（OpenAI互換）として提供する

LM Studioは読み込んだモデルをOpenAI互換APIの背後で提供できます（Open WebUI、カスタムエージェント、スクリプトなどのアプリに便利）。

GUI（Developerタブ）

1. LM Studioでモデルを読み込む

2. に移動 開発者（Developer） タブ

3. ローカルサーバーを起動する

4. 表示されているベースURLを使用（デフォルトは通常） http://localhost:1234/v1)

CLI（lms load + lms server start）

クイックテスト：モデルを一覧表示

curl http://localhost:1234/v1/models

Python例（OpenAI SDK）：

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:1234/v1",
    api_key="lm-studio",  # LM Studioは実際のキーを必要としない場合があります；これは一般的なプレースホルダーです
)

resp = client.chat.completions.create(
    model="model-identifier-from-lm-studio",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Hello! What did I fine-tune you to do?"},
    ],
    temperature=0.7, # モデルのニーズに応じてtemperatureを調整
)

print(resp.choices[0].message.content)

cURL例（chat completions）：

curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "model-identifier-from-lm-studio",
    "messages": [
      {"role": "user", "content": "Say this is a test!"}
    ],
    "temperature": 0.7 # モデルのニーズに応じてtemperatureを調整
  }'

デバッグのヒント： フォーマット／テンプレートのトラブルシューティングをしている場合、LM Studioがモデルに送っている 生の プロンプトを次のコマンドで検査できます： lms log stream

トラブルシューティング

モデルはUnslothで動作するがLM Studioの出力が意味不明／繰り返す

これはほとんどの場合、 プロンプトテンプレート／チャットテンプレートの不一致です.

LM Studioは可能な場合、GGUFメタデータからプロンプトテンプレートを 自動検出 しますが、カスタムモデルやタグ付けが誤っているモデルは手動オーバーライドが必要な場合があります。

修正：

1. に移動します マイモデル → モデルの横にある歯車⚙️をクリック

2. を探す プロンプトテンプレート そして、トレーニングに使ったテンプレートと一致するように設定します

3. または、Chatサイドバーで： 有効にします プロンプトテンプレート ボックス（常に表示するように強制できます）

LM Studioが「マイモデル」に自分のモデルを表示しない

• を優先 lms import /path/to/model.gguf

• またはファイルが正しいフォルダ構造にあることを確認してください： ~/.lmstudio/models/publisher/model/model-file.gguf

OOM／動作が遅い

• より小さい量子化を使用してください（例： Q4_K_M)

• コンテキスト長を短くする

• GPUオフロードを調整する（LM Studioの「モデルごとのデフォルト」／読み込み設定）

---

さらに情報

• LM Studio + Unslothブログ記事 （FunctionGemmaのウォークスルー）：

• LM Studuo モデルのインポートドキュメント

• LM Studio プロンプトテンプレートのドキュメント

• LM Studio OpenAI互換APIのドキュメント