モデルをLM Studioにデプロイ

モデルをGGUFに保存して、LM Studioで実行・デプロイできるようにする

微調整したLLMをLM Studioで直接実行・デプロイできます。 LM Studio での簡単な実行とデプロイを可能にします GGUF モデル（llama.cpp形式）。

私たちの LM Studioノートブックまたは以下の手順に従ってください：

Unslothで微調整したモデルを .gguf
LM StudioにGGUFをインポート／ダウンロードする
Chatで読み込む （またはOpenAI互換のローカルAPIの背後で実行する）

1) GGUFにエクスポートする（Unslothから）

すでに .ggufをエクスポート済みなら、次へスキップしてください LM Studioへのインポート.

# ローカルに保存（フォルダ内にGGUFアーティファクトを作成します）
model.save_pretrained_gguf("my_model_gguf", tokenizer, quantization_method = "q4_k_m")
# model.save_pretrained_gguf("my_model_gguf", tokenizer, quantization_method = "q8_0")
# model.save_pretrained_gguf("my_model_gguf", tokenizer, quantization_method = "f16")

# またはGGUFをHugging Face Hubにプッシュする
model.push_to_hub_gguf("hf_username/my_model_gguf", tokenizer, quantization_method = "q4_k_m")

q4_k_m は通常、ローカル実行のデフォルトです。

q8_0 はほぼフル精度に近い品質の最適解です。

f16 は最大／最遅ですが、量子化されていない元の精度です。

2) GGUFをLM Studioにインポートする

LM Studioには lms というCLIがあり、ローカルの .gguf をLM Studioのmodelsフォルダにインポートできます。

GGUFファイルをインポートする：

lms import /path/to/model.gguf

元のファイルを保持する（移動ではなくコピー）：

lms import /path/to/model.gguf --copy

より細かく設定をカスタマイズするにはクリック

モデルをその場所に保持する（シンボリックリンク）：

専用ドライブに保存された大きなモデルに便利です。

lms import /path/to/model.gguf --symbolic-link

プロンプトを省略し、ターゲットの名前空間を自分で選ぶ：

lms import /path/to/model.gguf --user-repo my-user/my-finetuned-models

ドライラン（何が起こるかを表示します）：

lms import /path/to/model.gguf --dry-run

インポート後、モデルはLM Studioの以下の場所に表示されるはずです My Models.

GGUFリポジトリをHugging Faceにプッシュした場合、LM Studio内から直接ダウンロードできます。

方法A：LM Studioのアプリ内ダウンローダーを使う

LM Studioを開く
次の Discover タブ
を検索する hf_username/repo_name （またはHugging FaceのURLを貼り付ける）
欲しい量子化モデルをダウンロードする（例： Q4_K_M)

方法B：CLIダウンローダーを使う

# リポジトリ名でHFからダウンロード
lms get hf_username/my_model_gguf

# @で量子化を指定
lms get hf_username/my_model_gguf@Q4_K_M

CLIを使いたくない場合は、 .gguf ファイルをLM Studioが期待するモデルディレクトリ構造に配置できます。

LM Studioはモデルを次のような構造で想定しています：

~/.lmstudio/models/
└── publisher/
    └── model/
        └── model-file.gguf

例：

~/.lmstudio/models/
└── my-name/
    └── my-finetune/
        └── my-finetune-Q4_K_M.gguf

その後、LM Studioを開いて確認してください My Models.

ヒント： モデルディレクトリはLM Studioの My Models タブから管理／確認できます。

3) LM Studioで読み込んでチャットする

LM Studioを開く → Chat
を開く モデルローダー
インポートしたモデルを選択する
（任意）読み込み設定を調整する（GPUオフロード、コンテキスト長など）
UIで通常どおりチャットする

4) 微調整済みモデルをローカルAPIとして提供する（OpenAI互換）

LM Studioは、読み込んだモデルをOpenAI互換APIの背後で提供できます（Open WebUI、カスタムエージェント、スクリプトなどに便利です）。

LM Studioでモデルを読み込む
次の Developer タブ
ローカルサーバーを起動する
表示されたベースURLを使用する（通常のデフォルトは http://localhost:1234/v1)

1) 利用可能なモデルを一覧表示

lms ls

2) モデルを読み込む（任意のフラグ）

lms load <model-identifier> --gpu=auto --context-length=8192

注：

--gpu=1.0 は「GPUに100%オフロードすることを試みる」を意味します
安定した識別子を設定できます：

lms load <model-identifier> --identifier="my-finetuned-model"

3) サーバーを起動

lms server start --port 1234

クイックテスト：モデル一覧を表示

curl http://localhost:1234/v1/models

Pythonの例（OpenAI SDK）：

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:1234/v1",
    api_key="lm-studio",  # LM Studioでは実際のキーが不要な場合があります。これは一般的なプレースホルダーです
)

resp = client.chat.completions.create(
    model="model-identifier-from-lm-studio",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Hello! What did I fine-tune you to do?"},
    ],
    temperature=0.7, # モデルのニーズに応じてtemperatureを調整してください
)

print(resp.choices[0].message.content)

cURLの例（chat completions）：

curl http://localhost:1234/v1/chat/completions \\
  -H "Content-Type: application/json" \\
  -d '{
    "model": "model-identifier-from-lm-studio",
    "messages": [
      {"role": "user", "content": "Say this is a test!"}
    ],
    "temperature": 0.7 # モデルのニーズに応じてtemperatureを調整してください
  }'

デバッグのヒント： フォーマット／テンプレートを調査したい場合は、 raw LM Studioがモデルへ送るプロンプトを次のコマンドで確認できます： lms log stream

トラブルシューティング

モデルはUnslothでは動くが、LM Studioの出力が文字化けする／繰り返す

これはほぼ常に プロンプトテンプレート／チャットテンプレートの不一致.

LM Studioは可能な場合、GGUFメタデータからプロンプトテンプレートを 自動検出 しますが、カスタムモデルや誤ってタグ付けされたモデルでは手動での上書きが必要なことがあります。

修正方法：

に移動します My Models → モデルの横にある歯車⚙️をクリック
次を探す Prompt Template を、学習に使ったテンプレートに合わせて設定する
または、Chatサイドバーで次を有効にする： Prompt Template ボックス（常に表示するように強制できます）

LM Studioの“My Models”にモデルが表示されない

次を優先してください lms import /path/to/model.gguf
または、ファイルが正しいフォルダ構造にあることを確認してください： ~/.lmstudio/models/publisher/model/model-file.gguf

OOM／パフォーマンス低下

より小さい量子化を使う（例： Q4_K_M)
コンテキスト長を短くする
GPUオフロードを調整する（LM Studioの「Per-model defaults」／読み込み設定）

追加リソース

LM Studio + Unslothのブログ記事（FunctionGemmaの手順）：
LM Studio Import Modelsのドキュメント
LM Studio Prompt Templateのドキュメント
LM Studio OpenAI互換APIのドキュメント

最終更新 1 か月前

役に立ちましたか？