将模型部署到 LM Studio

将模型保存为 GGUF，以便您可以将其运行并部署到 LM Studio

您可以直接在 LM Studio 中运行并部署您微调的 LLM。 LM Studio 实现了轻松运行和部署 GGUF 模型（llama.cpp 格式）。

您可以使用我们的 LM Studio 笔记本或按照下面的说明：

将您在 Unsloth 上微调的模型导出为 .gguf
将 GGUF 导入 / 下载到 LM Studio
在 Chat 中加载它 （或在 OpenAI 兼容的本地 API 后面运行）

1) 导出为 GGUF（来自 Unsloth）

如果您已经导出了一个 .gguf，请跳到 导入到 LM Studio.

# 本地保存（在文件夹中创建 GGUF 工件）
model.save_pretrained_gguf("my_model_gguf", tokenizer, quantization_method = "q4_k_m")
# model.save_pretrained_gguf("my_model_gguf", tokenizer, quantization_method = "q8_0")
# model.save_pretrained_gguf("my_model_gguf", tokenizer, quantization_method = "f16")

# 或将 GGUF 推送到 Hugging Face Hub
model.push_to_hub_gguf("hf_username/my_model_gguf", tokenizer, quantization_method = "q4_k_m")

q4_k_m 通常是本地运行的默认设置。

q8_0 是接近全精度质量的最佳选择。

f16 体积最大 / 最慢，但保持原始未量化的精度。

2) 将 GGUF 导入到 LM Studio

LM Studio 提供了一个名为 lms 的 CLI，可将本地 .gguf 导入到 LM Studio 的 models 文件夹中。

导入 GGUF 文件：

lms import /path/to/model.gguf

保留原始文件（复制而不是移动）：

lms import /path/to/model.gguf --copy

点击以获取更多可自定义的私有设置

将模型保持在原处（创建符号链接）：

这对存放在专用硬盘上的大型模型很有帮助。

lms import /path/to/model.gguf --symbolic-link

跳过提示并自行选择目标命名空间：

lms import /path/to/model.gguf --user-repo my-user/my-finetuned-models

模拟运行（显示将发生的操作）：

lms import /path/to/model.gguf --dry-run

导入后，模型应出现在 LM Studio 的 我的模型.

如果您已将 GGUF 仓库推送到 Hugging Face，您可以直接在 LM Studio 内下载它。

选项 A：使用 LM Studio 的应用内下载器

打开 LM Studio
转到发现选项卡
搜索 hf_username/repo_name （或粘贴 Hugging Face 的 URL）
下载您想要的量化版本（例如： Q4_K_M)

选项 B：使用 CLI 下载器

# 通过仓库名称从 HF 下载
lms get hf_username/my_model_gguf

# 使用 @ 选择一个量化版本
lms get hf_username/my_model_gguf@Q4_K_M

如果您不想使用 CLI，可以将 .gguf 文件放到 LM Studio 期望的模型目录结构中。

LM Studio 期待模型看起来像这样：

~/.lmstudio/models/
└── publisher/
    └── model/
        └── model-file.gguf

示例：

~/.lmstudio/models/
└── my-name/
    └── my-finetune/
        └── my-finetune-Q4_K_M.gguf

然后打开 LM Studio 并检查 我的模型.

提示： 您可以从 LM Studio 的 我的模型 选项卡中管理 / 验证您的 models 目录。

3) 在 LM Studio 中加载并聊天

打开 LM Studio → 聊天
打开 模型加载器
选择您导入的模型
（可选）调整加载设置（GPU 卸载、上下文长度等）
在界面中正常聊天

4) 将您微调的模型作为本地 API 提供服务（OpenAI 兼容）

LM Studio 可以将您加载的模型置于 OpenAI 兼容的 API 后面提供服务（方便用于 Open WebUI、定制代理、脚本等应用）。

在 LM Studio 中加载您的模型
转到 开发者 选项卡
启动本地服务器
使用显示的基础 URL（默认通常是 http://localhost:1234/v1)

1) 列出可用模型

lms ls

2) 加载您的模型（可选标志）

lms load <model-identifier> --gpu=auto --context-length=8192

说明：

--gpu=1.0 表示“尝试将 100% 卸载到 GPU”
您可以设置一个稳定的标识符：

lms load <model-identifier> --identifier="my-finetuned-model"

3) 启动服务器

lms server start --port 1234

快速测试：列出模型

curl http://localhost:1234/v1/models

Python 示例（OpenAI SDK）：

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:1234/v1",
    api_key="lm-studio",  # LM Studio 可能不需要真实密钥；这是一个常用占位符
)

resp = client.chat.completions.create(
    model="model-identifier-from-lm-studio",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Hello! What did I fine-tune you to do?"},
    ],
    temperature=0.7, # 根据您的模型需要调整温度
)

print(resp.choices[0].message.content)

cURL 示例（聊天补全）：

curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "model-identifier-from-lm-studio",
    "messages": [
      {"role": "user", "content": "Say this is a test!"}
    ],
    "temperature": 0.7 # 根据您的模型需要调整温度
  }'

调试提示： 如果您在排查格式/模板问题时，可以检查原始 LM Studio 发送给模型的提示，通过运行： lms log stream

故障排除

模型在 Unsloth 中运行，但 LM Studio 输出是乱码 / 重复

这几乎总是一个 提示模板 / 聊天模板不匹配.

LM Studio 将 自动检测 在可能的情况下从 GGUF 元数据中检测提示模板，但自定义或标记不正确的模型可能需要手动覆盖。

修复：

转到 我的模型 → 点击您模型旁的齿轮 ⚙️
找到 提示模板 并将其设置为与您训练时使用的模板相匹配
或者，在聊天侧栏：启用 提示模板 复选框（您可以强制其始终显示）

LM Studio 在“我的模型”中没有显示我的模型

更喜欢 lms import /path/to/model.gguf
或确认文件位于正确的文件夹结构： ~/.lmstudio/models/publisher/model/model-file.gguf

OOM / 性能缓慢

使用更小的量化（例如： Q4_K_M)
减少上下文长度
调整 GPU 卸载（LM Studio 的“每模型默认值” / 加载设置）

hashtag1) 导出为 GGUF（来自 Unsloth）

hashtag2) 将 GGUF 导入到 LM Studio

hashtag3) 在 LM Studio 中加载并聊天

hashtag4) 将您微调的模型作为本地 API 提供服务（OpenAI 兼容）

hashtag1) 列出可用模型

hashtag2) 加载您的模型（可选标志）

hashtag3) 启动服务器

hashtag故障排除

hashtag模型在 Unsloth 中运行，但 LM Studio 输出是乱码 / 重复

hashtagLM Studio 在“我的模型”中没有显示我的模型

hashtagOOM / 性能缓慢

hashtag更多资源