如何在 VS Code 中运行本地 AI 模型
如何使用 VS Code 运行本地 LLM
本指南将向你展示如何将运行在 Unsloth 中的本地模型连接到 VS Code 的 Copilot Chat。Unsloth 负责加载并提供模型服务,而 VS Code 提供聊天界面和编码工具。
你可以围绕代码聊天、提出问题,并使用 Agent 模式与支持工具调用的模型一起创建和编辑文件。
安装 VS Code
下载 VS Code
打开 VS Code 下载页面 ,并下载适用于你的 Mac 的 macOS 版本。选择 Apple silicon, Intel,或 Universal ,如果你不确定。
下载 VS Code
打开 VS Code 下载页面 并下载适用于你的设备的 Windows 用户安装程序 。大多数电脑使用 x64.
⚡ 快速开始
安装 VS Code 后,我们需要安装 Unsloth Desktop ,以便让 VS Code 能够提供本地模型并进行推理。
下载 Unsloth
或者,如果你更喜欢手动安装:
MacOS、Linux、WSL:
curl -fsSL https://unsloth.ai/install.sh | shWindows:
irm https://unsloth.ai/install.ps1 | iex该 Unsloth Docker 镜像 unsloth/unsloth 可在 Docker 上获取。 阅读指南。
安装 Unsloth Desktop:
brew install --cask unsloth更新 Unsloth Desktop:
brew upgrade --cask unsloth安装 Unsloth Desktop:
winget install --id UnslothAI.Unsloth -e更新 Unsloth Desktop:
winget upgrade --id UnslothAI.Unsloth -e🔌 连接你的模型
在 Unsloth 中加载好模型后,打开终端并运行:
unsloth start vscode这会把 Unsloth 当前提供服务的模型添加到 VS Code 的模型选择器中。它会配置连接;如果 VS Code 还未运行,请单独打开它。
你也可以用一条命令同时加载模型并配置 VS Code:
unsloth start vscode --model unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XL --context-length 32768想用其他模型?将模型 ID 替换为你选择的模型。你也可以传入本地 GGUF 文件:
unsloth start vscode --model "/path/to/model.gguf" --context-length 32768该命令会自动设置连接,保留你的其他模型,并备份你的 VS Code 模型设置。
它还会创建一个名为 VS Code的 API 密钥。若要撤销它,请打开 设置 中的 Unsloth,并选择 API.
在 VS Code 中使用你的本地模型
在 VS Code 中打开一个项目文件夹,或者打开一个空文件夹来试试。
打开 Copilot Chat,点击聊天输入框下方的模型选择器,并在 Unsloth其中选择你的模型。选择 代理 以便让它创建和编辑文件,或者 询问 以围绕你的代码聊天。

Agent 模式需要工具调用支持。我们建议至少 32K 上下文.
让我们构建一个简单的游戏。试试这个提示词:
在批准任何工具权限之前,请先查看。一旦代理创建了 index.html,就在浏览器中打开它并游玩。
想要更改什么吗?让它添加难度等级或高分记录器。
在工作时保持模型已加载并让 Unsloth 服务器运行。

如果你的模型没有出现,请检查 管理模型 在模型选择器中。你也可以通过运行 开发者:重新加载窗口 从命令面板中。
切换模型
在 Unsloth 中加载另一个模型,然后运行:
在 Copilot Chat 中选择新模型,位于 Unsloth 中。
故障排除
我的模型没有出现
打开 管理模型 在模型选择器中查看并查找 Unsloth。如果它缺失,请检查 GitHub Copilot Chat 是否已启用,然后再次运行 unsloth start vscode 。
如果它仍然没有出现,打开命令面板并运行 开发者:重新加载窗口.
我的模型在“询问”中出现,但在 Agent 模式中没有
Agent 模式需要工具调用支持。请将 询问 与此模型一起使用,或者切换到其聊天模板支持工具的模型。
我遇到了上下文长度错误
Agent 指令和工具会占用模型上下文窗口的一部分。我们建议 Agent 模式至少使用 32K 上下文 。
将下面的路径替换为你的 GGUF 文件,然后运行:
如果模型详细信息尚未更新,请重新加载 VS Code。它可能会将 32,768 个 token 显示为 33K.
Unsloth 运行在远程机器上
在没有 VS Code 用户目录的 SSH 或容器会话中,该命令会打印要在本地添加的配置和连接说明。
按照打印出的说明使服务器可从你的电脑访问,然后将配置添加到你本地的 VS Code 安装中。
如果模型没有出现在 Remote-SSH、WSL 或开发容器窗口中,请尝试 本地 VS Code 窗口 ,连接到远程的 Unsloth 服务器。
有关更多模型加载选项和远程连接设置,请参阅 Unsloth Start 指南.
最后更新于
这有帮助吗?



