将 API 提供商和模型服务器连接到 Unsloth
将 OpenAI、Anthropic、Ollama、llama.cpp、vLLM 和其他提供商连接到 Unsloth 的指南。添加 API 密钥或模型服务器 URL，加载模型，并在聊天中使用外部模型。
了解如何通过单一的本地 UI 界面运行来自 OpenAI、Anthropic、Ollama、llama.cpp、vLLM 以及其他提供商的模型，并配合 Unsloth，这是一个用于运行和训练 LLM 的开源仓库。
连接
连接分为两类：为你托管运行模型的云端 API 提供商，以及由你自己运行或控制的模型服务器。
云提供商 - 使用账户 API 密钥的托管 API：
模型服务器 - 在本地、网络中或远程机器上运行的推理服务器：
快速开始
要运行外部提供商的模型，请添加 API 密钥并选择 Unsloth 应显示哪些模型。在此示例中，我们将使用 OpenAI。同样的设置也适用于 Anthropic 以及其他提供商。
设置 Unsloth Studio
现在我们需要安装并设置 Unsloth，这将使你能够在 UI 界面中运行云端模型。 请看这里 以获取更详细的说明。
第 1 步：设置 Unsloth
启动 终端 ，然后输入以下命令安装 Unsloth。
curl -fsSL https://unsloth.ai/install.sh | sh环境和所需软件包现在将开始安装。输入 Y 并在提示继续时按 Enter。设置完成后，服务器将在本地端口 8888.
如果你在安装过程中跳过了启动应用，现在可以使用以下命令稍后启动它 unsloth studio -p 8888。若要允许来自网络中其他设备的连接，请使用 unsloth studio -H 0.0.0.0 -p 8888 替代。
第 2 步：启动 Unsloth
打开你常用的浏览器并输入 http://127.0.0.1:8888 到 URL 栏中。如果这是你第一次安装 Unsloth，你将被转到密码页面，需要创建一个新密码。然后你应该会看到如下所示的聊天页面。
第 1 步：设置 Unsloth
打开你的终端应用。你可以通过按 Ctrl + Alt + T，或者搜索 终端 在系统应用菜单中找到它。
点击 Windows 开始菜单，输入你已安装的发行版名称（例如 Ubuntu），然后打开它。
在 WSL，请确保你的 NVIDIA 驱动程序 已安装在 Windows （而不是在 WSL 内部），并且 CUDA 工具包 已安装在你的 WSL 发行版中。详情请参阅下方的系统要求。
要安装，请复制并运行安装命令：
然后：
点击终端窗口内部
使用
Ctrl + Shift + V按
Enter
Unsloth 将开始设置环境并安装所需的软件包，如下所示。输入 Y 并按 Enter 当被询问是否允许 Studio 现在启动时。这将使 Unsloth 在你的本地 8888 端口上启动。
如果你在安装过程中选择不启动 Unsloth，随时可以使用 unsloth studio -p 8888 。如果你希望你的 Unsloth 实例可被 PC/电脑外部的客户端访问，请添加 -H 0.0.0.0 到 unsloth studio 命令中。
第 2 步：启动 Unsloth
打开你常用的浏览器并输入 http://127.0.0.1:8888 到 URL 栏中。如果这是你第一次安装 Unsloth，你将被转到密码页面，需要创建一个新密码。之后，Unsloth 应该会打开到如下所示的聊天页面。
连接模型服务器
请使用此流程连接 llama.cpp, vLLM，以及 Ollama。启动或找到你要连接的服务器。
启动 llama-server 并使用你要提供服务的模型：
这会在以下地址暴露一个 API 端点： http://localhost:8080/v1
若要要求 API 密钥，请添加：
启动 vLLM 并使用你要提供服务的模型启动服务器：
若要要求 API 密钥，请添加：
这会在以下地址暴露一个 API 端点： http://localhost:8000/v1
启动 Ollama，然后拉取你要使用的模型：
这会在以下地址暴露一个 API 端点： http://localhost:11434/v1
现在我们可以连接模型服务器。打开 设置 → 连接，然后点击 添加提供商.
选择 llama.cpp、vLLM 或 Ollama，然后粘贴服务器的 基础 URL.
llama.cpp 示例：
http://localhost:8080/v1Ollama 示例：
http://localhost:11434/v1
点击 加载模型 以获取可用的模型 ID；如果你的服务器没有公开 /models.
然后，在你点击 添加提供商 你启用的模型现在将显示在 后， 的 选择模型 下拉菜单中。
外部
启用后，受支持的 OpenAI 和 Anthropic 模型可以在提供商沙盒中运行代码，以解决问题、分析数据并处理文件。 Anthropic 模型使用 Claude 的提供商侧代码执行工具。OpenAI 使用可重复使用的容器，你可以从中创建、删除和选择 外部 设置中进行管理。在新线程中选择同一个容器，可继续使用其中的文件和状态。
提示缓存
当请求复用相同的长前缀时，提示缓存可以降低延迟和成本。它适用于兼容的提供商和服务器，包括 OpenAI、Anthropic 和 llama.cpp。使用 提示缓存 侧边栏中的设置来控制受支持连接的缓存行为。
对于 llama.cpp，提示缓存默认启用，并可在启动时通过以下方式禁用 llama-server 使用：
网页搜索与思考
提供商侧网页搜索适用于 OpenAI、Anthropic、OpenRouter、Mistral、Gemini 和 Kimi 的受支持模型。Think 控件会适配所选模型：某些模型使用开关，而推理强度模型使用特定于模型的思考级别。
图像生成
就像 GPT 和 Gemini 一样，Unsloth 也支持图像生成。你可以点击“编辑图像”按钮并输入新的提示词来直接编辑图像，以优化或重新生成它。系统会在请求时自动生成图像，但你可以关闭此行为。还提供下载按钮，让你以原始全分辨率保存图像。
故障排查
如果提供商连接失败，请检查 API 密钥是否属于所选提供商，并且是否有权访问你选择的模型。
如果某个模型在点击后没有出现 重新加载模型，它可能不适用于你的账户。你仍然可以使用 Unsloth 的默认模型列表，或选择其他模型。
最后更新于
这有帮助吗？