如何将 Ollama 连接到 Unsloth

Ollama 让你可以在自己的硬件上运行本地 LLM，并且 Unsloth 可以轻松地将这些模型直接连接并运行到一个开源 UI 聊天界面中。在本指南中，你将学习如何安装 Ollama、运行原生 Ollama 模型或来自 Hugging Face 的 GGUF 模型、将 Ollama 连接到 Unsloth，并开始与本地 AI 模型聊天。

无论你是想使用像 Qwen这样的模型、导入一个 GGUF 文件，还是通过 OpenAI 兼容的端点暴露你的本地 Ollama 服务器，这份教程都涵盖了从安装到第一次聊天的完整设置。

设置

1

安装或准备 Ollama

macOS

使用安装脚本安装 Ollama：

curl -fsSL https://ollama.com/install.sh | sh

你也可以从以下地址手动下载 Ollama： ollama.com/download.

Windows

Linux

Docker

Ollama 通常运行在：

http://localhost:11434

2

运行模型

你可以通过两种常见方式选择模型：

• 在以下地址搜索原生 Ollama 模型 ollama.com/search，然后复制模型名称。

• 使用 Hugging Face 上的 GGUF 模型，然后从以下位置复制 Ollama 命令 使用此模型.

对于 Ollama 模型，先拉取并运行它：

ollama pull qwen3.6:35b-a3b
ollama run qwen3.6:35b-a3b

如果 Ollama 应用或服务尚未运行，请先启动它：

ollama serve

从 Hugging Face 选择一个 GGUF

如果你使用的是 Hugging Face 上的 GGUF 模型，获取命令最简单的方法是从模型页面上获取。

打开你想使用的模型，点击 使用此模型，然后在本地应用列表中选择 Ollama 。然后从下拉菜单中选择你想要的量化方式，再复制生成的命令。

例如，使用 Ollama：

ollama run hf.co/unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q4_K_XL

这有助于避免仓库名称或量化标签出错。

3

将 Ollama 连接到 Unsloth

打开 设置 → 连接，然后点击 添加连接.

选择 Ollama，然后输入你的连接信息：

使用 Unsloth 表单中显示的 Ollama URL。在大多数本地设置中，这通常是：

http://localhost:11434

如果 Unsloth 要求使用 OpenAI 兼容的基础 URL，请使用：

http://localhost:11434/v1

Ollama 通常不需要 API 密钥。除非你使用需要密钥的代理，否则请将 API 密钥字段留空。

点击 加载模型 以获取正在 Ollama 中运行的模型，或者手动输入 模型 ID ，例如 qwen3.6.

4

准备聊天

在你点击 添加连接之后，你启用的模型现在会出现在 已连接 下的 选择模型 下拉菜单中。

常用 Ollama 命令

在设置你想暴露给 Unsloth 的模型时使用这些命令：

命令	作用
ollama run qwen3.6:35b-a3b	运行模型并打开交互式聊天
ollama pull qwen3.6:35b-a3b	下载模型而不启动聊天
ollama ls	列出已下载的模型
ollama ps	列出当前正在运行的模型
ollama stop qwen3.6:35b-a3b	停止正在运行的模型
ollama rm qwen3.6:35b-a3b	移除已下载的模型
ollama serve	启动 Ollama 服务器

如果你要将本地 GGUF 导入 Ollama，请创建一个 Modelfile，然后运行：

ollama create -f Modelfile

如果未检测到 Ollama，请确保 Ollama 应用或服务正在运行。然后在 Unsloth 中再次点击 加载模型 。

完整命令列表请参见 Ollama CLI 参考.