如何使用 Unsloth Studio 运行模型

使用 Unsloth Studio 在本地运行 AI 模型、LLM 和 GGUF。

Unsloth 工作室 让你在本地电脑上 100% 离线运行 AI 模型。运行来自 Hugging Face 的 GGUF 和 safetensors 等模型格式，或使用本地文件。

• 适用于所有 macOS、CPU、Windows、Linux、WSL 环境！无需 GPU

• 搜索 + 下载 + 运行 任何模型，例如 GGUF、LoRA 适配器、safetensors 等。

• 比较 并排比较两个不同模型的输出

• 自愈工具调用 / 网络搜索， 代码执行 并调用兼容 OpenAI 的 API

• 自动推理参数 调优（温度、top-p 等）并编辑聊天模板

• 上传图片、音频、PDF、代码、DOCX 及更多文件类型进行聊天。

使用 Unsloth 工作室 聊天

搜索并运行模型

你可以通过 Hugging Face 搜索并下载任何模型，或使用本地文件。

Studio 支持多种模型类型，包括 GGUF、视觉-语言和文本到语音模型。运行最新模型，比如 Qwen3.5 或 NVIDIA Nemotron 3.

上传图片、音频、PDF、代码、DOCX 及更多文件类型进行聊天。

Unsloth 工作室 聊天 自动支持 多 GPU 设置 用于推理。

代码执行

将 Unsloth 工作室 转变为你自己的主动助手。Studio 允许 LLM 在沙盒中运行代码和程序，以便计算、分析数据、测试代码、生成文件或通过实际计算验证答案。

这使得模型的回答更可靠、更准确。

自动修复工具调用

Unsloth 工作室 不仅支持工具调用和网络搜索，还会自动修复模型可能发生的任何错误。

这意味着你将始终获得推理输出 没有 中断的工具调用。

自动参数调优

推理参数如 温度, top-p, top-k 会针对像 Qwen3.5 之类的新模型自动预设，这样你就能在不担心设置的情况下获得最佳输出。

你也可以手动调整参数并编辑系统提示，以控制模型的行为。

聊天工作区

输入提示，附加任何文档、图片（webp、png）、代码文件、txt 或音频作为额外上下文，并实时查看模型的响应。

切换开关：思考 + 网络搜索。

模型竞技场

Studio 聊天 允许你使用相同提示并排比较任意两个模型。例如比较基础模型与 LoRa 适配器。推理将先为一个模型加载，然后为第二个模型加载（并行推理正在开发中）。

训练后，你可以用相同的提示并排比较基础模型和微调后的模型，查看有什么变化以及结果是否有所改进。

此工作流使你可以轻松查看微调如何改变模型的响应，以及是否提升了你的用例结果。

将文件作为上下文添加

Studio 聊天 支持在对话中直接使用多模态输入。你可以附加文档、图片或音频作为提示的额外上下文。

这使得测试模型如何处理真实世界输入（如 PDF、截图或参考资料）变得容易。文件在本地处理并作为模型的上下文包含在内。

在 llama.cpp 中使用 GGUF 模型

在 Studio 中微调模型或适配器后，你可以将其导出为 GGUF 并使用 llama.cpp 直接在 Studio 聊天 中运行本地推理。Unsloth 工作室 由 llama.cpp 和 Hugging Face 提供支持。

本地 GGUF 推理

GGUF 模型在 Studio 聊天 中的运行方式与其他模型相同，使用相同的界面和生成设置。

可根据系统内存需求选择不同的量化变体。

Unsloth 工作室 聊天 自动适配 多 GPU 设置 用于推理。