> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/computer-use.md).

# 使用本地 LLM 操作计算机

借助 Unsloth，让本地模型查看屏幕，并在任何应用中使用鼠标和键盘

计算机使用功能可让模型像 [浏览器使用](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/browser-use.md) 控制浏览器面板一样，在任何应用中查看这台计算机的屏幕并操控鼠标和键盘。 [Unsloth Desktop](https://unsloth.ai/docs/zh/desktop.md) 可在 macOS、Windows 和 Linux 上运行，支持本地视觉模型（GGUF、safetensors、MLX）以及已连接的 API 提供商。

{% columns %}
{% column width="50%" %}
在右侧示例中，本地模型 Qwen3.8-27B 读取了六张收据照片，制作了一份包含总额的电子表格，将公司模板整理成三页摘要，并标记出一张重复拍摄的收据和一张没有日期的收据。

Unsloth 会在聊天中的首次操作前、每次使用新应用前以及进行任何有风险的操作前征求确认。你可以随时按下 **停止** ，或将指针移到屏幕角落来停止模型。
{% endcolumn %}

{% column width="50%" %}

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FDeBGLGVVRgw3Z3UDQazL%2Freplace-2.webp?alt=media&amp;token=3d10e866-def5-4dbd-b22e-47485a6606bc" alt="Unsloth Computer Use turning receipt photos into an expense spreadsheet and presentation"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

### 快速入门

{% stepper %}
{% step %}

#### 下载 Unsloth

安装适用于 macOS、Windows 或 Linux 的 Unsloth Desktop 应用。

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">下载 Unsloth</a>

或者原生安装 Unsloth：

{% tabs %}
{% tab title="本地安装" %}
**MacOS、Linux、WSL：**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows：**

```powershell
irm https://unsloth.ai/install.ps1 | iex
```

{% endtab %}

{% tab title="Docker" %}
该 [Unsloth Docker 镜像](https://hub.docker.com/r/unsloth/unsloth) `unsloth/unsloth` 可在 Docker 上获取。 [阅读指南。](https://unsloth.ai/docs/get-started/install/docker)
{% endtab %}

{% tab title="Homebrew" %}
安装 Unsloth Desktop：

{% code collapsedlinecount="10" %}

```bash
brew install --cask unsloth
```

{% endcode %}

更新 Unsloth Desktop：

```bash
brew upgrade --cask unsloth
```

{% endtab %}

{% tab title="WinGet" %}
安装 Unsloth Desktop：

```powershell
winget install --id UnslothAI.Unsloth -e
```

更新 Unsloth Desktop：

```powershell
winget upgrade --id UnslothAI.Unsloth -e
```

{% endtab %}
{% endtabs %}

请直接安装在你希望模型操作的计算机上。Docker 镜像和 WSL 中的 Unsloth 无法查看或控制你的桌面：Docker 无权访问桌面，而 WSL 只能看到自己的 Linux 窗口，看不到 Windows 窗口。
{% endstep %}

{% step %}

#### 启用计算机使用功能

打开“设置”，然后选择 **计算机使用**。开启 **计算机使用** 并确认。在 macOS 上，使用同一页面上的按钮授予 **屏幕与系统音频录制** 和 **辅助功能** 权限，然后重启 Unsloth。

<div data-with-frame="true"><figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FNcaSDMWLVQcvRfCXYuu3%2Fcomputer-use-settings-lossless.webp?alt=media" alt="" width="563"><figcaption></figcaption></figure></div>

只有当 Unsloth 在其运行的计算机上提供服务时，才会启用计算机使用功能：必须在本地启动，不能通过网络绑定、Cloudflare 链接、远程访问或托管笔记本运行。
{% endstep %}

{% step %}

#### 选择视觉模型

计算机使用功能需要能够识别图像并调用工具的模型。以下是我们在实际桌面任务中测试过的模型：

| 模型                                                                                 | 备注                                                     |
| ---------------------------------------------------------------------------------- | ------------------------------------------------------ |
| [Qwen3.8-27B-GGUF](https://huggingface.co/unsloth/Qwen3.8-27B-GGUF) （UD-Q4\_K\_XL） | 在我们的测试中表现最佳：独立完成了收据和 GIMP 任务。连同视觉文件约占 19 GB            |
| [gemma-4-26B-A4B-it-GGUF](https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF)  | 速度快，在每项指向测试中都点中了正确的按钮；但在两次收据测试中，它都反复重新打开照片，始终没能制作出电子表格 |
| [Qwen3.6-35B-A3B-GGUF](https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF)        | 速度很快的混合专家模型；在我们的测试中，它没能跟上收据任务的进度                       |

较小的模型（如 gemma-4-E4B）完全无法指向按钮。

Unsloth 知道各个模型如何指向位置：Qwen3-VL、Qwen3.5 及更高版本、Gemma 4、UI-TARS 和 Gemini 使用 0 到 1000 的网格，其他模型则使用截图像素坐标。如果使用其他模型时点击位置不正确，请更改 **模型的指向方式** （在“设置”>“计算机使用”中）。
{% endstep %}

{% step %}

#### 允许执行长任务

实际任务需要执行 100 到 200 个操作，而聊天默认会在调用工具 25 次后停止。在聊天设置面板中，将 **每条消息的最大工具调用次数** 拖到 **最大值**.
{% endstep %}

{% step %}

#### 开始任务

打开聊天输入框旁的 **+** 菜单，然后启用 **计算机使用**。输入框中会显示一个 **计算机** 标记。然后描述任务，如下例所示。
{% endstep %}
{% endstepper %}

### 审批与安全

由于控制桌面不受任何沙箱保护，计算机使用功能会事先征求确认：

* **每次聊天中的首次操作** 在除“完全访问”之外的所有权限模式下都会询问。30 分钟无操作后，授权即失效。
* **每个新应用** 聊天中首次尝试点击或输入时会询问。 **允许** 仅在当前聊天中适用于该应用； **始终允许 \<app>** 会将其添加到“设置”中的列表。
* **高风险操作** 始终会询问，即使处于“由我批准”模式也是如此：终端、密码管理器、系统工具、打开上述任一项，以及关闭或删除内容的快捷键。
* **被屏蔽的应用** （“设置”>“电脑操作”>“被屏蔽的应用”）在任何聊天或权限模式下都不会被点击、输入内容或打开。
* **绝不会执行：** 用于锁定屏幕或结束会话的按键、在操作系统安全提示中输入内容，以及在 Unsloth 自身窗口中输入内容。

<div data-with-frame="true"><figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FlGFk1cVAfeUsugqUJXdk%2Fcomputer-use-approval.png?alt=media" alt="" width="563"><figcaption><p>在收据示例任务中，文件管理器此前尚未在此聊天中使用过，因此 Unsloth 先询问了你</p></figcaption></figure></div>

如需重新掌控，请按 **停止** 按钮，关闭电脑操作，或将指针移到屏幕任意角落。通过屏幕角落停止后，该状态会持续，直到你回答聊天中的下一个问题，或在“设置”中选择 **再次允许** 。

每张工具卡都会显示模型请求执行的步骤以及返回的屏幕截图，让你准确了解它看到了什么。

### 示例：根据收据照片制作费用报告

六张收据照片位于 `~/Documents/receipts`，公司幻灯片模板位于 `~/Documents`。其中一张收据被拍了两次，还有一张没有日期。没有 API 能读取收据照片，因此这项工作需要使用电脑操作：模型查看每张图片，然后填写 LibreOffice Calc 和 LibreOffice Impress。

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FDeBGLGVVRgw3Z3UDQazL%2Freplace-2.webp?alt=media&amp;token=3d10e866-def5-4dbd-b22e-47485a6606bc" alt="Unsloth Computer Use turning receipt photos into an expense spreadsheet and presentation" width="563"><figcaption></figcaption></figure>

{% code collapsedlinecount="10" %}

```
在 ~/Documents/receipts 中有 6 张收据照片。用
图像查看器打开每张照片，读取商家、日期、类别（餐饮、差旅、
办公、住宿或软件）和总额；如果文字太小，请放大查看。

打开 LibreOffice Calc，为每张照片录入一行，列名为
文件、商家、日期、类别和总额。用 SUM 公式计算总计。然后选中“商家”和“总额”两列（不要选日期），
插入按商家汇总总额的条形图，并将图表放在表格右侧，确保不遮挡任何单元格。将文件保存为 ~/Desktop/expenses.ods。
然后在 LibreOffice Impress 中打开 ~/Documents/Northwind_template.pptx，
并沿用相同风格制作一份 3 张幻灯片的摘要：一张标题页、

一张列出总计和金额最高的三笔支出，
以及一张列出任何可疑情况的幻灯片，例如同一张收据
被拍了两次，或收据上没有日期。检查每张幻灯片是否有
文字溢出，并加以修正。将文件保存为 ~/Desktop/expense_summary.odp，
并将其导出为 PDF，保存到桌面。
最后截屏，然后告诉我总计金额以及你
标记了哪些问题。

Qwen3.8-27B 正确读取了每张收据，包括缺失的日期，并自行标记了这两个问题：
运行结束时模型给出的回答
```

{% endcode %}

它制作了包含 SUM 总计和总额图表的电子表格：

<div data-with-frame="true"><figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FLmVbOlyIcEJEjBKBXbL7%2Fcomputer-use-receipts-result.png?alt=media" alt="" width="563"><figcaption><p>它在 LibreOffice Calc 中制作的表格和图表</p></figcaption></figure></div>

并将公司模板制作成三张幻灯片，标记了重复收据和缺失日期：

<div data-with-frame="true"><figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fl6Xp4xwydsvikJRjv1CN%2Fcomputer-use-receipts-calc.png?alt=media" alt="" width="563"><figcaption><p>导出的幻灯片</p></figcaption></figure></div>

我们用 Qwen3.8-27B 在一台 A100 上运行了此任务六次，速度约为每秒 130 个 token。两次运行完全正确，分别耗时 22 分钟和 30 分钟；其中一次还指出，重复收据使总额多算了 585.08 美元。两次运行误读了一笔金额，一次在制作幻灯片前停止，还有一次把“日期”列绘制成了图表。最后这种情况使用的是较早版本的提示词：在使用上述提示词的三次运行中，由于提示词明确列出了列名，图表每次都正确。

<div data-with-frame="true"><figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FpFJjGqRmEfpIJHwkFbCH%2Fcomputer-use-receipts-deck.png?alt=media" alt=""><figcaption><p>导出的幻灯片文件</p></figcaption></figure></div>

我们用 Qwen3.8-27B 在一台 A100 上运行了此任务六次，速度约为每秒 130 个 token。两次运行完全正确，分别耗时 22 分钟和 30 分钟；其中一次还指出，重复收据使总额多算了 585.08 美元。两次运行误读了一笔金额，一次在制作幻灯片前停止，还有一次把“日期”列绘制成了图表。最后这种情况使用的是较早版本的提示词：在使用上述提示词的三次运行中，由于提示词明确列出了列名，图表每次都正确。

像检查同事的工作一样亲自检查结果：金额看错，或幻灯片边缘的文字被裁掉，都很容易被忽略。

### 示例：在 GIMP 中为图片添加说明文字

在一款拥有自身菜单、对话框和工具的应用中完成一项较短的任务。GIMP 已打开，模型缩放照片、添加说明文字并导出：

{% code collapsedlinecount="10" %}

```
GIMP 已打开。打开 ~/Pictures/photo.jpg（文件 > 打开）。缩放图像
至宽 1024 像素，使用“图像 > 缩放图像”，并保持纵横比。
然后使用文字工具，以白色添加“Northwind Labs”字样，
字体要足够大、清晰可读，并放在左下方附近。将结果导出为
~/Desktop/poster.png，使用“文件 > 导出为”，并接受导出
对话框中的默认设置。最后截屏。
```

{% endcode %}

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F6ng8q3NylovIBoPFqZcm%2Fcomputer-use-gimp.gif?alt=media" alt=""><figcaption><p>Qwen3.8-27B (UD-Q4_K_XL) 在 GIMP 中：打开、缩放、设置文字颜色、输入说明文字并导出；画面显示耗时 7 分钟，以 8 倍速播放</p></figcaption></figure>

<div data-with-frame="true"><figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FbuA64BezI2rlkizARrVQ%2Fcomputer-use-gimp-result-lossless.webp?alt=media" alt="" width="563"><figcaption><p>在 GIMP 中完成的图像：已缩放至 1024 × 576，说明文字位于单独的文字图层上</p></figcaption></figure></div>

Qwen3.8-27B 在我们的两次测试中都正确完成了任务：在一块 RTX PRO 6000 上分别耗时 7 分钟和 11 分钟；每次都导出了 1024 × 576 的 PNG，白色说明文字位于左下方。

#### 获得良好结果的技巧

* **明确指定应用：** “在图像查看器中打开”比让模型自行寻找应用可靠得多。
* **明确指定列、文件和位置：** “选择 Merchant 和 Total 列”，“将其保存为 \~/Desktop/expenses.ods”。
* **说明完成后的样子：** 需要保存哪些文件，以及最后要向你汇报什么。
* **让它检查：** “检查每张幻灯片是否有文字溢出”或“最后截屏”。
* **给它充足的操作空间：** 将 **每条消息的最大工具调用次数** 设为 **最大值**。这样的任务在一块 GPU 上需要 10 到 25 分钟。
* **准备好屏幕：** 自行打开所需的文件或文件夹，并关闭任务用不到的内容。如果显示器很大，请使用适中的分辨率。
* **留意开始几分钟的操作：** 如果模型转而打开终端或浏览器开发者工具，试图用脚本绕过屏幕操作，请停止它，并说“只能使用应用自身的菜单和按钮”。

### 故障排除

<details>

<summary>无法使用计算机操作功能</summary>

前往“设置 > 计算机操作”查看原因。该功能需要能调用工具的视觉模型、常规聊天界面，以及负责运行它的 Unsloth 服务。只有安装程序的所有者可以使用该功能，且不能通过 API 密钥使用。在 Linux 上需要 X11 会话；目前暂不支持 Wayland 会话。

</details>

<details>

<summary>点击位置不正确</summary>

在“设置 > 计算机操作”中更改 **模型定位方式** ，可在 **屏幕截图像素** 和 **0 到 1000 的网格**之间切换。如果有多个显示器，模型会操作主显示器，除非它按编号请求其他显示器的截图。

</details>

<details>

<summary>模型在 25 步后停止</summary>

这是单条回复的默认工具调用次数上限。在聊天设置面板中将 **每条消息的最大工具调用次数** 设为 **最大值** ，然后说“继续”。

</details>

<details>

<summary>模型无法打开应用</summary>

请使用启动器中显示的应用名称来指定应用，例如“图像查看器”或“LibreOffice Calc”。在 Linux 上，程序名称例如 `eog` 也无法正常工作。

</details>

<details>

<summary>macOS 提示 Unsloth 无法查看屏幕或使用键盘</summary>

打开“系统设置”>“隐私与安全性”，并在以下项目中允许 Unsloth **屏幕与系统音频录制** 和 **辅助功能**，然后重新启动 Unsloth。“设置”>“电脑操作”中的按钮会打开相应页面。

</details>

<details>

<summary>模型已停止，不会继续运行</summary>

如果你将指针移到屏幕角落，电脑操作功能会在该聊天中保持停止状态。请批准该聊天接下来的请求，或在“设置”>“电脑操作”中选择 **再次允许** 。

</details>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/zh/ji-chu-zhi-shi/computer-use.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
