> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/ji-chu/computer-use.md).

# ローカルLLMでのコンピューター操作

Unslothを使って、ローカルモデルに画面を見せ、あらゆるアプリでマウスやキーボードを操作させましょう

コンピューター操作では、モデルがこのコンピューターの画面を見て、あらゆるアプリでマウスとキーボードを操作できます。これは、 [ブラウザー操作](https://unsloth.ai/docs/jp/ji-chu/browser-use.md) がブラウザーパネルを操作するのと同じです。次の環境で利用できます。 [Unsloth Desktop](https://unsloth.ai/docs/jp/desktop.md) （macOS、Windows、Linux）で、ローカルのビジョンモデル（GGUF、safetensors、MLX）と接続済みのAPIプロバイダーの両方に対応しています。

{% columns %}
{% column width="50%" %}
右の例では、ローカルのQwen3.8-27Bが領収書の写真6枚を読み取り、合計金額入りのスプレッドシートを作成し、会社のテンプレートを3枚のスライドにまとめ、同じ領収書が2回撮影されていることと、日付のない領収書を検出します。

Unslothは、チャットで最初の操作を行う前、新しいアプリを使う前、そして危険を伴う操作の前に確認を求めます。いつでも **停止** を押すか、画面の隅にポインターを移動してモデルを止めることができます。
{% endcolumn %}

{% column width="50%" %}

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FDeBGLGVVRgw3Z3UDQazL%2Freplace-2.webp?alt=media&amp;token=3d10e866-def5-4dbd-b22e-47485a6606bc" alt="Unsloth Computer Use turning receipt photos into an expense spreadsheet and presentation"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

### クイックスタート

{% stepper %}
{% step %}

#### Unslothをダウンロード

macOS、Windows、Linux用のUnsloth Desktopアプリをインストールします。

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">Unslothをダウンロード</a>

または、Unslothをネイティブ環境にインストールします。

{% tabs %}
{% tab title="ネイティブインストール" %}
**MacOS、Linux、WSL:**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows:**

```powershell
irm https://unsloth.ai/install.ps1 | iex
```

{% endtab %}

{% tab title="Docker" %}
その [UnslothのDockerイメージ](https://hub.docker.com/r/unsloth/unsloth) `unsloth/unsloth` Dockerで利用できます。 [ガイドを読む。](https://unsloth.ai/docs/get-started/install/docker)
{% endtab %}

{% tab title="Homebrew" %}
Unsloth Desktopをインストール:

{% code collapsedlinecount="10" %}

```bash
brew install --cask unsloth
```

{% endcode %}

Unsloth Desktopを更新:

```bash
brew upgrade --cask unsloth
```

{% endtab %}

{% tab title="WinGet" %}
Unsloth Desktopをインストール:

```powershell
winget install --id UnslothAI.Unsloth -e
```

Unsloth Desktopを更新:

```powershell
winget upgrade --id UnslothAI.Unsloth -e
```

{% endtab %}
{% endtabs %}

モデルに操作させるコンピューターに直接インストールしてください。DockerイメージやWSL内のUnslothからは、デスクトップを表示したり操作したりできません。Dockerはデスクトップにアクセスできず、WSLから見えるのはWSL内のLinuxウィンドウだけで、Windowsは見えないためです。
{% endstep %}

{% step %}

#### コンピューター操作を有効にする

設定を開き、 **コンピューター操作**を選択します。 **コンピューター操作** をオンにして確認します。macOSでは、同じページにあるボタンを使って **画面収録とシステムオーディオ収録** および **アクセシビリティ** を許可し、その後Unslothを再起動してください。

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FNcaSDMWLVQcvRfCXYuu3%2Fcomputer-use-settings-lossless.webp?alt=media" alt="" width="563"><figcaption></figcaption></figure></div>

コンピューター操作を利用できるのは、Unslothが実行されているコンピューター自体に接続している場合のみです。つまり、ローカルで起動している必要があり、ネットワークバインド、Cloudflareリンク、リモートアクセス、ホスト型ノートブックでは利用できません。
{% endstep %}

{% step %}

#### ビジョンモデルを選ぶ

コンピューター操作には、画像を認識し、ツールを呼び出せるモデルが必要です。実際のデスクトップ作業で試したモデルは次のとおりです。

| モデル                                                                                | 注記                                                                               |
| ---------------------------------------------------------------------------------- | -------------------------------------------------------------------------------- |
| [Qwen3.8-27B-GGUF](https://huggingface.co/unsloth/Qwen3.8-27B-GGUF) （UD-Q4\_K\_XL） | テストで最も優秀でした。領収書とGIMPのタスクを自力で完了しました。ビジョンファイルを含めて約19 GBです。                         |
| [gemma-4-26B-A4B-it-GGUF](https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF)  | 高速で、ポインティングテストでは毎回正しいボタンをクリックしましたが、領収書のテストでは2回とも写真を何度も開き直し、スプレッドシートにたどり着きませんでした。 |
| [Qwen3.6-35B-A3B-GGUF](https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF)        | 高速なMoEモデルですが、テストでは領収書のタスクを途中で見失いました。                                             |

gemma-4-E4Bのような小型モデルは、ボタンを指し示すことすらできませんでした。

Unslothは各モデルのポインティング方式を把握しています。Qwen3-VL、Qwen3.5以降、Gemma 4、UI-TARS、Geminiは0～1000のグリッドで位置を指定し、それ以外のモデルはスクリーンショット上のピクセルで指定します。別のモデルでクリック位置がずれる場合は、 **モデルのポインティング方式** を設定 > コンピューター操作で変更してください。
{% endstep %}

{% step %}

#### 長時間のタスクを許可する

実際のタスクでは100～200回の操作が必要になりますが、チャットはデフォルトでツール呼び出しが25回に達すると停止します。チャット設定パネルで、 **メッセージあたりの最大ツール呼び出し回数** のスライダーを **最大**.
{% endstep %}

{% step %}

#### タスクを開始する

チャット入力欄の横にある **+** メニューを開き、 **コンピューター操作**を有効にします。入力欄に **コンピューター** のピルが表示されます。次に、以下の例のようにタスクを説明してください。
{% endstep %}
{% endstepper %}

### 承認と安全性

デスクトップの操作はあらゆるサンドボックスの外で行われるため、コンピューター操作では最初に次の点を確認します。

* **各チャットでの最初の操作** 「フルアクセス」以外のすべての権限モードで確認を求めます。許可は、30分間操作がないと失効します。
* **新しいアプリはそれぞれ、** チャットで初めてクリックまたは入力するときに確認を求めます。 **許可** を選ぶと、そのチャットでそのアプリを使用できます。 **\<app>を常に許可** を選ぶと、設定のリストに追加されます。
* **リスクのある操作** は「自分の代わりに承認」モードでも常に確認が必要です。ターミナル、パスワードマネージャー、システムツール、それらの起動、終了や削除を行うショートカットが該当します。
* **ブロックされたアプリ** （設定 > コンピューター操作 > ブロックされたアプリ）は、どのチャットや権限モードでも、クリック、入力、起動されません。
* **実行されない操作：** 画面をロックしたりセッションを終了したりするキー、オペレーティングシステムのセキュリティプロンプトへの入力、Unsloth 自身のウィンドウへの入力。

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FlGFk1cVAfeUsugqUJXdk%2Fcomputer-use-approval.png?alt=media" alt="" width="563"><figcaption><p>レシートの実行履歴では、このチャットでファイルマネージャーがまだ使われていなかったため、Unsloth は最初に確認を求めました。</p></figcaption></figure></div>

操作を取り戻すには、 **停止** をチャットで押すか、コンピューター操作をオフにするか、ポインターを画面の隅に移動します。画面の隅で停止すると、チャットの次の質問に回答するか、設定で **再度許可** を選択するまで停止状態が続きます。

各ツールカードには、モデルが要求した操作と、返されたスクリーンショットが表示されるため、モデルが実際に何を見たかを正確に確認できます。

### 例：レシート写真から経費報告書を作成する

6枚のレシート写真が `~/Documents/receipts`にあり、会社のスライドテンプレートが `~/Documents`にあります。1枚のレシートは二重に撮影されており、もう1枚には日付がありません。レシート写真を読み取るAPIはないため、これはコンピューター操作で行います。モデルが各写真を確認し、LibreOffice Calc と LibreOffice Impress に入力します。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FDeBGLGVVRgw3Z3UDQazL%2Freplace-2.webp?alt=media&amp;token=3d10e866-def5-4dbd-b22e-47485a6606bc" alt="Unsloth Computer Use turning receipt photos into an expense spreadsheet and presentation" width="563"><figcaption></figcaption></figure>

{% code collapsedlinecount="10" %}

```
~/Documents/receipts にあるレシート写真を6枚すべて、
画像ビューアーで開き、店舗名、日付、カテゴリ（食事、旅行、
オフィス、宿泊またはソフトウェア）と合計金額を読み取ってください。文字が小さい場合は拡大してください。

LibreOffice Calc を開き、写真1枚につき1行を入力します。列は
ファイル、店舗名、日付、カテゴリ、合計金額とします。SUM
数式で総合計を追加してください。次に、日付を除く店舗名列と合計金額列を選択し、
店舗ごとの合計金額を示す棒グラフを挿入して、表の右側に配置してください。セルに重ならないようにします。
~/Desktop/expenses.ods として保存してください。

次に、LibreOffice Impress で ~/Documents/Northwind_template.pptx を開き、
同じスタイルで3枚のスライドにまとめてください。タイトルスライド、
総合計と金額の大きい経費3件を示すスライド、そして
二重に撮影された同じレシートや、日付のないレシートなど、
問題がありそうな項目を列挙するスライドです。各スライドで
テキストがはみ出していないか確認し、あれば修正してください。~/Desktop/expense_summary.odp として保存し、
デスクトップにPDFとしてエクスポートしてください。

最後にスクリーンショットを撮り、総合計と、問題として
指摘した内容を教えてください。
```

{% endcode %}

Qwen3.8-27B は、日付が欠けているレシートも含め、すべてのレシートを正しく読み取り、2つの問題も自ら指摘しました。

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FLmVbOlyIcEJEjBKBXbL7%2Fcomputer-use-receipts-result.png?alt=media" alt="" width="563"><figcaption><p>実行終了時のモデルの回答</p></figcaption></figure></div>

合計をSUMで計算し、合計金額のグラフを含むスプレッドシートを作成しました。

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fl6Xp4xwydsvikJRjv1CN%2Fcomputer-use-receipts-calc.png?alt=media" alt="" width="563"><figcaption><p>LibreOffice Calc で作成したシートとグラフ</p></figcaption></figure></div>

また、会社のテンプレートを3枚のスライドにまとめ、重複と日付の欠落を指摘しました。

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FpFJjGqRmEfpIJHwkFbCH%2Fcomputer-use-receipts-deck.png?alt=media" alt=""><figcaption><p>エクスポートされたスライド</p></figcaption></figure></div>

Qwen3.8-27B を1台のA100で使用し、約130トークン/秒でこのタスクを6回実行しました。22分と30分で完了した2回は、すべて正しく処理しました。そのうち1回は、重複分によって合計が585.08ドル過大になっていることまで指摘しました。2回は金額を1つ読み違え、1回はスライドを作成する前に停止し、1回は日付列をグラフ化しました。最後のケースでは以前のプロンプトを使っていました。上記のプロンプトを使った3回では、列名を指定していたため、グラフはすべて正しく作成されました。

同僚の成果物を確認するように、自分でも結果を確認してください。金額の読み違いや、スライドの端でテキストが切れていることは、見落としやすいものです。

### 例：GIMPでキャプションを追加した画像

独自のメニュー、ダイアログ、ツールを備えたアプリで行う、より短いタスクです。GIMPを開いた状態で、モデルが写真のサイズを変更し、キャプションを追加して、エクスポートします。

{% code collapsedlinecount="10" %}

```
GIMPが開いています。~/Pictures/photo.jpg を開き（ファイル > 開く）、画像のサイズを変更してください。
Image > Scale Image から、縦横比を維持したまま幅を1024ピクセルにします。
次に、テキストツールを使って、左下近くに白い文字で「Northwind Labs」と入力してください。
文字は読みやすい大きさにしてください。結果を次の場所にエクスポートします。
File > Export As から ~/Desktop/poster.png にエクスポートし、エクスポート
ダイアログの既定値をそのまま使用してください。最後にスクリーンショットを撮ってください。
```

{% endcode %}

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F6ng8q3NylovIBoPFqZcm%2Fcomputer-use-gimp.gif?alt=media" alt=""><figcaption><p>GIMPでのQwen3.8-27B（UD-Q4_K_XL）：画像を開いてサイズを変更し、テキストの色を設定してキャプションを入力し、エクスポート。所要時間は7分（8倍速で表示）</p></figcaption></figure>

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FbuA64BezI2rlkizARrVQ%2Fcomputer-use-gimp-result-lossless.webp?alt=media" alt="" width="563"><figcaption><p>GIMPで完成した画像。サイズは1024×576で、キャプションは独立したテキストレイヤー上にあります</p></figcaption></figure></div>

Qwen3.8-27Bは、1台のRTX PRO 6000で7分と11分かかった2回の実行で、どちらも正しく作業しました。各回で、左下に白いキャプションを入れた1024×576のPNGをエクスポートしました。

#### うまくいくためのヒント

* **アプリ名を指定する：** 「画像ビューアで開いて」のように指定すると、アプリをモデルに探させるよりも確実です。
* **列、ファイル、保存先を正確に指定する：** 「Merchant列とTotal列を選択して」「\~/Desktop/expenses.ods として保存して」のように指定します。
* **完了状態を伝える：** 保存するファイルと、最後に報告してほしい内容を指定します。
* **確認も依頼する：** 「各スライドでテキストがはみ出していないか確認して」や「最後にスクリーンショットを撮って」のように依頼します。
* **十分な余裕を与える：** 「 **メッセージあたりの最大ツール呼び出し回数** 」を **最大**に設定します。このようなタスクは、1台のGPUで10～25分かかります。
* **画面を準備する：** ファイルやフォルダーを自分で開き、タスクに不要なものは閉じてください。非常に大きなディスプレイでは、控えめな解像度を使ってください。
* **最初の数分は様子を見る：** モデルが画面上の操作を回避しようとしてターミナルやブラウザーの開発者ツールを使い始めたら、止めて「アプリ独自のメニューとボタンだけを使って」と伝えてください。

### トラブルシューティング

<details>

<summary>コンピューター操作を利用できません</summary>

理由は「設定 > コンピューター操作」で確認してください。ツールを呼び出せるビジョンモデル、通常のチャット画面、および実行中のマシンで動作するUnslothが必要です。利用できるのはインストールを所有するユーザーだけで、APIキー経由では利用できません。LinuxではX11セッションが必要です。Waylandセッションにはまだ対応していません。

</details>

<details>

<summary>クリック位置がずれる</summary>

「 **モデルのポインター方式** 」を「設定 > コンピューター操作」で、 **スクリーンショットのピクセル** と **0～1000のグリッド**の間で変更してください。ディスプレイが複数ある場合、別のディスプレイを番号で指定してスクリーンショットを求めない限り、モデルはメインディスプレイを操作します。

</details>

<details>

<summary>モデルが25ステップで停止する</summary>

これは、1回の応答あたりのツール呼び出し回数の既定の上限です。「 **メッセージあたりの最大ツール呼び出し回数** 」をチャット設定パネルで **最大** に設定し、「続けて」と伝えてください。

</details>

<details>

<summary>モデルがアプリを開けない</summary>

ランチャーに表示されている名前でアプリを指定してください。たとえば「画像ビューア」や「LibreOffice Calc」です。Linuxでは、 `eog` も動作します。

</details>

<details>

<summary>macOSで、Unslothが画面を表示したりキーボードを使ったりできないと表示される</summary>

「システム設定」>「プライバシーとセキュリティ」を開き、Unslothに次の権限を許可してください。 **画面収録とシステムオーディオ録音** および **アクセシビリティ**を許可してから、Unslothを再起動してください。「設定」>「コンピュータ操作」にあるボタンを使うと、該当するページを開けます。

</details>

<details>

<summary>モデルが停止し、続行しない</summary>

ポインタを画面の隅に移動した場合、そのチャットではコンピュータ操作が停止したままになります。チャットで次の承認を求められたときに回答するか、「設定」>「コンピュータ操作」で **もう一度許可** を選択してください。

</details>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/jp/ji-chu/computer-use.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
