> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/grundlagen/computer-use.md).

# Computernutzung mit lokalen LLMs

Lass lokale Modelle mit Unsloth deinen Bildschirm sehen und Maus und Tastatur in jeder App verwenden.

Computer Use ermöglicht es einem Modell, den Bildschirm dieses Computers zu sehen und Maus und Tastatur in jeder App zu steuern – genauso wie [Browser Use](https://unsloth.ai/docs/de/grundlagen/browser-use.md) das Browser-Panel steuert. Es funktioniert in [Unsloth Desktop](https://unsloth.ai/docs/de/desktop.md) unter macOS, Windows und Linux, mit lokalen Vision-Modellen (GGUF, safetensors, MLX) und mit verbundenen API-Anbietern.

{% columns %}
{% column width="50%" %}
Im Beispiel rechts liest ein lokales Qwen3.8-27B sechs Belegfotos, erstellt eine Tabelle mit einer Gesamtsumme, wandelt eine Unternehmensvorlage in eine dreifolige Zusammenfassung um und markiert einen doppelt fotografierten Beleg sowie einen ohne Datum.

Unsloth fragt vor der ersten Aktion eines Chats, vor jeder neuen App und vor allem, was riskant ist, um Erlaubnis. Du kannst das Modell jederzeit anhalten, indem du **Stopp** drückst oder den Zeiger in eine Bildschirmecke bewegst.
{% endcolumn %}

{% column width="50%" %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FDeBGLGVVRgw3Z3UDQazL%2Freplace-2.webp?alt=media&amp;token=3d10e866-def5-4dbd-b22e-47485a6606bc" alt="Unsloth Computer Use turning receipt photos into an expense spreadsheet and presentation"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

### Schnellstart

{% stepper %}
{% step %}

#### Unsloth herunterladen

Installiere die Unsloth-Desktop-App für macOS, Windows oder Linux.

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">Unsloth herunterladen</a>

Oder installiere Unsloth nativ:

{% tabs %}
{% tab title="Native-Installation" %}
**MacOS, Linux, WSL:**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows:**

```powershell
irm https://unsloth.ai/install.ps1 | iex
```

{% endtab %}

{% tab title="Docker" %}
Das [Unsloth-Docker-Image](https://hub.docker.com/r/unsloth/unsloth) `unsloth/unsloth` ist auf Docker verfügbar. [Anleitung lesen.](https://unsloth.ai/docs/get-started/install/docker)
{% endtab %}

{% tab title="Homebrew" %}
Unsloth Desktop installieren:

{% code collapsedlinecount="10" %}

```bash
brew install --cask unsloth
```

{% endcode %}

Unsloth Desktop aktualisieren:

```bash
brew upgrade --cask unsloth
```

{% endtab %}

{% tab title="WinGet" %}
Unsloth Desktop installieren:

```powershell
winget install --id UnslothAI.Unsloth -e
```

Unsloth Desktop aktualisieren:

```powershell
winget upgrade --id UnslothAI.Unsloth -e
```

{% endtab %}
{% endtabs %}

Installiere es direkt auf dem Computer, den das Modell verwenden soll. Das Docker-Image und Unsloth in WSL können deinen Desktop weder sehen noch steuern: Docker hat keinen Zugriff darauf, und WSL sieht nur seine eigenen Linux-Fenster, nicht Windows.
{% endstep %}

{% step %}

#### Computer Use aktivieren

Öffne die Einstellungen und wähle **Computer Use**. Aktiviere **Computer Use** und bestätige. Erlaube unter macOS **Bildschirm- und Systemaudioaufnahme** und **Bedienungshilfen** über die Schaltflächen auf derselben Seite und starte Unsloth anschließend neu.

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FNcaSDMWLVQcvRfCXYuu3%2Fcomputer-use-settings-lossless.webp?alt=media" alt="" width="563"><figcaption></figcaption></figure></div>

Computer Use wird nur angeboten, wenn Unsloth auf dem Computer ausgeführt wird, den es steuert: bei einem lokalen Start, nicht über eine Netzwerkbindung, einen Cloudflare-Link, Remote Access oder ein gehostetes Notebook.
{% endstep %}

{% step %}

#### Ein Vision-Modell auswählen

Computer Use erfordert ein Modell, das Bilder erkennen und Tools aufrufen kann. Diese Modelle haben wir bei echten Desktop-Aufgaben getestet:

| Modell                                                                             | Hinweise                                                                                                                                                                         |
| ---------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| [Qwen3.8-27B-GGUF](https://huggingface.co/unsloth/Qwen3.8-27B-GGUF) (UD-Q4\_K\_XL) | In unseren Tests am besten: erledigte die Aufgaben mit den Belegen und GIMP selbstständig. Etwa 19 GB mit der zugehörigen Vision-Datei                                           |
| [gemma-4-26B-A4B-it-GGUF](https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF)  | Schnell und klickte bei jedem Zeigertest auf die richtige Schaltfläche. Bei beiden Durchläufen mit Belegen öffnete es jedoch immer wieder die Fotos und gelangte nie zur Tabelle |
| [Qwen3.6-35B-A3B-GGUF](https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF)        | Schnelles Mixture-of-Experts-Modell; verlor in unseren Tests bei der Aufgabe mit den Belegen den Überblick                                                                       |

Kleinere Modelle wie gemma-4-E4B konnten Schaltflächen überhaupt nicht ansteuern.

Unsloth weiß, wie die einzelnen Modelle zeigen: Qwen3-VL, Qwen3.5 und neuere Versionen, Gemma 4, UI-TARS und Gemini verwenden ein Raster von 0 bis 1000, andere die Pixel des Screenshots. Wenn Klicks mit einem anderen Modell an der falschen Stelle landen, ändere **Wie das Modell zeigt** unter Einstellungen > Computer Use.
{% endstep %}

{% step %}

#### Lange Aufgaben zulassen

Eine echte Aufgabe umfasst 100 bis 200 Aktionen, und ein Chat wird standardmäßig nach 25 Tool-Aufrufen beendet. Ziehe im Einstellungsbereich des Chats **Maximale Tool-Aufrufe pro Nachricht** auf **Max.**.
{% endstep %}

{% step %}

#### Eine Aufgabe starten

Öffne das **+** Menü neben der Chateingabe und aktiviere **Computer Use**. Im Eingabefeld erscheint eine **Computer** -Markierung. Beschreibe dann die Aufgabe wie im Beispiel unten.
{% endstep %}
{% endstepper %}

### Genehmigungen und Sicherheit

Da die Steuerung des Desktops außerhalb jeder Sandbox stattfindet, fragt Computer Use zunächst um Erlaubnis:

* **Die erste Aktion in jedem Chat** fragt in jedem Berechtigungsmodus außer „Voller Zugriff“ nach. Die Freigabe verfällt nach 30 Minuten Inaktivität.
* **Jede neue App** fragt beim ersten Klicken oder Tippen im Chat nach. **Zulassen** gilt für diese App im Chat; **\<app> immer zulassen** fügt sie der Liste in den Einstellungen hinzu.
* **Riskante Schritte** erfordern immer eine Nachfrage, auch bei „Für mich genehmigen“: Terminals, Passwortmanager, Systemwerkzeuge, das Öffnen eines dieser Programme und Tastenkombinationen, die etwas schließen oder löschen.
* **Blockierte Apps** (Einstellungen > Computernutzung > Blockierte Apps) werden in keinem Chat und in keinem Berechtigungsmodus angeklickt, es wird nichts darin eingegeben, und sie werden nicht geöffnet.
* **Wird niemals ausgeführt:** Tasten, die den Bildschirm sperren oder die Sitzung beenden, Eingaben in eine Sicherheitsabfrage des Betriebssystems und Eingaben in Unsloths eigenes Fenster.

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FlGFk1cVAfeUsugqUJXdk%2Fcomputer-use-approval.png?alt=media" alt="" width="563"><figcaption><p>Im Durchlauf mit den Belegen wurde der Dateimanager in diesem Chat noch nicht verwendet, deshalb fragte Unsloth zuerst nach.</p></figcaption></figure></div>

Um die Kontrolle zurückzuerlangen, drücke **Stopp** im Chat, schalte die Computernutzung aus oder bewege den Zeiger in eine beliebige Bildschirmecke. Ein Stopp über die Ecke bleibt bestehen, bis du die nächste Frage im Chat beantwortest oder **Erneut zulassen** in den Einstellungen auswählst.

Jede Tool-Karte zeigt die vom Modell angeforderten Schritte und den Screenshot, den es zurückerhalten hat. So kannst du genau sehen, was es gesehen hat.

### Beispiel: eine Spesenabrechnung anhand von Belegfotos

Sechs Belegfotos liegen in `~/Documents/receipts`, und eine Firmenpräsentationsvorlage liegt in `~/Documents`. Ein Beleg wurde zweimal fotografiert, und auf einem fehlt das Datum. Keine API kann ein Belegfoto auslesen, daher eignet sich diese Aufgabe für die Computernutzung: Das Modell sieht sich jedes Bild an und trägt die Daten dann in LibreOffice Calc und LibreOffice Impress ein.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FDeBGLGVVRgw3Z3UDQazL%2Freplace-2.webp?alt=media&amp;token=3d10e866-def5-4dbd-b22e-47485a6606bc" alt="Unsloth Computer Use turning receipt photos into an expense spreadsheet and presentation" width="563"><figcaption></figcaption></figure>

{% code collapsedlinecount="10" %}

```
Unter ~/Documents/receipts befinden sich 6 Belegfotos. Öffne jedes davon im
Bildbetrachter und lies Händler, Datum, Kategorie (Mahlzeiten, Reisen,
Büro, Unterkunft oder Software) und Gesamtbetrag ab; zoome heran, wenn der Text klein ist.

Öffne LibreOffice Calc und trage pro Foto eine Zeile mit den Spalten
Datei, Händler, Datum, Kategorie und Gesamtbetrag ein. Füge mit einer SUM-
Formel eine Gesamtsumme hinzu. Wähle dann die Spalten Händler und Gesamtbetrag (nicht die Datumsangaben) aus und
füge ein Balkendiagramm mit dem Gesamtbetrag pro Händler ein. Platziere es rechts neben der
Tabelle, sodass keine Zellen verdeckt werden. Speichere die Datei als ~/Desktop/expenses.ods.

Öffne anschließend ~/Documents/Northwind_template.pptx in LibreOffice Impress
und erstelle daraus im gleichen Stil eine Zusammenfassung mit drei Folien: eine Titelfolie, eine
Folie mit der Gesamtsumme und den drei größten Ausgaben sowie eine Folie,
auf der alles aufgeführt ist, was verdächtig aussieht, etwa derselbe Beleg,
der zweimal fotografiert wurde, oder ein Beleg ohne Datum. Prüfe jede Folie auf
überlaufenden Text und korrigiere ihn. Speichere die Datei als ~/Desktop/expense_summary.odp
und exportiere sie als PDF auf den Desktop.

Erstelle zum Schluss einen Screenshot und teile mir dann die Gesamtsumme und deine
Hinweise mit.
```

{% endcode %}

Qwen3.8-27B hat alle Belege korrekt ausgelesen, auch den fehlenden Datumsangaben-Hinweis, und beide Probleme selbstständig erkannt:

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FLmVbOlyIcEJEjBKBXbL7%2Fcomputer-use-receipts-result.png?alt=media" alt="" width="563"><figcaption><p>Die Antwort des Modells am Ende des Durchlaufs</p></figcaption></figure></div>

Es erstellte die Tabelle mit einer SUM-Gesamtsumme und einem Diagramm der Beträge:

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fl6Xp4xwydsvikJRjv1CN%2Fcomputer-use-receipts-calc.png?alt=media" alt="" width="563"><figcaption><p>Die Tabelle und das Diagramm in LibreOffice Calc</p></figcaption></figure></div>

und wandelte die Firmenvorlage in drei Folien um. Dabei wies es auf den doppelten Beleg und das fehlende Datum hin:

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FpFJjGqRmEfpIJHwkFbCH%2Fcomputer-use-receipts-deck.png?alt=media" alt=""><figcaption><p>Die exportierte Präsentation</p></figcaption></figure></div>

Wir haben diese Aufgabe sechsmal mit Qwen3.8-27B auf einer A100 ausgeführt, mit etwa 130 Tokens pro Sekunde. In zwei Durchläufen war alles richtig; sie dauerten 22 bzw. 30 Minuten. In einem davon wurde sogar angemerkt, dass der doppelte Beleg die Gesamtsumme um 585,08 $ zu hoch ausweist. In zwei Durchläufen wurde ein Betrag falsch gelesen, ein Durchlauf endete vor der Erstellung der Präsentation, und in einem wurde die Spalte „Datum“ als Diagramm dargestellt. Bei Letzterem kam ein früherer Prompt zum Einsatz: In den drei Durchläufen mit dem obigen Prompt, in dem die Spalten angegeben sind, war das Diagramm immer korrekt.

Prüfen Sie das Ergebnis selbst, wie Sie es bei der Arbeit eines Kollegen tun würden: Ein falsch gelesener Betrag oder Text, der am Rand einer Folie abgeschnitten ist, fällt leicht nicht auf.

### Beispiel: ein beschriftetes Bild in GIMP

Eine kürzere Aufgabe in einer App mit eigenen Menüs, Dialogen und Werkzeugen. GIMP ist bereits geöffnet. Das Modell skaliert ein Foto, fügt eine Beschriftung hinzu und exportiert es:

{% code collapsedlinecount="10" %}

```
GIMP ist geöffnet. Öffne ~/Pictures/photo.jpg (Datei > Öffnen). Skaliere das Bild
über Bild > Bild skalieren auf eine Breite von 1024 Pixeln und behalte dabei das Seitenverhältnis bei.
Füge dann mit dem Textwerkzeug die Wörter „Northwind Labs“ in Weiß hinzu,
so groß, dass sie gut lesbar sind, unten links. Exportiere das Ergebnis als
~/Desktop/poster.png über Datei > Exportieren als und übernimm die Standardwerte im Exportdialog.
Erstelle am Ende einen Screenshot.
```

{% endcode %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F6ng8q3NylovIBoPFqZcm%2Fcomputer-use-gimp.gif?alt=media" alt=""><figcaption><p>Qwen3.8-27B (UD-Q4_K_XL) in GIMP: öffnen, skalieren, Textfarbe festlegen, Beschriftung eingeben und exportieren; 7 Minuten, mit 8-facher Geschwindigkeit angezeigt</p></figcaption></figure>

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FbuA64BezI2rlkizARrVQ%2Fcomputer-use-gimp-result-lossless.webp?alt=media" alt="" width="563"><figcaption><p>Das fertige Bild in GIMP, auf 1024 × 576 skaliert, mit der Beschriftung auf einer eigenen Textebene</p></figcaption></figure></div>

Qwen3.8-27B hat die Aufgabe in beiden Durchläufen korrekt erledigt: in 7 bzw. 11 Minuten auf einer RTX PRO 6000. Jedes Mal wurde eine PNG-Datei mit 1024 × 576 Pixeln und der weißen Beschriftung unten links exportiert.

#### Tipps für gute Ergebnisse

* **Nenne die Apps:** „Öffne sie im Bildbetrachter“ ist viel zuverlässiger, als das Modell selbst eine App suchen zu lassen.
* **Nenne genaue Spalten, Dateien und Speicherorte:** „Wähle die Spalten Merchant und Total aus“, „speichere die Datei unter \~/Desktop/expenses.ods“.
* **Beschreibe, woran man erkennt, dass die Aufgabe erledigt ist:** welche Dateien gespeichert werden sollen und was dir am Ende mitgeteilt werden soll.
* **Bitte es um eine Überprüfung:** „Prüfe jede Folie darauf, ob Text über den Rand hinausragt“ oder „Erstelle am Ende einen Screenshot“.
* **Gib ihm genug Spielraum:** Setze **Maximale Tool-Aufrufe pro Nachricht** auf **Maximal**. Eine Aufgabe wie diese dauert auf einer GPU 10 bis 25 Minuten.
* **Bereite den Bildschirm vor:** Öffne selbst die Dateien oder den Ordner und schließe alles, was für die Aufgabe nicht benötigt wird. Verwende bei sehr großen Bildschirmen eine moderate Auflösung.
* **Beobachte die ersten Minuten:** Wenn das Modell ein Terminal oder die Entwicklertools des Browsers öffnet, um die Bildschirmbedienung zu umgehen und ein Skript zu verwenden, stoppe es und sage: „Verwende nur die Menüs und Schaltflächen der App“.

### Fehlerbehebung

<details>

<summary>Computersteuerung ist nicht verfügbar</summary>

Unter Einstellungen > Computersteuerung findest du den Grund. Dafür sind ein Vision-Modell, das Tools aufrufen kann, die normale Chatansicht und Unsloth erforderlich, das die lokale Maschine ausführt. Die Funktion ist nur für den Eigentümer der Installation verfügbar und kann nicht über einen API-Schlüssel genutzt werden. Unter Linux ist eine X11-Sitzung erforderlich; Wayland-Sitzungen werden noch nicht unterstützt.

</details>

<details>

<summary>Klicks landen an der falschen Stelle</summary>

Ändere **Wie das Modell zeigt** unter Einstellungen > Computersteuerung zwischen **Screenshot-Pixeln** und **Raster von 0 bis 1000**. Bei mehreren Bildschirmen arbeitet das Modell auf dem Hauptbildschirm, sofern es nicht anhand der Nummer einen Screenshot eines anderen Bildschirms anfordert.

</details>

<details>

<summary>Das Modell stoppt nach 25 Schritten</summary>

Das ist das standardmäßige Limit für Tool-Aufrufe pro Antwort. Ziehe **Maximale Tool-Aufrufe pro Nachricht** auf **Maximal** im Chat-Einstellungsbereich und sage dann „Weiter“.

</details>

<details>

<summary>Das Modell kann eine App nicht öffnen</summary>

Nenne die App so, wie sie im Anwendungsstarter angezeigt wird, zum Beispiel „Bildbetrachter“ oder „LibreOffice Calc“. Unter Linux können Programmnamen wie `eog` funktionieren ebenfalls.

</details>

<details>

<summary>macOS meldet, dass Unsloth weder den Bildschirm sehen noch die Tastatur verwenden kann</summary>

Öffne „Systemeinstellungen“ > „Datenschutz & Sicherheit“ und erlaube Unsloth den Zugriff unter **Bildschirm- & Systemaudioaufnahme** und **Bedienungshilfen**. Starte Unsloth anschließend neu. Über die Schaltflächen unter „Einstellungen“ > „Computersteuerung“ gelangst du direkt zu den richtigen Seiten.

</details>

<details>

<summary>Das Modell wurde angehalten und wird nicht fortgesetzt</summary>

Wenn du den Zeiger in eine Ecke bewegt hast, bleibt die Computersteuerung für diesen Chat angehalten. Bestätige die nächste Anfrage im Chat oder wähle **Erneut erlauben** unter „Einstellungen“ > „Computersteuerung“.

</details>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/de/grundlagen/computer-use.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
