> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/fr/notions-de-base/computer-use.md).

# Utiliser votre ordinateur avec des LLM locaux

Permettez aux modèles locaux de voir votre écran et d’utiliser la souris et le clavier dans n’importe quelle application avec Unsloth

L’utilisation de l’ordinateur permet à un modèle de voir l’écran de cet ordinateur et de contrôler sa souris et son clavier dans n’importe quelle application, de la même manière que [l’utilisation du navigateur](https://unsloth.ai/docs/fr/notions-de-base/browser-use.md) permet de piloter le panneau du navigateur. Cette fonctionnalité est disponible dans [Unsloth Desktop](https://unsloth.ai/docs/fr/desktop.md) sur macOS, Windows et Linux, avec des modèles de vision locaux (GGUF, safetensors, MLX) et des fournisseurs d’API connectés.

{% columns %}
{% column width="50%" %}
Dans l’exemple à droite, un modèle Qwen3.8-27B local lit six photos de reçus, crée un tableur avec un total, transforme un modèle d’entreprise en un résumé de trois diapositives et signale un reçu photographié deux fois ainsi qu’un autre sans date.

Unsloth demande une autorisation avant la première action d’une conversation, avant chaque nouvelle application et avant toute action risquée. Vous pouvez arrêter le modèle à tout moment en appuyant sur **Arrêter** ou en déplaçant le pointeur dans un coin de l’écran.
{% endcolumn %}

{% column width="50%" %}

<figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FDeBGLGVVRgw3Z3UDQazL%2Freplace-2.webp?alt=media&amp;token=3d10e866-def5-4dbd-b22e-47485a6606bc" alt="Unsloth Computer Use turning receipt photos into an expense spreadsheet and presentation"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

### Démarrage rapide

{% stepper %}
{% step %}

#### Télécharger Unsloth

Installez l’application Unsloth Desktop pour macOS, Windows ou Linux.

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">Télécharger Unsloth</a>

Ou installez Unsloth nativement :

{% tabs %}
{% tab title="Installation native" %}
**MacOS, Linux, WSL :**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows :**

```powershell
irm https://unsloth.ai/install.ps1 | iex
```

{% endtab %}

{% tab title="Docker" %}
Le [L'image Docker Unsloth](https://hub.docker.com/r/unsloth/unsloth) `unsloth/unsloth` est disponible sur Docker. [Lire le guide.](https://unsloth.ai/docs/get-started/install/docker)
{% endtab %}

{% tab title="Homebrew" %}
Installer Unsloth Desktop :

{% code collapsedlinecount="10" %}

```bash
brew install --cask unsloth
```

{% endcode %}

Mettre à jour Unsloth Desktop :

```bash
brew upgrade --cask unsloth
```

{% endtab %}

{% tab title="WinGet" %}
Installer Unsloth Desktop :

```powershell
winget install --id UnslothAI.Unsloth -e
```

Mettre à jour Unsloth Desktop :

```powershell
winget upgrade --id UnslothAI.Unsloth -e
```

{% endtab %}
{% endtabs %}

Installez-le directement sur l’ordinateur que vous souhaitez faire utiliser par le modèle. L’image Docker et Unsloth dans WSL ne peuvent ni voir ni contrôler votre bureau : Docker n’y a pas accès, et WSL ne voit que ses propres fenêtres Linux, pas celles de Windows.
{% endstep %}

{% step %}

#### Activer l’utilisation de l’ordinateur

Ouvrez les paramètres et sélectionnez **Utilisation de l’ordinateur**. Activez **Utilisation de l’ordinateur** et confirmez. Sur macOS, autorisez **l’enregistrement de l’écran et de l’audio système** et **l’accessibilité** à l’aide des boutons de la même page, puis redémarrez Unsloth.

<div data-with-frame="true"><figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FNcaSDMWLVQcvRfCXYuu3%2Fcomputer-use-settings-lossless.webp?alt=media" alt="" width="563"><figcaption></figcaption></figure></div>

L’utilisation de l’ordinateur n’est proposée que lorsqu’Unsloth contrôle l’ordinateur sur lequel il s’exécute : lancement local, et non liaison réseau, lien Cloudflare, accès à distance ou notebook hébergé.
{% endstep %}

{% step %}

#### Choisir un modèle de vision

L’utilisation de l’ordinateur nécessite un modèle capable de voir des images et d’appeler des outils. Voici les modèles que nous avons testés sur de vraies tâches sur ordinateur :

| Modèle                                                                             | Remarques                                                                                                                                                                          |
| ---------------------------------------------------------------------------------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| [Qwen3.8-27B-GGUF](https://huggingface.co/unsloth/Qwen3.8-27B-GGUF) (UD-Q4\_K\_XL) | Le meilleur lors de nos tests : il a effectué seul les tâches liées aux reçus et à GIMP. Environ 19 Go avec son fichier de vision                                                  |
| [gemma-4-26B-A4B-it-GGUF](https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF)  | Rapide, et a cliqué sur le bon bouton lors de chaque test de pointage, mais lors des deux tests avec les reçus, il a continué à rouvrir les photos sans jamais parvenir au tableur |
| [Qwen3.6-35B-A3B-GGUF](https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF)        | Modèle à mélange d’experts rapide ; il a perdu le fil de la tâche liée aux reçus lors de nos tests                                                                                 |

Les petits modèles, comme gemma-4-E4B, ne parvenaient pas du tout à pointer les boutons.

Unsloth sait comment chaque modèle désigne les éléments : Qwen3-VL, Qwen3.5 et les versions ultérieures, Gemma 4, UI-TARS et Gemini répondent sur une grille de 0 à 1000 ; les autres utilisent les pixels de la capture d’écran. Si les clics sont mal placés avec un autre modèle, modifiez **Mode de pointage du modèle** dans Paramètres > Utilisation de l’ordinateur.
{% endstep %}

{% step %}

#### Autoriser les tâches longues

Une tâche réelle nécessite de 100 à 200 actions, et une conversation s’arrête par défaut après 25 appels d’outils. Dans le panneau des paramètres de la conversation, faites glisser **Nombre maximal d’appels d’outils par message** jusqu’à **Max.**.
{% endstep %}

{% step %}

#### Lancer une tâche

Ouvrez le **+** menu à côté du champ de saisie de la conversation et activez **Utilisation de l’ordinateur**. Une pastille **Ordinateur** apparaît dans la zone de saisie. Décrivez ensuite la tâche, comme dans l’exemple ci-dessous.
{% endstep %}
{% endstepper %}

### Autorisations et sécurité

Le contrôle du bureau échappe à tout environnement isolé ; l’utilisation de l’ordinateur demande donc d’abord une autorisation pour :

* **La première action de chaque conversation** demande confirmation, quel que soit le mode d’autorisation, sauf Accès complet. L’autorisation expire après 30 minutes d’inactivité.
* **Chaque nouvelle application** demande confirmation la première fois qu’un chat clique dessus ou y saisit du texte. **Autoriser** autorise cette application pour le chat ; **Toujours autoriser \<app>** l’ajoute à la liste dans Paramètres.
* **Actions à risque** nécessitent toujours une confirmation, même avec le mode Autoriser à ma place : les terminaux, les gestionnaires de mots de passe, les outils système, leur ouverture et les raccourcis qui ferment ou suppriment.
* **Applications bloquées** (Paramètres > Utilisation de l’ordinateur > Applications bloquées) ne sont jamais activées, utilisées pour saisir du texte ni ouvertes, quel que soit le chat ou le mode d’autorisation.
* **Actions jamais effectuées :** appuyer sur les touches qui verrouillent l’écran ou terminent la session, saisir du texte dans une invite de sécurité du système d’exploitation ou dans la propre fenêtre d’Unsloth.

<div data-with-frame="true"><figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FlGFk1cVAfeUsugqUJXdk%2Fcomputer-use-approval.png?alt=media" alt="" width="563"><figcaption><p>Lors de l’exécution de la tâche sur les reçus, le gestionnaire de fichiers n’avait pas encore été utilisé dans ce chat ; Unsloth a donc demandé confirmation au préalable.</p></figcaption></figure></div>

Pour reprendre le contrôle, appuyez sur **Arrêter** dans le chat, désactivez l’utilisation de l’ordinateur ou déplacez le pointeur dans l’un des coins de l’écran. L’arrêt déclenché par un coin reste actif jusqu’à ce que vous répondiez à la prochaine question du chat ou que vous sélectionniez **Autoriser à nouveau** dans Paramètres.

Chaque carte d’outil affiche les étapes demandées par le modèle et la capture d’écran qu’il a reçue, afin que vous puissiez voir exactement ce qu’il a vu.

### Exemple : un rapport de dépenses établi à partir de photos de reçus

Six photos de reçus se trouvent dans `~/Documents/receipts`, et un modèle de présentation de l’entreprise se trouve dans `~/Documents`. Un reçu a été photographié deux fois et un autre ne porte pas de date. Aucune API ne peut lire la photo d’un reçu : il faut donc utiliser l’ordinateur. Le modèle examine chaque image, puis remplit LibreOffice Calc et LibreOffice Impress.

<figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FDeBGLGVVRgw3Z3UDQazL%2Freplace-2.webp?alt=media&amp;token=3d10e866-def5-4dbd-b22e-47485a6606bc" alt="Unsloth Computer Use turning receipt photos into an expense spreadsheet and presentation" width="563"><figcaption></figcaption></figure>

{% code collapsedlinecount="10" %}

```
Il y a 6 photos de reçus dans ~/Documents/receipts. Ouvre chacune d’elles dans
la Visionneuse d’images et relève le commerçant, la date, la catégorie (Repas, Déplacements,
Bureau, Hébergement ou Logiciels) et le total ; zoome si le texte est petit.

Ouvre LibreOffice Calc et saisis une ligne par photo, avec les colonnes
Fichier, Commerçant, Date, Catégorie et Total. Ajoute un total général à l’aide d’une formule
SUM. Sélectionne ensuite les colonnes Commerçant et Total (pas les dates), puis
insère un histogramme des totaux par commerçant, placé à droite du
tableau sans recouvrir de cellules. Enregistre-le sous ~/Desktop/expenses.ods.

Ouvre ensuite ~/Documents/Northwind_template.pptx dans LibreOffice Impress
et transforme-le en un résumé de 3 diapositives dans le même style : une diapositive de titre, une
diapositive présentant le total général et les trois dépenses les plus élevées, et une diapositive
signalant tout élément suspect, comme un même reçu
photographié deux fois ou un reçu sans date. Vérifie que le texte ne
déborde sur aucune diapositive et corrige le problème le cas échéant. Enregistre le fichier sous ~/Desktop/expense_summary.odp
et exporte-le au format PDF sur le Bureau.

À la fin, prends une capture d’écran, puis indique-moi le total général et les éléments que tu as
signalés.
```

{% endcode %}

Qwen3.8-27B a correctement lu tous les reçus, y compris celui sans date, et a détecté les deux problèmes de lui-même :

<div data-with-frame="true"><figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FLmVbOlyIcEJEjBKBXbL7%2Fcomputer-use-receipts-result.png?alt=media" alt="" width="563"><figcaption><p>La réponse du modèle à la fin de l’exécution</p></figcaption></figure></div>

Il a créé le tableur avec un total calculé par SUM et un graphique des totaux :

<div data-with-frame="true"><figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fl6Xp4xwydsvikJRjv1CN%2Fcomputer-use-receipts-calc.png?alt=media" alt="" width="563"><figcaption><p>La feuille et le graphique créés dans LibreOffice Calc</p></figcaption></figure></div>

et a transformé le modèle de l’entreprise en trois diapositives, en signalant le doublon et la date manquante :

<div data-with-frame="true"><figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FpFJjGqRmEfpIJHwkFbCH%2Fcomputer-use-receipts-deck.png?alt=media" alt=""><figcaption><p>La présentation exportée</p></figcaption></figure></div>

Nous avons exécuté cette tâche six fois avec Qwen3.8-27B sur un seul A100, à environ 130 jetons par seconde. Deux exécutions ont tout réussi, en 22 et 30 minutes ; l’une d’elles a même remarqué que le doublon gonflait le total de 585,08 $. Dans deux exécutions, un montant a été mal lu ; une s’est arrêtée avant la création de la présentation, et une autre a généré un graphique à partir de la colonne Date. Cette dernière utilisait une version antérieure de l’invite : lors des trois exécutions avec l’invite ci-dessus, qui précise le nom des colonnes, le graphique était toujours correct.

Vérifiez vous-même le résultat, comme vous le feriez pour le travail d’un collègue : un montant mal lu ou du texte coupé au bord d’une diapositive peut facilement passer inaperçu.

### Exemple : une image légendée dans GIMP

Une tâche plus courte dans une application qui possède ses propres menus, boîtes de dialogue et outils. GIMP étant déjà ouvert, le modèle redimensionne une photo, ajoute une légende et l’exporte :

{% code collapsedlinecount="10" %}

```
GIMP est ouvert. Ouvrez ~/Pictures/photo.jpg (Fichier > Ouvrir). Redimensionnez l’image
à une largeur de 1024 pixels avec Image > Échelle et taille de l’image, en conservant les proportions.
Utilisez ensuite l’outil Texte pour ajouter les mots « Northwind Labs » en blanc,
dans une taille lisible, près du coin inférieur gauche. Exportez le résultat sous le nom
~/Desktop/poster.png avec Fichier > Exporter sous, en acceptant les paramètres par défaut de la boîte de dialogue
d’exportation. Prenez une capture d’écran à la fin.
```

{% endcode %}

<figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F6ng8q3NylovIBoPFqZcm%2Fcomputer-use-gimp.gif?alt=media" alt=""><figcaption><p>Qwen3.8-27B (UD-Q4_K_XL) dans GIMP : ouverture, redimensionnement, réglage de la couleur du texte, saisie de la légende et exportation ; 7 minutes affichées, en accéléré 8 fois</p></figcaption></figure>

<div data-with-frame="true"><figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FbuA64BezI2rlkizARrVQ%2Fcomputer-use-gimp-result-lossless.webp?alt=media" alt="" width="563"><figcaption><p>L’image terminée dans GIMP, redimensionnée en 1024 × 576, avec la légende sur son propre calque de texte</p></figcaption></figure></div>

Qwen3.8-27B a réussi cette tâche lors de nos deux essais, en 7 et 11 minutes sur un seul RTX PRO 6000 : chaque fois, il a exporté un PNG de 1024 × 576 avec la légende blanche en bas à gauche.

#### Conseils pour obtenir de bons résultats

* **Indiquez le nom des applications :** « ouvrez-les dans la Visionneuse d’images » est bien plus fiable que de laisser le modèle chercher une application.
* **Précisez les colonnes, fichiers et emplacements :** « sélectionnez les colonnes Merchant et Total », « enregistrez-le sous \~/Desktop/expenses.ods ».
* **Précisez à quoi doit ressembler le résultat :** les fichiers à enregistrer et ce que le modèle doit vous dire à la fin.
* **Demandez-lui de vérifier :** « vérifiez que le texte ne déborde sur aucune diapositive » ou « prenez une capture d’écran à la fin ».
* **Donnez-lui de la marge :** réglez **Nombre maximal d’appels d’outils par message** sur **Max**. Une tâche de ce type prend de 10 à 25 minutes sur un seul GPU.
* **Préparez l’écran :** ouvrez vous-même les fichiers ou le dossier et fermez les éléments inutiles pour la tâche. Sur les très grands écrans, utilisez une résolution modérée.
* **Surveillez les premières minutes :** si le modèle se dirige vers un terminal ou les outils de développement du navigateur pour contourner l’interface, arrêtez-le et dites-lui : « utilisez uniquement les menus et les boutons de l’application ».

### Dépannage

<details>

<summary>L’utilisation de l’ordinateur n’est pas disponible</summary>

Vérifiez Paramètres > Utilisation de l’ordinateur pour connaître la raison. Cette fonctionnalité nécessite un modèle de vision capable d’appeler des outils, l’interface de chat standard et Unsloth exécuté sur la machine utilisée. Seul le propriétaire de l’installation peut l’utiliser, et pas au moyen d’une clé API. Sous Linux, une session X11 est nécessaire ; les sessions Wayland ne sont pas encore prises en charge.

</details>

<details>

<summary>Les clics n’aboutissent pas au bon endroit</summary>

Modifiez **la méthode de pointage du modèle** dans Paramètres > Utilisation de l’ordinateur, en choisissant entre **Pixels de la capture d’écran** et **Grille de 0 à 1000**. Si plusieurs écrans sont connectés, le modèle travaille sur l’écran principal, sauf s’il demande une capture d’un autre écran en indiquant son numéro.

</details>

<details>

<summary>Le modèle s’arrête après 25 étapes</summary>

Il s’agit de la limite par défaut d’appels d’outils pour une réponse. Réglez **Nombre maximal d’appels d’outils par message** sur **Max** dans le panneau des paramètres de chat, puis dites « continue ».

</details>

<details>

<summary>Le modèle ne parvient pas à ouvrir une application</summary>

Demandez l’application en utilisant le nom affiché dans le lanceur, par exemple « Visionneuse d’images » ou « LibreOffice Calc ». Sous Linux, les noms de programmes tels que `eog` aussi.

</details>

<details>

<summary>macOS indique qu’Unsloth ne peut pas voir l’écran ni utiliser le clavier</summary>

Ouvrez Réglages système > Confidentialité et sécurité, puis autorisez Unsloth dans **Enregistrement de l’écran et de l’audio système** et **Accessibilité**, puis redémarrez Unsloth. Les boutons dans Réglages > Utilisation de l’ordinateur ouvrent les bonnes pages.

</details>

<details>

<summary>Le modèle s’est arrêté et ne continuera pas</summary>

Si vous avez déplacé le pointeur dans un coin, l’utilisation de l’ordinateur reste désactivée pour cette conversation. Répondez à la prochaine demande d’approbation dans la conversation, ou sélectionnez **Autoriser à nouveau** dans Réglages > Utilisation de l’ordinateur.

</details>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/fr/notions-de-base/computer-use.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
