Introducing Unsloth Desktop: the first local app to run & train models
✨Read more
Ctrlk
RedditDiscordGitHubNewsletter
For the complete documentation index, see llms.txt. This page is also available as Markdown.

Comment exécuter des modèles d'IA locaux avec Hermes Agent

Guide d'utilisation des LLM ouverts avec Hermes Agent en local.

Ce guide vous permet d'exécuter localement des LLM ouverts avec Hermes Agent via Unsloth. Hermes Agent de Nous Research est un open source agent IA autonome qui se connecte à un point de terminaison de modèle, exécute des tâches et s'améliore au fil du temps grâce à la mémoire et aux compétences apprises.

Hermes fonctionnera avec n'importe quel modèle local exposé via l' API compatible avec OpenAI, y compris : DeepSeek, Qwen, Gemma et bien d'autres. Hermes agit comme le client agent, tandis qu'Unsloth charge et sert les modèles via le API locale entièrement hors ligne.

Après la configuration, chaque invite envoyée via Hermes s'exécutera en utilisant votre modèle local sur votre appareil.

Qwen3.5 exécuté localement dans Hermes via Unsloth.

Configurer Hermes🦥 Connectez votre modèle local

Dans ce tutoriel, vous installerez Hermes et le configurerez pour utiliser unsloth/Qwen3.6-27B-GGUF servi depuis Unsloth. Vous préférez un autre modèle ? Remplacez-le par n'importe quel autre modèle en le chargeant dans Unsloth et en mettant à jour la configuration.

Configurer l'agent Hermes

Prérequis :

Le Hermes l'installateur en ligne de commande prend en charge Linux, macOS et WSL2. Assurez-vous que Git est installé ; sous Linux, installez aussi curl et xz-utils. L'installateur provisionne automatiquement uv, Python 3.11, Node.js 22, ripgrep et ffmpeg.

1. Exécutez l'installateur

curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash

L'installateur :

  • Détecte votre plateforme et vérifie les dépendances.

  • Clone Hermes dans ~/.hermes/hermes-agent/.

  • Crée un environnement virtuel Python et installe les dépendances Python.

  • Installe les dépendances de l'outil de navigateur et le moteur Chromium de Playwright.

  • Ajoute la commande hermes et lance l'assistant de configuration.

Playwright peut demander sudo pour installer les bibliothèques système partagées de Chromium. Hermes lui-même ne nécessite pas d'accès root.

2. Rechargez votre shell pour que la commande hermes se trouve dans votre PATH:

3. Vérifiez l'installation :

Si la commande s'exécute, Hermes est installé. Tout se trouve dans ~/.hermes/:

Chemin
Ce que c'est

~/.hermes/config.yaml

Paramètres principaux (modèle, fournisseur, outils, TTS, …)

~/.hermes/.env

Clés API et autres secrets

~/.hermes/hermes-agent/

Le code source d'Hermes + l'environnement virtuel

~/.hermes/cron/, sessions/, logs/

Données d'exécution

~/.hermes/skills/

Compétences installées (synchronisées depuis le Skills Hub)

Référence complète de l'installation : hermes-agent.nousresearch.com/docs/getting-started/installation. Si l'installateur signale une dépendance manquante, installez-la puis relancez la commande en une ligne. L'installateur est idempotent.

⚡ Démarrage rapide

Après avoir installé Hermes, nous devrons installer Unsloth Desktop pour permettre à Hermes de servir et d'exécuter l'inférence de modèles locaux.

1

Télécharger Unsloth

Le moyen le plus simple de commencer est d'installer l' Unsloth Desktop application. Elle prend en charge macOS, Linux, Windows, NVIDIA, AMD, les configurations Intel et CPU.

Télécharger Unsloth

Ou, si vous préférez une installation manuelle :

macOS, Linux, WSL :

PowerShell Windows :

2

Installer

  1. Ouvrez le programme d'installation d'Unsloth (.dmg, .exe fichiers)

  2. Faites glisser Unsloth vers Applications sur Mac ou terminez la configuration sur Windows.

  3. Lancez l'application et attendez la fin de l'installation

3

Choisir un modèle

Ouvrez le menu déroulant 'Select model' en haut ou l'onglet 'Model hub', choisissez un modèle et une quantification adaptée à votre appareil, puis téléchargez-le. Une fois terminé, commencez à discuter - aucune configuration requise.

4

Unsloth est maintenant prêt

Pour commencer à discuter, tapez un message et appuyez sur Entrée.

Connectez Hermes. Exécuter unsloth start hermes dans votre terminal pendant qu'Unsloth est ouvert. Il génère une clé API, écrit la configuration et lance Hermes avec votre modèle chargé.

⚡ Exécutez Hermes Agent avec unsloth start

Pour lancer Hermes directement avec un modèle, exécutez :

Si aucun indicateur de réglage/d'échantillonnage n'est défini, Unsloth sélectionne automatiquement les meilleurs/réglages recommandés pour le modèle, y compris la longueur de contexte, la température, etc.

Avec un modèle chargé dans Unsloth Studio, exécutez :

Hermes Agent connected to a local model through Unsloth Studio
Agent Hermes exécuté via son fournisseur Unsloth Studio.

Unsloth lance Hermes depuis un répertoire d'accueil géré séparé avec le fournisseur, le modèle et les paramètres de contexte Unsloth déjà configurés. Votre configuration Hermes existante reste inchangée.

Ce répertoire d'accueil géré est temporaire par défaut. Pour conserver vos sessions et votre état, ajoutez --persist dès votre premier lancement :

Pour revenir plus tard à votre dernière session, exécutez :

Pour rouvrir une session spécifique, utilisez --resume <session-id-ou-titre> à la place.

Voir la référence complète unsloth start référence pour la sélection du modèle, les connexions à distance et les options avancées.

L'assistant de configuration ci-dessous reste disponible si vous préférez gérer vous-même le fournisseur Hermes.

🔑 Création d'une clé API

  1. Ouvrez la barre latérale, cliquez sur votre Unsloth avatar en bas à gauche.

  2. Aller à Paramètres → API.

  3. Entrez un nom convivial (par ex. hermes-agent-macbook).

  4. (Facultatif) Définissez une date d'expiration.

  5. Cliquez sur Créer.

  6. Copiez immédiatement la clé. Unsloth ne stocke qu'un hachage et vous ne pourrez plus la consulter.

Toutes les clés commencent par le sk-unsloth- préfixe. Révoquez une clé depuis la même page à tout moment. Les requêtes effectuées avec une clé révoquée échoueront avec 401 Non autorisé.

🦥 Intégrez Hermes avec l'API Unsloth

Hermes envoie chaque tour de discussion à un fournisseur d'inférence configuré et se connecte à compatible avec OpenAI des points de terminaison. Configurez le fournisseur pendant l'installation ou plus tard dans l'assistant de configuration.

1. Ouvrez l'assistant de configuration :

Choisissez Modèle et fournisseur dans le menu « Que souhaitez-vous faire ? » pour configurer uniquement le point de terminaison d'inférence, ou Configuration complète pour tout configurer (TTS, outils, passerelle de messagerie, paramètres de l'agent).

2. Sélectionnez le point de terminaison personnalisé compatible avec OpenAI lorsqu'Hermes vous demande un fournisseur d'inférence.

3. Renseignez les invites au fur et à mesure qu'Hermes les parcourt :

Invite
Valeur

URL de base de l'API

http://localhost:8888/v1 (votre port Unsloth + /v1)

Clé API

Votre sk-unsloth-… clé

Modèle détecté : … Utiliser ce modèle ?

O (Hermes détecte automatiquement le modèle via GET /v1/models)

Longueur du contexte en tokens

(laissez vide pour la détection automatique)

Nom d'affichage

Ce que vous voulez, par ex. unsloth-api

Hermes vérifie le point de terminaison avec /v1/models et confirme le modèle détecté avant de continuer.

4. Acceptez les valeurs par défaut pour les invites restantes (TTS, outils, passerelle de messagerie, paramètres de l'agent) ; vous pourrez en reconfigurer chacun plus tard. Hermes écrit tout dans ~/.hermes/config.yaml et ~/.hermes/.env.

5. Lancez Hermes :

La bannière de démarrage affiche le nom de votre modèle Unsloth dans la barre d'état (par ex. unsloth/Qwen3.6-27B-GGUF), et l'invite est prête à recevoir des entrées.

Pour reconfigurer uniquement le modèle plus tard, exécutez hermes setup model. Pour modifier directement le fichier de configuration, hermes config edit ouvre ~/.hermes/config.yaml dans votre $EDITOR.

Facultatif : ajustez le serveur Unsloth

unsloth run démarre le serveur d'API local et charge un modèle auquel votre application peut se connecter. Vous pouvez aussi personnaliser le comportement du serveur au démarrage.

Utiliser --disable-tools lors de l'exécution d'Hermes (ou de tout autre agent externe disposant de ses propres outils). Par défaut, Unsloth Studio exécute ses propres outils côté serveur, ce qui avale les appels d'outils de l'agent ; Hermes répond alors mais n'exécute jamais ses outils. --disable-tools passe en mode relais, de sorte que les propres outils d'Hermes sont utilisés.

Utiliser --reasoning off pour désactiver la réflexion, ou --reasoning on pour l'activer pour les modèles qui prennent en charge le raisonnement.

Cela démarre le serveur sur 0.0.0.0:8888, ce qui permet aux autres appareils de votre réseau local de se connecter. -p modifie le port sur lequel le serveur s'exécute. Si vous voulez que des téléphones, ordinateurs portables ou autres appareils de votre réseau se connectent au serveur d'API, démarrez-le avec -H 0.0.0.0.

Certaines applications peuvent encore remplacer les paramètres de génération pour des requêtes individuelles. Pour une configuration d'exécution plus avancée, consultez le principal Optimisation de l'API .

PrécédentOpenRouter
SuivantOpenClaw

Mis à jour

Ce contenu vous a-t-il été utile ?