Exécutez et servez des modèles de décision localement avec Unsloth : API Laya + Jev

Servez et exécutez des modèles de décision localement avec Unsloth.

Exécutez et servez des modèles de décision comme Laya ou Clef, des alternatives open source à Jev, sur votre Mac, Windows et Linux appareil avec Unsloth. Les modèles de décision transforment les entrées textuelles en décisions structurées sur lesquelles vos applications peuvent agir - du routage des tickets d'assistance au filtrage des e-mails, jusqu'aux étiquettes et classifications automatisées.

Vous pouvez utiliser l'interface graphique d'Unsloth pour exposer Laya et Clef via une API Jev compatible avec TypeSafe, afin que les intégrations Jev existantes puissent fonctionner en les pointant vers votre serveur local.

Toutes les données restent sur votre appareil et CPU, mémoire unifiée, et GPU toutes les configurations sont prises en charge.

Envoyez des morceaux de texte au modèle de décision, définissez les décisions dont vous avez besoin (oui/non, choix ou scores), et recevez en retour des probabilités calibrées.

🖥️ Paramètres recommandés

Modèle	RAM minimale	Taille	Idéal pour
Multilingue (par défaut)	4 Go de RAM	678 Mo	La plupart des cas d'utilisation. Plus de 100 langues, contexte de 1024 tokens.
Anglais	5 Go de RAM	846 Mo	Anglais uniquement. Encodeur plus grand, contexte de 512 tokens.
Décisions typées	5 Go de RAM	846 Mo	Anglais uniquement. Factures, incidents de sécurité, service client, traces d'agent.

Le CPU est la valeur par défaut. Passez Exécuter sur le GPU pour des réponses plus rapides. Le GPU conserve le modèle en mémoire jusqu'à ce que vous appuyiez sur Décharger ou redémarriez Unsloth. Si le GPU manque de mémoire, Laya revient au CPU et continue de répondre.

⚡ Démarrage rapide

1

Configurer Unsloth

Le moyen le plus simple pour commencer est de télécharger l' application de bureau Unsloth. Fonctionne sur macOS, Windows, et Linux.

Télécharger Unsloth

• Télécharger pour macOS

• Télécharger pour Windows

• Télécharger pour Linux

Ou, si vous préférez installer manuellement :

MacOS, Linux, WSL :

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell :

irm https://unsloth.ai/install.ps1 | iex

2

Configurer Laya

Allez dans Paramètres → API → API de décision et activez Servir les requêtes. Le modèle Laya par défaut (678 Mo) commencera alors à se télécharger après confirmation que vous souhaitez lancer le téléchargement.

Votre clé API se trouve sur la même page, sous Jetons d'accès. Ou activez Accès API sans clé → Chat et inférence et omettez la clé sur localhost.

3

Envoyer une requête de décision

Il est temps d'envoyer une requête de décision. Dans cet exemple, nous classons un ticket d'assistance, détectons les demandes de remboursement et évaluons l'urgence.

curl http://localhost:8888/v1/systemone \\
  -H "Authorization: Bearer sk-unsloth-YOUR_KEY" \\
  -H "Content-Type: application/json" \\
  -d '{
    "model": "laya",
    "state": "Bonjour, j’ai été facturé deux fois pour ma facture de mars (#4411). Veuillez rembourser le doublon aujourd’hui.",
    "questions": {
      "team": {
        "type": "choice",
        "instructions": "Quelle équipe doit s'en occuper ?",
        "criteria": {
          "billing": "factures, paiements, remboursements",
          "technical": "bugs, pannes, erreurs",
          "sales": "tarification, nouveaux forfaits",
          "other": "tout le reste"
        }
      },
      "refund": {"type": "noul", "instructions": "Le client demande-t-il un remboursement ?"},
      "urgency": {"type": "score", "instructions": "Quelle est l'urgence de ce cas ?", "criteria": ["pas urgent", "bientôt", "aujourd'hui"]}
    }
  }'

Vous obtenez :

{
  "model": "laya-multilingual",
  "answers": {
    "team": {"type": "choice", "choice": "billing", "confidence": 1.0, "probabilities": {"billing": 1.0, "technical": 0.0, "sales": 0.0, "other": 0.0}},
    "refund": {"type": "noul", "noul": 0.9794},
    "urgency": {"type": "score", "score": 1.9005, "confidence": 0.698, "legend": {"0": "pas urgent", "1": "bientôt", "2": "aujourd'hui"}, "probabilities": {"0": 0.004, "1": 0.0915, "2": 0.9045}}
  },
  "usage": {"input_tokens": 172, "output_tokens": 0}
}

La première requête charge le modèle, ce qui prend 10 à 20 secondes. Ensuite, les requêtes prennent bien moins d'une seconde sur la plupart des CPU.

état peut être une chaîne de caractères ou n'importe quel JSON. modèle accepte laya, par défaut, ou jev-latest pour le modèle que vous avez choisi dans les paramètres, ou laya-multilingual, laya-english, laya-typed-decisions pour n'en citer qu'un.

❓ Types de questions

Type	À utiliser pour	Vous obtenez
noul	Oui ou non	La probabilité du oui, de 0 à 1
choix	Choisir une option	L'option la plus probable, et une probabilité pour chacune
score	Évaluer sur une échelle	Où se situe le texte sur votre échelle, en comptant à partir de 0

noul signifie oui/non. Elle renvoie la probabilité de « oui » : 0.98 signifie très probable, 0.5 signifie aussi probable dans un sens que dans l'autre.

choix et score renvoie aussi confiance. Proche de 1 signifie qu'une réponse se démarque. Proche de 0 signifie que les probabilités sont réparties uniformément.

Pour agir sur un choix, utilisez sa valeur dans probabilités, pas confiance. Par exemple, ne créez un rapport de bug que lorsque technique est supérieure à 0.8. Laya et Jev calculent la confiance différemment, alors ne réutilisez pas vos seuils de confiance Jev.

Chaque requête prend en charge jusqu'à 64 questions, avec jusqu'à 255 options par choix et 10 niveaux par score.

Démo de préparation de valise en temps réel, propulsée par Laya local via l'API de décision d'Unsloth : les articles de la valise se mettent à jour au fur et à mesure que vous tapez et modifiez vos plans de voyage

🔁 Migration depuis Jev

Installez le SDK avec pip install typesafe-sdk, définissez deux variables d'environnement, et votre code existant communique avec Unsloth :

export TYPESAFE_BASE_URL=http://localhost:8888
export TYPESAFE_API_KEY=sk-unsloth-YOUR_KEY

Le modèle par défaut du SDK, jev-latest, correspond au modèle que vous avez choisi dans les paramètres.

Deux choses diffèrent de Jev. confiance utilise une formule différente, donc un seuil réglé sur Jev ne sera pas transférable ; seuil sur probabilités à la place. Et les options d'un choix partagent un budget fixe de tokens, donc au-delà d'environ 20 options décrites, les libellés sont tronqués.