Entscheidungsmodelle lokal mit Unsloth ausführen und bereitstellen: Laya + Jev API
Stellen Sie Entscheidungsmodelle lokal mit Unsloth bereit und führen Sie sie aus.
Führe Entscheidungsmodelle aus und stelle sie bereit wie Laya oder Clef, offene Jev-Alternativen, auf deinem lokalen Mac, Windows und Linux Gerät mit Unsloth. Entscheidungsmodelle wandeln Texteingaben in strukturierte Entscheidungen um, auf die deine Apps reagieren können - von der Weiterleitung von Support-Tickets und dem Filtern von E-Mails bis hin zu automatisierten Tags und Klassifizierungen.
Du kannst die Unsloth-GUI-Oberfläche verwenden, um Laya und Clef über eine TypeSafe-kompatible Jev-API bereitzustellen, sodass bestehende Jev-Integrationen funktionieren können, indem du sie auf deinen lokalen Server verweist.
Alle Daten bleiben auf deinem Gerät und CPU, einheitlicher Speicher, und GPU Konfigurationen werden alle unterstützt.
Sende dem Entscheidungsmodell Textstücke, definiere die Entscheidungen, die du brauchst (ja/nein, Auswahlmöglichkeiten oder Bewertungen), und erhalte kalibrierte Wahrscheinlichkeiten zurück.
🖥️ Empfohlene Einstellungen
Mehrsprachig (Standard)
4 GB RAM
678 MB
Die meisten Anwendungsfälle. Über 100 Sprachen, 1024 Token Kontext.
Englisch
5 GB RAM
846 MB
Nur Englisch. Größerer Encoder, 512-Token-Kontext.
Typisierte Entscheidungen
5 GB RAM
846 MB
Nur Englisch. Rechnungen, Sicherheitsvorfälle, Kundenservice, Agenten-Traces.
CPU ist die Standardeinstellung. Wechsle auf GPU für schnellere Antworten. Die GPU hält das Modell im Speicher, bis du Entladen drückst oder Unsloth neu startest. Wenn der GPU der Speicher ausgeht, fällt Laya auf die CPU zurück und antwortet weiter.
⚡ Schnellstart
Unsloth einrichten
Der einfachste Einstieg ist das Herunterladen der Unsloth-Desktop-App. Funktioniert auf macOS, Windows, und Linux.
Oder, wenn du lieber manuell installieren möchtest:
macOS, Linux, WSL:
Windows PowerShell:
Laya einrichten
Gehe zu Einstellungen → API → Decision API und aktiviere Anfragen bereitstellen. Das standardmäßige Laya-Modell (678 MB) beginnt dann herunterzuladen, nachdem du bestätigt hast, dass du den Download starten möchtest.
Dein API-Schlüssel befindet sich auf derselben Seite unter Zugriffstoken. Oder aktiviere Schlüsselloser API-Zugriff → Chat und Inferenz und überspringe den Schlüssel auf localhost.
Sende eine Entscheidungsanfrage
Es ist Zeit, eine Entscheidungsanfrage zu senden. In diesem Beispiel klassifizieren wir ein Support-Ticket, erkennen Rückerstattungsanfragen und bewerten die Dringlichkeit.
Du erhältst zurück:
Die erste Anfrage lädt das Modell, was 10 bis 20 Sekunden dauert. Danach dauern Anfragen auf den meisten CPUs deutlich weniger als eine Sekunde.
Zustand kann ein String oder beliebiges JSON sein. Modell akzeptiert laya, Standard, oder jev-latest für das Modell, das du in den Einstellungen gewählt hast, oder laya-multilingual, laya-english, laya-typed-decisions zum Beispiel.
❓ Fragetypen
noul
Ja oder nein
Die Wahrscheinlichkeit für Ja, von 0 bis 1
choice
Eine Option auswählen
Die wahrscheinlichste Option und eine Wahrscheinlichkeit für jede
score
Bewertung auf einer Skala
Wo der Text auf deiner Skala liegt, gezählt ab 0
noul bedeutet Ja/Nein. Es gibt die Wahrscheinlichkeit für „Ja“ zurück: 0.98 bedeutet sehr wahrscheinlich, 0.5 bedeutet in beide Richtungen gleich wahrscheinlich.
choice und score gib außerdem Konfidenz. Nahe bei 1 bedeutet, dass eine Antwort hervorsticht. Nahe bei 0 bedeutet, dass sich die Wahrscheinlichkeiten gleichmäßig verteilen.
Um auf eine Auswahl zu reagieren, verwende ihren Wert in Wahrscheinlichkeiten, nicht Konfidenz. Reiche zum Beispiel nur dann einen Fehlerbericht ein, wenn technical liegt über 0.8. Laya und Jev berechnen Vertrauen unterschiedlich, also verwende deine Jev-Vertrauensschwellen nicht erneut.
Jede Anfrage unterstützt bis zu 64 Fragen, mit bis zu 255 Optionen pro Auswahl und 10 Stufen pro Wertung.
🔁 Migration von Jev
Installiere das SDK mit pip install typesafe-sdk, setze zwei Umgebungsvariablen, und dein bestehender Code kommuniziert mit Unsloth:
Der Standardwert des SDK, jev-latest, verweist auf das Modell, das du in den Einstellungen ausgewählt hast.
Zwei Dinge unterscheiden sich von Jev. Konfidenz verwendet eine andere Formel, daher wird ein auf Jev abgestimmter Schwellenwert nicht übernommen; Schwellenwert bei Wahrscheinlichkeiten stattdessen. Und Optionen in einer Auswahl teilen sich ein festes Token-Budget, sodass nach etwa 20 beschriebenen Optionen die Beschriftungen gekürzt werden.
Zuletzt aktualisiert
War das hilfreich?