🦥Wir stellen vor: Unsloth Studio
KI-Modelle lokal mit Unsloth Studio ausführen und trainieren.
Heute bringen wir Unsloth Studio (Beta) auf den Markt: eine Open-Source-Web-UI ohne Code zum Trainieren, Ausführen und Exportieren offener Modelle in einer einheitlichen lokalen Oberfläche.
GGUF ausführen und Safetensor-Modelle lokal auf Mac, Windows, Linux ausführen.
500+ Modelle 2x schneller mit 70 % weniger VRAM trainieren (kein Genauigkeitsverlust)
Text-, Vision-, TTS-Audio- und Embedding-Modelle ausführen und trainieren
Für alle neuesten Updates siehe unsere neue Changelog-Seite hier! ✨
27. März: Unsloth hat jetzt ein Desktop-Verknüpfungssymbol.
Inference ist jetzt 20–30 % schneller und wird jetzt korrekt berechnet.
Erkennt automatisch ältere oder bereits vorhandene Modelle die von Hugging Face, LM Studio usw. heruntergeladen wurden.
Der CPU-RAM-Spike tritt nicht mehr auf.
25. März: Ihr könnt Unsloth Studio jetzt aktualisieren! Bitte aktualisiere über: unsloth studio update
Windows CPU oder GPU funktioniert jetzt nahtlos. Bitte neu installieren!
App-Verknüpfungen. Sobald installiert, kannst du es jetzt über ein Verknüpfungssymbol auf dem Desktop starten.
Vorkompilierte
llama.cppBinärdateien - 6x schnellere Installationen!50 % kleinere Installationsgrößen (-7 GB oder mehr Ersparnis), 2x schnellere Installationen und schnelleres Auflösen. 50 % kleinere PyPI-Größen.
Tool-Aufrufe verbessert. Besseres llama.cpp-Parsing, kein rohes Tool-Markup im Chat, schnellere Inferenz, ein neues Tool-Outputs-Panel, Timer.
MacOS und CPU haben jetzt Datenrezepte mit Multi-Datei-Upload aktiviert.
MacOS und CPU funktionieren für Chat GGUF-Inferenz und Datenrezepte. MLX-Training kommt bald.
Kein Datensatz erforderlich. Datensätze automatisch erstellen aus PDF-, CSV-, JSON-, DOCX-, TXT Dateien.
Exportieren oder speichern dein Modell als GGUF, 16-Bit-Safetensor usw.
Selbstheilendes Tool-Calling / Websuche + Code-Ausführung
Automatische Inferenzparameter Tuning und Chat-Vorlagen bearbeiten.
⭐ Funktionen
Modelle lokal ausführen
GGUF suchen und ausführen und Safetensor-Modelle mit selbstheilendem Tool Calling / Websuche, automatischem Inferenz- Parameter-Tuning, Code-Ausführung (Bash + Python), APIs (sehr bald). Bilder, Dokumente, Audio und Code hochladen.
Modelle direkt miteinander vergleichen. Angetrieben von llama.cpp + Hugging Face unterstützen wir Multi-GPU-Inferenz und die meisten Modelle.
Code ausführen + Tool-Calling reparieren
Unsloth Studio ermöglicht es LLMs, Bash und Python auszuführen, nicht nur JavaScript. Es sandboxt außerdem Programme wie Claude Artifacts, sodass Modelle Code testen, Dateien erzeugen und Antworten mit echter Berechnung verifizieren können.
Z. B. suchte Qwen3.5-4B auf über 20 Websites und zitierte Quellen, wobei die Websuche innerhalb seines Denkprotokolls stattfand.
Training ohne Code
PDF, CSV, JSON hochladen Docs oder YAML-Konfigurationen und sofort mit dem Training auf NVIDIA beginnen. Die Kernels von Unsloth optimieren LoRA, FP8, FFT, PT über 500+ Text-, Vision-, TTS-/Audio- und Embedding-Modelle hinweg.
Die neuesten LLMs feinabstimmen wie Qwen3.5 und NVIDIA Nemotron 3. Multi-GPU funktioniert automatisch, eine neue Version ist unterwegs.
Datenrezepte
Datenrezepte wandelt deine Dokumente über einen Graph-Node-Workflow in nutzbare / synthetische Datensätze um. Lade unstrukturierte oder strukturierte Dateien wie PDFs, CSV und JSON hoch. Unsloth Data Recipes, unterstützt von NVIDIA Nemo Data Designer, wandelt Dokumente automatisch in die von dir gewünschten Formate um.
Beobachtbarkeit
Erhalte vollständige Transparenz über deine Trainingsläufe und Kontrolle darüber. Verfolge Trainingsverlust, Gradienten-Normen und GPU-Auslastung in Echtzeit und passe alles nach deinen Wünschen an.
Du kannst den Trainingsfortschritt sogar auf anderen Geräten wie deinem Smartphone ansehen.
Modelle exportieren / speichern
Exportiere jedes Modell, einschließlich deiner feinabgestimmten Modelle, als Safetensors oder GGUF zur Verwendung mit llama.cpp, vLLM, Ollama, LM Studio und mehr.
Speichert deine Trainingshistorie, sodass du Läufe erneut aufrufen, erneut exportieren und experimentieren kannst.
Model Arena
Chatte mit und vergleiche 2 verschiedene Modelle, etwa ein Basismodell und ein feinabgestimmtes Modell, um zu sehen, wie sich ihre Ausgaben unterscheiden.
Lade einfach zuerst dein erstes GGUF/Modell, dann das zweite, und voilà! Zuerst wird die Inferenz für ein Modell geladen, dann für das zweite.
Datenschutz zuerst + Sicher
Unsloth Studio kann 100 % offline und lokal auf deinem Computer verwendet werden. Die tokenbasierte Authentifizierung, einschließlich verschlüsseltem Passwort sowie JWT-Zugriffs-/Refresh-Flows, schützt deine Daten.
Du kannst bereits vorhandene / alte Modelle oder GGUFs verwenden, die zuvor von HF usw. heruntergeladen wurden. Lies Anweisungen hier.
Bitte beachte, dass dies die BETA -Version von Unsloth Studio ist. In den kommenden Tagen und Wochen kannst du viele Verbesserungen, Fehlerbehebungen und neue Funktionen erwarten. Ein Problem, an dem wir aktiv arbeiten, sind vorkompilierte llama.cpp-Binärdateien, um die Installationszeiten erheblich zu verkürzen.
⚡ Schnellstart
Unsloth Studio funktioniert unter Windows, Linux, WSL und MacOS (derzeit nur Chat).
CPU: Unsloth funktioniert weiterhin ohne GPU, aber nur für Chat Inference und Datenrezepte.
Training: Funktioniert auf NVIDIA: RTX 30, 40, 50, Blackwell, DGX Spark/Station usw. + Intel GPUs
Mac: Wie CPU - Chat und Datenrezepte funktioniert vorerst nur. MLX -Training kommt sehr bald.
AMD: Chat funktioniert. Trainiere mit Unsloth Core. Studio-Unterstützung kommt bald.
Demnächst: Trainingsunterstützung für Apple MLX und AMD.
Multi-GPU: Funktioniert bereits, ein großes Upgrade ist unterwegs.
Verwende die gleichen Installationsbefehle unten zum Aktualisieren:
MacOS, Linux, WSL:
Windows PowerShell:
Unsloth starten
Docker:
Verwende unser offizielles Docker-Image: unsloth/unsloth das derzeit für Windows, WSL und Linux funktioniert. MacOS-Unterstützung kommt bald.
Die erste Installation sollte jetzt 6x schneller und dank vorkompilierter llama.cpp-Binärdateien 50 % kleiner sein.
Weitere Details zur Installation und Deinstallation findest du im Unsloth Studio-Installations -Abschnitt.
Installation Google-Colab-Notebook
Wir haben ein kostenloses Google-Colab-Notebook erstellt, damit du alle Funktionen von Unsloth auf Colabs T4-GPUs erkunden kannst. Du kannst die meisten Modelle bis zu 22B Parametern trainieren und ausführen und für größere Modelle auf eine größere GPU wechseln. Klicke einfach auf „Run all“ und die UI sollte nach der Installation erscheinen.
Sobald die Installation abgeschlossen ist, scrolle zu Start Unsloth Studio und klicke Open Unsloth Studio im weißen Feld, das links angezeigt wird:
Scrolle weiter nach unten, um die eigentliche UI zu sehen.
Wir kompilieren llama.cpp-Binärdateien jetzt vorab, um deutlich schnellere Installationsgeschwindigkeiten zu erreichen.
Manchmal kann der Studio-Link einen Fehler zurückgeben. Das passiert, weil du möglicherweise einen Adblocker verwendest oder Mozilla bzw. Google Colab erwartet, dass du auf der Colab-Seite bleibst; wenn Inaktivität erkannt wird, kann die GPU-Sitzung beendet werden. Dennoch kannst du etwas nach unten scrollen
Workflow
Hier ist ein typischer Workflow von Unsloth Studio, um dir den Einstieg zu erleichtern:
Studio starten aus Installationsanweisungen.
Lade ein Modell aus lokalen Dateien oder aus einer unterstützten Integration.
Importiere Trainingsdaten aus PDF-, CSV- oder JSONL-Dateien oder erstelle einen Datensatz von Grund auf.
Bereinige, verfeinere und erweitere deinen Datensatz in Datenrezepte.
Beginne mit empfohlenen Voreinstellungen zu trainieren oder passe die Konfiguration selbst an.
Chatte mit dem trainierten Modell und vergleiche seine Ausgaben mit dem Basismodell.
Speichern oder exportieren lokal in den Stack, den du bereits verwendest.
Du kannst unsere einzelnen Deep-Dives zu jedem Abschnitt von Unsloth Studio lesen:
Video-Tutorials
Hier ist ein Video-Tutorial von NVIDIA, um dir den Einstieg in Studio zu erleichtern:
Video-Tutorial zur Installation von Unsloth Studio
FAQ
Sammelt oder speichert Unsloth Daten? Unsloth sammelt keine Nutzungs-Telemetriedaten. Unsloth sammelt nur die minimalen Hardware-Informationen, die für die Kompatibilität erforderlich sind, wie z. B. GPU-Typ und Gerät (z. B. Mac). Unsloth Studio läuft 100 % offline und lokal.
Wie verwende ich ein altes / vorhandenes Modell, das ich zuvor von Hugging Face heruntergeladen habe? Ja, du kannst vorhandene / alte Modelle oder GGUFs verwenden, die du zuvor von Hugging Face usw. heruntergeladen hast. Sie sollten jetzt automatisch von Unsloth erkannt werden, ansonsten lies unsere Anweisungen hier.
Warum ist die Inferenz in Unsloth manchmal langsamer? Unsloth wird, wie andere lokale Inferenz-Apps auch, von llama.cpp angetrieben, daher sollten die Geschwindigkeiten größtenteils gleich sein. Manchmal kann Unsloth langsamer sein, weil du Websuche, Codeausführung oder selbstheilendes Tool-Calling aktiviert hast. All diese Funktionen können deine Inferenz verlangsamen. Wenn der Geschwindigkeitsunterschied immer noch langsamer ist, obwohl alle Funktionen deaktiviert sind, erstelle bitte ein GitHub-Issue!
Unterstützt Unsloth Studio OpenAI-kompatible APIs? Ja, für unsere Data Recipes schon. Für die Inferenz arbeiten wir daran und hoffen, die Unterstützung dafür noch diese Woche zu veröffentlichen – also bleib dran!
Steht Unsloth jetzt unter der AGPL-3.0-Lizenz? Unsloth verwendet ein Dual-Licensing-Modell aus Apache 2.0 und AGPL-3.0. Das Kernpaket von Unsloth bleibt lizenziert unter Apache 2.0, während bestimmte optionale Komponenten, wie die Unsloth Studio UI, lizenziert sind unter AGPL-3.0.
Diese Struktur hilft dabei, die laufende Entwicklung von Unsloth zu unterstützen, während das Projekt Open Source bleibt und das breitere Ökosystem weiter wachsen kann.
Unterstützt Studio nur LLMs?
Nein. Studio unterstützt eine Reihe von transformers kompatiblen Modellfamilien, einschließlich Text-, multimodaler Modelle, Text-to-Speech, Audio, Embeddings, und BERT-ähnlichen Modellen.
Kann ich meine eigene Trainingskonfiguration verwenden? Ja. Importiere eine YAML-Konfiguration, und Studio füllt die relevanten Einstellungen vorab aus.
Wie kann ich meine Kontextlänge anpassen? Eine Anpassung der Kontextlänge ist mit dem intelligenten Auto-Kontext von llama.cpp nicht mehr nötig, da nur der Kontext verwendet wird, den du brauchst, ohne etwas Zusätzliches zu laden. Wir werden die Funktion jedoch bald trotzdem hinzufügen, falls du sie verwenden möchtest.
Muss man Modelle trainieren, um die UI zu verwenden? Nein, du kannst einfach irgendein GGUF oder Modell herunterladen, ohne irgendein Modell feinabzustimmen.
Zukunft von Unsloth
Wir arbeiten hart daran, Open-Source-KI so zugänglich wie möglich zu machen. Als Nächstes veröffentlichen wir für Unsloth und Unsloth Studio offizielle Unterstützung für: Multi-GPU, Apple Silicon/MLX und AMD. Zur Erinnerung: Dies ist die BETA-Version von Unsloth Studio, also erwarte in den kommenden Wochen viele Ankündigungen und Verbesserungen. Wir arbeiten außerdem eng mit NVIDIA an der Multi-GPU-Unterstützung zusammen, um die bestmögliche und einfachste Erfahrung zu liefern.
Danksagungen
Ein großes Dankeschön an NVIDIA und Hugging Face dafür, dass sie Teil unseres Launchs sind. Außerdem danken wir all unseren frühen Beta-Testern von Unsloth Studio; wir wissen eure Zeit und euer Feedback wirklich sehr zu schätzen. Wir möchten auch llama.cpp, PyTorch und open model labs danken, die die Infrastruktur bereitgestellt haben, durch die Unsloth Studio möglich wurde.
Zuletzt aktualisiert
War das hilfreich?