Erste Schritte mit Unsloth Studio

Unsloth Studio ist eine lokale, browserbasierte GUI zum Finetuning von LLMs, ohne Code zu schreiben. Es verpackt die Trainingspipeline in eine übersichtliche Oberfläche, die das Laden von Modellen, das Formatieren von Datensätzen, die Konfiguration von Hyperparametern und die Live-Überwachung des Trainings übernimmt.

UnslothDatenrezeptExportiereChat

Unsloth Studio einrichten

Mit Unsloth Desktop installieren. Der einfachste Weg, Unsloth Studio zu installieren, ist mit der nativen Desktop-App. Lade sie für dein Betriebssystem herunter:

• Download für macOS

• Download für Windows

• Download für Linux

Für eine manuelle Installation von Unsloth Studio verwende die folgenden Befehle:

curl -fsSL https://unsloth.ai/install.sh | sh

irm https://unsloth.ai/install.ps1 | iex

brew install --cask unsloth

brew upgrade --cask unsloth

winget install --id UnslothAI.Unsloth -e

winget upgrade --id UnslothAI.Unsloth -e

Starten Sie Unsloth Studio zunächst entweder über eine lokale Installation oder eine Cloud-Option. Folgen Sie der Installationsanleitung für Ihr Setup, oder nutzen Sie unser kostenloses Colab Notebook. Für ein lokales Setup führen Sie Folgendes aus:

unsloth studio

Öffnen Sie den Browser Ihrer Wahl und gehen Sie zu http://127.0.0.1:8888. Sie müssen ein neues Passwort erstellen.

Unsloth sicher mit HTTPS und Cloudflare starten. Unsloth bietet jetzt eine sichere Möglichkeit, Unsloth über HTTPS durch einen kostenlosen Cloudflare-Tunnel zu starten. Verwenden Sie das Folgende (funktioniert unter Windows, Mac und Linux):

Kopieren

unsloth studio --secure

Chat - Schnellstart

Unsloth Studio Chat ermöglicht es Ihnen, Modelle 100 % offline auf Ihrem Computer auszuführen. Führen Sie Modellformate wie GGUF und safetensors von Hugging Face oder aus Ihren lokalen Dateien aus.

• Herunterladen + Ausführen jedes Modell wie GGUFs, feinabgestimmte Adapter, safetensors usw.

• Vergleichen verschiedene Modelle Ausgaben nebeneinander

• Hochladen Dokumente, Bilder und Audio in Ihren Prompts

• Anpassen Inferenz Einstellungen wie: Temperatur, Top-p, Top-k und Systemprompt

Sie können unser detailliertes Tutorial / unseren Leitfaden zum Ausführen von Modellen mit Unsloth Studio hier lesen:

Modell-Ladeleitfaden

Bevor Sie die API verwenden, müssen Sie das Modell laden das Sie verwenden möchten in Unsloth. Öffnen Sie das Modell auswählen Dropdown-Menü in der oberen linken Ecke der Chat-Seite.

Modell auswählen

Verwenden Sie die Suchleiste, um das Modell zu finden, das Sie in Unsloth laden möchten.

Durchsuchen Sie empfohlene Modelle, suchen Sie direkt nach Hugging-Face-Modellen oder legen Sie ein benutzerdefiniertes Modellverzeichnis fest.

Lokal trainierte und exportierte Modelle können aus dem Tab `Feinabgestimmt` geladen werden.

GGUF-Auswahl

Model-Repositories enthalten mehrere Quantisierungen. Wählen Sie die Quantisierung aus, die für Ihren verfügbaren RAM / VRAM am besten geeignet ist. In diesem Leitfaden verwenden wir unsloth/gemma-4-26B-A4B-it-GGUF und wählen die empfohlene UD-Q4_K_XL Variante aus

Das Modell wird heruntergeladen

Suchen Sie nach dem Modell, das Sie verwenden möchten, und dann klicken Sie darauf um mit dem Herunterladen und Laden zu beginnen.

Nach der Auswahl einer Modellvariante beginnt Unsloth, das Modell herunterzuladen und in den Speicher zu laden.

Sobald das Laden abgeschlossen ist, sehen Sie die folgende Bestätigung:

Das Modell ist geladen und bereit zur Verwendung. Sie können jetzt direkt in Unsloth mit dem Modell chatten oder es mit Tools verbinden wie Claude Code und Codex.

Unsloth - Schnellstart

Die Unsloth Studio-Startseite hat 4 Hauptbereiche: Modell, Datensatz, Parameter, und Training/Konfiguration

• Einfache Einrichtung für Modelle und Daten von Hugging Face oder lokalen Dateien

• Flexible Trainingsoptionen wie QLoRA, LoRA oder Full Finetuning, mit ausgefüllten Standardwerten

• Hilfreiche Konfigurationstools für Splits, Spaltenzuordnung, Hyperparameter und YAML-Konfigurationen

• Große Trainingsübersicht mit Live-Fortschritt, GPU-Statistiken, Diagrammen und Startstatus

1. Modell und Methode auswählen

Modelltyp

Wählen Sie die Modalität, die zu Ihrem Anwendungsfall passt:

Trainingsmethode

Es stehen drei Methoden zur Verfügung, umgeschaltet mit einem Pillen-Selektor:

Geben Sie einen beliebigen Hugging-Face-Modellnamen ein oder suchen Sie direkt über das Kombinationsfeld im Hub. Lokale Modelle, die in ~/.unsloth/studio/models gespeichert sind, und Ihr Hugging-Face-Cache erscheinen ebenfalls in der Liste.

Wenn Sie ein Modell auswählen, ruft Unsloth automatisch seine Konfiguration vom Backend ab und füllt sinnvolle Standardwerte für alle Hyperparameter vor.

HuggingFace-Token

Fügen Sie hier Ihr Hugging-Face-Zugriffstoken ein, wenn das Modell gesperrt ist (z. B. Llama, Gemma). Das Token wird in Echtzeit validiert und bei Ungültigkeit wird ein Fehler direkt angezeigt.

2. Datensatz

Wechseln Sie zwischen zwei Tabs, um auszuwählen, woher Ihre Daten stammen:

• HuggingFace Hub - Live-Suche im Hub. Das Datum der letzten Aktualisierung wird für jedes Ergebnis angezeigt.

• Lokal - per Drag-and-Drop oder Klick eine Datei hochladen, unstrukturierte oder strukturierte Dateien wie: PDF, DOCX, JSONL, JSON, CSV, oder Parquet Format. Zuvor hochgeladene Datensätze erscheinen in einer Liste, die sich automatisch aktualisiert.

Sie können unseren detaillierten Datensatz-Leitfaden hier ansehen.

Weisen Sie Unsloth an, wie Ihre Daten interpretiert und formatiert werden sollen:

Splits und Slicing

• Teilmenge - wird automatisch aus der Dataset-Karte übernommen.

• Train-Split / Eval-Split - wählen Sie aus, welche Splits verwendet werden sollen. Das Festlegen eines Eval-Splits aktiviert den Eval-Verlust Diagramm während des Trainings.

• Datensatz-Ausschnitt - optional das Training auf einen Zeilenbereich einschränken (Startindex / Endindex) für schnelle Experimente.

Spaltenzuordnung

Wenn Unsloth Ihre Datensatzspalten nicht automatisch den richtigen Rollen zuordnen kann, öffnet sich ein Dialog zur Datensatzvorschau Er zeigt Beispielzeilen und ermöglicht es Ihnen, jede Spalte zuzuordnen zu instruction, input, output, Bild-, usw. Vorgeschlagene Zuordnungen werden, wo möglich, vorab ausgefüllt.

3. Hyperparameter

Parameter sind in einklappbare Abschnitte gruppiert. Sie können unseren detaillierten Leitfaden zu LoRA-Hyperparametern hier ansehen:

LoRA-Einstellungen

(Ausgeblendet, wenn Full Finetuning ausgewählt ist)

Für Vision bei Modellen mit einem Bilddatensatz erscheinen vier zusätzliche Kontrollkästchen. Finetuning von:

Trainings-Hyperparameter

In drei Tabs organisiert:

4. Training und Konfiguration

Die Karte unten rechts hat drei Schaltflächen zur Konfigurationsverwaltung und die Training starten Schaltfläche.

Die Schaltfläche Training starten bleibt deaktiviert, bis sowohl ein Modell als auch ein Datensatz konfiguriert sind. Validierungsfehler werden direkt angezeigt - zum Beispiel, wenn Eval-Schritte festgelegt werden, ohne einen Eval-Split auszuwählen, oder wenn ein reines Textmodell mit einem Vision-Datensatz kombiniert wird.

Ladebildschirm

Nachdem Sie auf Training startenklicken, erscheint ein Overlay über die gesamte Seite, während das Backend alles vorbereitet.

Das Overlay zeigt ein animiertes Terminal mit Live-Phasenaktualisierungen:

• Blau: Modell / Datensatz wird heruntergeladen

• Bernstein: Modell / Datensatz wird geladen

• Blau: Konfigurieren

• Grün: Training

Sie können jederzeit abbrechen mit der × Schaltfläche in der Ecke. Bevor etwas gestoppt wird, erscheint ein Bestätigungsdialog.

Trainingsfortschritt und Beobachtbarkeit

Sobald der erste Trainingsschritt erreicht ist, wird das Overlay ausgeblendet und die Live-Trainingsansicht wird angezeigt. Der Finetuning-Prozess ist abgeschlossen, wenn die Schritte in der Fortschrittsanzeige 100 % erreichen. Sie können die verstrichene Zeit und die Tokens sehen.

Diagramme

Vier Live-Diagramme werden aktualisiert, während das Training voranschreitet:

1. Trainingsverlust - Rohwerte plus eine EMA-geglättete Linie und eine Referenzlinie des laufenden Durchschnitts

2. Lernrate - die LR-Plan-Kurve

3. Gradienten-Norm - Gradienten-Norm über die Schritte hinweg

4. Eval-Verlust - wird nur angezeigt, wenn Sie einen Eval-Split konfiguriert haben

Jedes Diagramm hat Einstellungen (Zahnradsymbol) mit:

Option

Standard

Ansichtsfenster

Schieberegler für die letzten N Schritte

EMA-Glättung

0.6

Roh anzeigen

An

Geglättet anzeigen

An

Durchschnittslinie anzeigen

An

Skalierung (pro Reihe)

Linear / Log

Ausreißerbegrenzung

Keine Begrenzung / p99 / p95

Konfigurationsdateien

Alle Trainingskonfigurationen können als YAML-Dateien gespeichert und neu geladen werden. Dateien werden automatisch benannt als:

Das YAML ist in drei Abschnitte unterteilt:

Dadurch ist es einfach, Läufe zu reproduzieren, Konfigurationen zu teilen oder Ihre Experimente zu versionieren.

Data Recipes - Schnellstart

Unsloth Data Recipes ermöglicht Ihnen, Dokumente wie PDFs oder CSV-Dateien hochzuladen und sie in nutzbare Datensätze umzuwandeln. Erstellen und bearbeiten Sie Datensätze visuell über einen Workflow mit Graph-Knoten.

Die Rezepteseite ist der zentrale Einstiegspunkt. Rezepte werden lokal im Browser gespeichert, sodass Sie später zu Ihrer gespeicherten Arbeit zurückkehren können. Von hier aus können Sie ein leeres Rezept erstellen oder ein geführtes Lernrezept öffnen.

Data Recipes folgt demselben grundlegenden Ablauf. Sie öffnen die Rezepteseite, erstellen oder wählen ein Rezept, bauen den Workflow im Editor auf, validieren ihn, führen eine Vorschau aus und verarbeiten dann den vollständigen Datensatz, sobald die Ausgabe korrekt aussieht. Fügen Sie Seed-Daten und Generierungsblöcke hinzu, validieren Sie den Workflow, sehen Sie sich Beispielausgaben in der Vorschau an und starten Sie dann einen vollständigen Datensatzlauf. Unsloth Data Recipes wird von NVIDIA unterstützt DataDesigner.

Ein typischer Workflow sollte auf einen Blick so aussehen:

1. Öffnen Sie die Rezepteseite.

2. Erstellen Sie ein neues Rezept oder öffnen Sie ein vorhandenes.

3. Fügen Sie Blöcke hinzu, um Ihren Datensatz-Workflow zu definieren.

4. Klicken Sie auf Validieren um Konfigurationsprobleme frühzeitig zu erkennen.

5. Führen Sie eine Vorschau aus, um Beispielzeilen schnell zu prüfen.

6. Führen Sie einen vollständigen Datensatzaufbau aus, wenn das Rezept bereit ist.

7. Verfolgen Sie Fortschritt und Ausgabe live im Diagramm oder in Ausführungen Ansicht für weitere Details.

8. Wählen Sie den resultierenden Datensatz in Unsloth und ein Modell feinabstimmen.

Export - Schnellstart

Verwenden Sie in Unsloth Studio 'Export', um Modelle für Bereitstellung, Weitergabe oder lokale Inferenz in Unsloth, llama.cpp, Ollama, vLLM und mehr nach GGUF, Safetensors oder LoRA zu exportieren, zu speichern oder zu konvertieren. Exportieren Sie einen trainierten Checkpoint oder konvertieren Sie ein beliebiges vorhandenes Modell.

Hier können Sie unser ausführliches Tutorial/Handbuch zum Exportieren von Modellen mit Unsloth Studio lesen:

Video-Tutorial

Erweiterte Einstellungen

CLI-Befehle

Die Unsloth-CLI (cli.py) bietet die folgenden Befehle:

Projektstruktur

API-Referenz

Alle Endpunkte erfordern ein gültiges JWT Authorization: Bearer <token> Header (außer /api/auth/* und /api/health).