🦥Unsloth-Dokumentation

Unsloth ermöglicht es dir, KI-Modelle auf deiner eigenen lokalen Hardware auszuführen und zu trainieren.

Unsere Dokus führen dich Schritt für Schritt durch das lokale Ausführen und Trainieren deines eigenen Modells.

Los geht's Unser GitHub

Wir stellen vor: Unsloth Studio

Eine neue Open-Source-Web-UI ohne Code zum Trainieren und Ausführen von LLMs.

Modelle mit Unsloth Studio ausführen

GGUF-Modelle auf deinem lokalen Mac, Windows und Linux ausführen.

Qwen3.5

Die neuen kleinen und mittelgroßen Qwen3.5-LLMs sind da!

NVIDIA Nemotron 3

Führe die neuen 4B- und 120B-Modelle von NVIDIA aus.

Schnelleres MoE ist da!

Trainiere MoE-LLMs 12x schneller mit weniger VRAM.

Claude Code & Codex

Lerne, lokale LLMs über Claude & OpenAI auszuführen.

Qwen3-Coder-Next

Führe das neue 80B-Coding-Modell aus und fine-tune es.

GLM-4.7-Flash

Führe das 30B-Modell für agentisches Coding aus und fine-tune es.

🦥 Warum Unsloth?

• Wir arbeiten direkt mit den Teams hinter gpt-oss, Qwen3, Llama 4, Mistral, Gemma 1-3 und Phi-4zusammen, wobei wir kritische Fehler behoben haben die die Modellgenauigkeit erheblich verbessert haben. Andrej Karpathy hat zum Beispiel unsere Arbeit gelobt.

• Unsloth vereinfacht lokales Training, Inferenz, Daten und Deployment

• Unsloth unterstützt Inferenz und Training für über 500 Modelle: Vision, TTS, Embedding, RL

⭐ Funktionen

Unsloth ermöglicht es dir, Modelle für Text, Audio, Embedding, Vision und mehr auszuführen und zu trainieren. Unsloth bietet viele wichtige Funktionen sowohl für Inferenz als auch für Training:

Inferenz

• Suche + herunterladen + führe jedes Modell aus, wie GGUFs, LoRA-Adapter, safetensors.

• Selbstheilende Tool-Aufrufe / Websuche und Aufrufe OpenAI-kompatibler APIs.

• Automatische Inferenz-Parameter anpassen und Chat-Vorlagen bearbeiten.

• Exportieren oder speichern deines Modells als GGUF, 16-Bit-Safetensor usw.

• Ausgaben vergleichen mit zwei verschiedenen Modellen nebeneinander.

Training

• Trainiere und RL über 500 Modelle ~2x schneller mit ~70 % weniger VRAM (ohne Genauigkeitsverlust)

• Unterstützt Full Fine-Tuning, Pre-Training, 4-Bit-, 16-Bit- und FP8-Training.

• Datensätze automatisch erstellen aus PDF-, CSV- und DOCX-Dateien. Bearbeite Daten in einem visuellen Node-Workflow.

• Beobachtbarkeit: Training live überwachen, Loss verfolgen, GPU-Nutzung, Diagramme anpassen

• Am effizientesten Reinforcement Learning Bibliothek, die für GRPO 80 % weniger VRAM verwendet, FP8 usw.

• Multi-GPU funktioniert, aber eine deutlich bessere Version kommt bald!

Schnellstart

Unsloth unterstützt MacOS, Linux, Windows, NVIDIAIntel und CPU-Setups. Siehe: Unsloth-Anforderungen. Verwende denselben Befehl zum Aktualisieren:

MacOS, Linux, WSL:

Windows PowerShell:

Docker

Verwende unser offizielles Docker-Image: unsloth/unsloth das derzeit für Windows, WSL und Linux funktioniert. MacOS-Unterstützung kommt bald.

Unsloth starten

Neue Modelle

Kimi K2.5

MiniMax-M2.5

GLM-5

Was ist Fine-Tuning und RL? Warum?

Fine-Tuning eines LLMs passt sein Verhalten an, erweitert Fachwissen und optimiert die Leistung für bestimmte Aufgaben. Durch das Fine-Tuning eines vortrainierten Modells (z. B. Llama-3.1-8B) auf einem Datensatz kannst du:

• Wissen aktualisieren: Neue domänenspezifische Informationen einführen.

• Verhalten anpassen: Ton, Persönlichkeit oder Antwortstil des Modells anpassen.

• Für Aufgaben optimieren: Genauigkeit und Relevanz für bestimmte Anwendungsfälle verbessern.

Reinforcement Learning (RL) ist, wenn ein „Agent“ lernt, Entscheidungen zu treffen, indem er mit einer Umgebung interagiert und Feedback in Form von Belohnungen oder Strafen.

• Aktion: Was das Modell erzeugt (z. B. einen Satz).

• Belohnung: Ein Signal, das angibt, wie gut oder schlecht die Aktion des Modells war (z. B. ob die Antwort den Anweisungen gefolgt ist? War sie hilfreich?).

• Umgebung: Das Szenario oder die Aufgabe, an der das Modell arbeitet (z. B. die Frage eines Nutzers beantworten).

Beispiele für Fine-Tuning- oder RL-Anwendungsfälle:

• Ermöglicht LLMs vorherzusagen, ob eine Schlagzeile ein Unternehmen positiv oder negativ beeinflusst.

• Kann historische Kundeninteraktionen für genauere und individuellere Antworten nutzen.

• LLM auf juristische Texte fine-tunen für Vertragsanalyse, Rechtsprechungsrecherche und Compliance.

Du kannst dir ein fein abgestimmtes Modell als einen spezialisierten Agenten vorstellen, der dafür entwickelt wurde, bestimmte Aufgaben effektiver und effizienter zu erledigen. Fine-Tuning kann alle Fähigkeiten von RAG replizieren, aber nicht umgekehrt.