🦥Unsloth-Dokumentation

Unsloth ermöglicht es dir, KI-Modelle auf deiner eigenen lokalen Hardware auszuführen und zu trainieren.

Unsere Dokus führen dich durch das lokale Ausführen und Trainieren deines eigenen Modells.

Loslegen Unser GitHub

Einführung in Unsloth Studio

Eine neue Open-Source-Weboberfläche ohne Code zum Trainieren und Ausführen von LLMs.

Modelle mit Unsloth Studio ausführen

GGUF-Modelle auf deinem lokalen Mac, Windows und Linux ausführen.

Qwen3.5

Neue Qwen3.5 Small- und Medium-LLMs sind da!

NVIDIA Nemotron 3

Die neuen 4B- und 120B-Modelle von NVIDIA ausführen.

Schnelleres MoE ist da!

Trainiere MoE-LLMs 12x schneller mit weniger VRAM.

Claude Code & Codex

Lerne, lokale LLMs über Claude & OpenAI auszuführen.

Qwen3-Coder-Next

Das neue 80B-Coding-Modell ausführen und feinabstimmen.

GLM-4.7-Flash

Das 30B-Modell für agentisches Programmieren ausführen und feinabstimmen.

🦥 Warum Unsloth?

• Wir arbeiten direkt mit den Teams zusammen hinter gpt-oss, Qwen3, Llama 4, Mistral, Gemma 1-3 und Phi-4, wobei wir kritische Fehler behoben haben die die Modellgenauigkeit erheblich verbessert haben.

• Unsloth optimiert lokales Training, Inferenz, Daten und Bereitstellung

• Unsloth unterstützt Inferenz und Training für über 500 Modelle: Vision, TTS, Embedding, RL

⭐ Funktionen

Unsloth ermöglicht es dir, Modelle für Text Audio, Embedding, Vision und mehr auszuführen und zu trainieren. Unsloth bietet viele wichtige Funktionen sowohl für Inferenz als auch für Training:

Inferenz

• Suche + lade herunter + führe jedes Modell aus, z. B. GGUFs, LoRA-Adapter, Safetensors.

• Selbstheilende Tool-Aufrufe / Websuche und Aufruf OpenAI-kompatibler APIs.

• Automatische Inferenzparameter- Optimierung und Bearbeitung von Chat-Templates.

• Exportieren oder speichern deines Modells als GGUF, 16-Bit-Safetensor usw.

• Ausgaben vergleichen mit zwei verschiedenen Modellen nebeneinander.

Training

• Trainiere über 500 Modelle etwa 2x schneller mit etwa 70 % weniger VRAM (kein Genauigkeitsverlust)

• Unterstützt Full Fine-Tuning, Pre-Training, 4-Bit-, 16-Bit- und FP8-Training.

• Datensätze automatisch erstellen aus PDF-, CSV-, DOCX-Dateien. Bearbeite Daten in einem visuellen Node-Workflow.

• Beobachtbarkeit: Training live überwachen, Loss und GPU-Auslastung verfolgen, Diagramme anpassen

• Am effizientesten Bestärkendes Lernen Bibliothek, die 80 % weniger VRAM für GRPO nutzt, FP8 usw.

• Multi-GPU funktioniert, aber eine viel bessere Version kommt bald!

Schnellstart

Unsloth unterstützt MacOS, Linux, Windows, NVIDIA, Intel und CPU-Setups. Siehe: Unsloth-Anforderungen

MacOS, Linux, WSL:

Windows PowerShell:

Docker

Nutze unser offizielles Docker-Image: unsloth/unsloth das derzeit für Windows, WSL und Linux funktioniert. MacOS-Unterstützung kommt bald.

Unsloth starten

Neue Modelle

Kimi K2.5

MiniMax-M2.5

GLM-5

Was ist Fine-Tuning und RL? Warum?

Fine-Tuning eines LLMs passt sein Verhalten an, erweitert Fachwissen und optimiert die Leistung für bestimmte Aufgaben. Durch das Fine-Tuning eines vortrainierten Modells (z. B. Llama-3.1-8B) auf einem Datensatz kannst du:

• Wissen aktualisieren: Neue fachspezifische Informationen einbringen.

• Verhalten anpassen: Den Ton, die Persönlichkeit oder den Antwortstil des Modells anpassen.

• Für Aufgaben optimieren: Genauigkeit und Relevanz für bestimmte Anwendungsfälle verbessern.

Bestärkendes Lernen (RL) ist der Prozess, bei dem ein „Agent“ lernt, Entscheidungen zu treffen, indem er mit einer Umgebung interagiert und Feedback in Form von Belohnungen oder Strafen.

• Aktion: Was das Modell erzeugt (z. B. einen Satz).

• Belohnung: Ein Signal, das anzeigt, wie gut oder schlecht die Aktion des Modells war (z. B. ob die Antwort den Anweisungen gefolgt ist? war sie hilfreich?).

• Umgebung: Das Szenario oder die Aufgabe, an der das Modell arbeitet (z. B. die Beantwortung einer Nutzerfrage).

Beispielhafte Anwendungsfälle für Fine-Tuning oder RL:

• Ermöglicht es LLMs vorherzusagen, ob eine Überschrift ein Unternehmen positiv oder negativ beeinflusst.

• Kann historische Kundeninteraktionen für genauere und maßgeschneiderte Antworten nutzen.

• LLM auf Rechtstexte feinabstimmen für Vertragsanalyse, Rechtsprechungsrecherche und Compliance.

Du kannst dir ein feinabgestimmtes Modell als einen spezialisierten Agenten vorstellen, der dafür entwickelt wurde, bestimmte Aufgaben effektiver und effizienter zu erledigen. Fine-Tuning kann alle Fähigkeiten von RAG nachbilden, aber nicht umgekehrt.