🦥Unsloth-Dokumentation

Unsloth ermöglicht es Ihnen, KI-Modelle auf Ihrer eigenen lokalen Hardware auszuführen und zu trainieren.

Unsere Dokumentation führt Sie durch das lokale Ausführen und Trainieren Ihres eigenen Modells.

Los geht’s Unser GitHub

Einführung in Unsloth Studio

Eine neue Open-Source-Weboberfläche ohne Code zum Trainieren und Ausführen von LLMs.

Modelle mit Unsloth Studio ausführen

GGUF-Modelle auf Ihrem lokalen Mac, Windows und Linux ausführen.

Qwen3.5

Die neuen kleinen und mittleren LLMs von Qwen3.5 sind da!

NVIDIA Nemotron 3

Die neuen 4B- und 120B-Modelle von NVIDIA ausführen.

Schnelleres MoE ist da!

Trainieren Sie MoE-LLMs 12-mal schneller mit weniger VRAM.

Claude Code & Codex

Lernen Sie, lokale LLMs über Claude & OpenAI auszuführen.

Qwen3-Coder-Next

Das neue 80B-Codierungsmodell ausführen und feinabstimmen.

GLM-4.7-Flash

Das 30B-Modell für agentisches Programmieren ausführen und feinabstimmen.

🦥 Warum Unsloth?

• Wir arbeiten direkt mit den Teams hinter gpt-oss, Qwen3, Llama 4, Mistral, Gemma 1-3 und Phi-4, wo wir kritische Fehler behoben haben die die Modellgenauigkeit erheblich verbessert haben.

• Unsloth vereinfacht lokales Training, Inferenz, Daten und Bereitstellung

• Unsloth unterstützt Inferenz und Training für über 500 Modelle: Vision, TTS, Embedding, RL

⭐ Funktionen

Unsloth ermöglicht es Ihnen, Modelle für Text, Audio, Embedding, Vision und mehr auszuführen und zu trainieren. Unsloth bietet viele wichtige Funktionen sowohl für Inferenz als auch für Training:

Inferenz

• Suchen + herunterladen + jedes Modell ausführen, z. B. GGUFs, LoRA-Adapter, Safetensors.

• Selbstheilende Tool-Aufrufe und Websuche / sowie Aufrufe von OpenAI-kompatiblen APIs.

• Automatische Inferenz-Parameter optimieren und Chatvorlagen bearbeiten.

• Exportieren oder speichern Sie Ihr Modell als GGUF, 16-Bit-Safetensor usw.

• Ausgaben vergleichen mit zwei verschiedenen Modellen nebeneinander.

Training

• Trainieren Sie über 500 Modelle etwa 2-mal schneller mit etwa 70 % weniger VRAM (kein Genauigkeitsverlust)

• Unterstützt vollständiges Fine-Tuning, Pre-Training sowie 4-Bit-, 16-Bit- und FP8-Training.

• Datensätze automatisch erstellen aus PDF-, CSV- und DOCX-Dateien. Daten in einem visuellen Node-Workflow bearbeiten.

• Beobachtbarkeit: Training live überwachen, Loss und GPU-Auslastung verfolgen, Diagramme anpassen

• Am effizientesten Reinforcement Learning -Bibliothek, die 80 % weniger VRAM für GRPO verwendet, FP8 usw.

• Multi-GPU funktioniert, aber eine viel bessere Version kommt noch!

Schnellstart

Unsloth unterstützt MacOS, Linux, Windows, NVIDIA und CPU-Setups. Siehe: Unsloth-Anforderungen

MacOS, Linux, WSL:

Windows PowerShell:

Docker

Verwenden Sie unser offizielles Docker-Image: unsloth/unsloth das derzeit für Windows, WSL und Linux funktioniert. MacOS-Unterstützung kommt bald.

Unsloth starten

Neue Modelle

Kimi K2.5

MiniMax-M2.5

GLM-5

Was ist Fine-Tuning und RL? Warum?

Fine-Tuning eines LLMs passt sein Verhalten an, erweitert das Fachwissen und optimiert die Leistung für bestimmte Aufgaben. Durch das Fine-Tuning eines vortrainierten Modells (z. B. Llama-3.1-8B) auf einem Datensatz können Sie:

• Wissen aktualisieren: Neue domänenspezifische Informationen einführen.

• Verhalten anpassen: Den Ton, die Persönlichkeit oder den Antwortstil des Modells anpassen.

• Für Aufgaben optimieren: Die Genauigkeit und Relevanz für bestimmte Anwendungsfälle verbessern.

Reinforcement Learning (RL) ist der Prozess, bei dem ein „Agent“ durch Interaktion mit einer Umgebung lernt, Entscheidungen zu treffen und Feedback in Form von Belohnungen oder Strafen.

• Aktion: Was das Modell erzeugt (z. B. einen Satz).

• Belohnung: Ein Signal, das anzeigt, wie gut oder schlecht die Aktion des Modells war (z. B. ob die Antwort den Anweisungen gefolgt ist? ob sie hilfreich war?).

• Umgebung: Die Situation oder Aufgabe, an der das Modell arbeitet (z. B. die Frage eines Nutzers beantworten).

Beispielhafte Anwendungsfälle für Fine-Tuning oder RL:

• Ermöglicht LLMs vorherzusagen, ob eine Überschrift ein Unternehmen positiv oder negativ beeinflusst.

• Kann historische Kundeninteraktionen für genauere und individuellere Antworten nutzen.

• LLM auf juristischen Texten feinabstimmen für Vertragsanalyse, Rechtsprechungsrecherche und Compliance.

Man kann sich ein feinabgestimmtes Modell als einen spezialisierten Agenten vorstellen, der darauf ausgelegt ist, bestimmte Aufgaben effektiver und effizienter auszuführen. Fine-Tuning kann alle Fähigkeiten von RAG replizieren, aber nicht umgekehrt.