🦥Unsloth-Dokumentation

Unsloth ermöglicht es Ihnen, KI-Modelle auf Ihrer eigenen lokalen Hardware auszuführen und zu trainieren.

Unsere Doku führt Sie durch das lokale Ausführen und Trainieren Ihres eigenen Modells.

Loslegen Unser GitHub

Qwen3.6

Das neue Modell Qwen3.6-27B ist da!

Unsloth-API-Endpunkt

Führen Sie Inferenz mit Unsloth über unsere neue API aus.

Google Gemma 4

Führen und trainieren Sie Googles neue Gemma-4-Modelle!

NVIDIA Nemotron 3 Omni

Führen Sie das stärkste 30B-Omi-Modell lokal aus.

Unsloth Studio vorstellen

Neue offene No-Code-Oberfläche zum Trainieren und Ausführen von LLMs.

Kimi K2.6

Führen Sie das neue SOTA-Open-Model aus.

🦥 Warum Unsloth?

• Wir arbeiten direkt mit den Teams hinter gpt-oss, Qwen3, Llama 4, Mistral, Gemma 1-3 und Phi-4, wobei wir kritische Fehler behoben haben die die Modellgenauigkeit erheblich verbessert haben. Andrej Karpathy hat zum Beispiel unsere Arbeit gelobt.

• Unsloth vereinfacht lokales Training, Inferenz, Daten und Bereitstellung

• Unsloth unterstützt Inferenz und Training für über 500 Modelle: Vision, TTS, Embedding, RL

⭐ Funktionen

Unsloth ermöglicht es Ihnen, Modelle für Text, Audio, Embedding, Vision und mehr auszuführen und zu trainieren. Unsloth bietet viele wichtige Funktionen sowohl für Inferenz als auch für Training:

Inferenz

• Suchen + herunterladen + jedes Modell ausführen, z. B. GGUFs, LoRA-Adapter, Safetensors.

• Selbstheilende Tool-Aufrufe / Websuche und Aufruf von OpenAI-kompatiblen APIs.

• Automatische Inferenzparameter optimieren und Chatvorlagen bearbeiten.

• Exportieren oder speichern Sie Ihr Modell als GGUF, 16-Bit-Safetensor usw.

• Ausgaben vergleichen mit zwei verschiedenen Modellen nebeneinander.

Training

• Trainieren und RL über 500 Modelle ~2x schneller mit ~70 % weniger VRAM (kein Genauigkeitsverlust)

• Unterstützt Full Fine-Tuning, Pre-Training, 4-Bit-, 16-Bit- und FP8-Training.

• Datensätze automatisch erstellen aus PDF-, CSV- und DOCX-Dateien. Daten in einem visuellen Node-Workflow bearbeiten.

• Beobachtbarkeit: Training live überwachen, Loss und GPU-Auslastung verfolgen, Diagramme anpassen

• Effizienteste Reinforcement-Learning- Bibliothek, die für GRPO 80 % weniger VRAM verwendet, FP8 usw.

• Multi-GPU funktioniert, aber eine viel bessere Version kommt bald!

Schnellstart

Unsloth unterstützt MacOS, Linux, Windows, NVIDIA, Intel- und CPU-Setups. Siehe: Unsloth-Anforderungen. Verwenden Sie dieselben Befehle zum Aktualisieren:

MacOS, Linux, WSL:

Windows PowerShell:

Docker

Verwenden Sie unser offizielles Docker-Image: unsloth/unsloth das derzeit für Windows, WSL und Linux funktioniert. MacOS-Unterstützung kommt bald.

Unsloth starten

Was ist Fine-Tuning und RL? Warum?

Fine-Tuning eines LLM passt sein Verhalten an, erweitert das Domänenwissen und optimiert die Leistung für bestimmte Aufgaben. Durch das Fine-Tuning eines vortrainierten Modells (z. B. Llama-3.1-8B) auf einem Datensatz können Sie:

• Wissen aktualisieren: Neue domänenspezifische Informationen einbringen.

• Verhalten anpassen: Ton, Persönlichkeit oder Antwortstil des Modells anpassen.

• Für Aufgaben optimieren: Genauigkeit und Relevanz für bestimmte Anwendungsfälle verbessern.

Reinforcement Learning (RL) ist, wenn ein „Agent“ lernt, Entscheidungen zu treffen, indem er mit einer Umgebung interagiert und Feedback in Form von Belohnungen oder Strafen.

• Aktion: Was das Modell erzeugt (z. B. einen Satz).

• Belohnung: Ein Signal, das angibt, wie gut oder schlecht die Aktion des Modells war (z. B. ob die Antwort den Anweisungen gefolgt ist? War sie hilfreich?).

• Umgebung: Das Szenario oder die Aufgabe, an der das Modell arbeitet (z. B. die Beantwortung einer Frage eines Nutzers).

Beispiele für Fine-Tuning- oder RL-Anwendungsfälle:

• Ermöglicht es LLMs vorherzusagen, ob eine Überschrift ein Unternehmen positiv oder negativ beeinflusst.

• Kann historische Kundeninteraktionen für genauere und individuellere Antworten nutzen.

• LLM mit Rechtstexten feinabstimmen für Vertragsanalyse, Rechtsprechungsrecherche und Compliance.

Sie können sich ein feinabgestimmtes Modell als einen spezialisierten Agenten vorstellen, der dafür entwickelt wurde, bestimmte Aufgaben effektiver und effizienter auszuführen. Fine-Tuning kann alle Fähigkeiten von RAG replizieren, aber nicht umgekehrt.