For the complete documentation index, see llms.txt. This page is also available as Markdown.

Einführung von Unsloth Desktop

Unsloth Desktop (Beta) ist eine kostenlose, Open-Source- App zum Ausführen und Trainieren von KI-Modellen auf Ihrer eigenen lokalen Hardware. Verfügbar für macOS, Windows und Linux.

Mit Unsloth können Sie LLMs ausführen, trainieren und bereitstellen, Diffusions- Bild/Video- MLX, GGUF- und Audiomodelle.

HerunterladenFunktionenGitHub

Funktionen

Entdecken Sie alle Funktionen in unserem ausführlichen Feature-Deep-Dive: Feature Deep Dive ->

Loslegen 🦥

Unsloth ist eine auf Tauri basierende App. Installieren Sie sie, laden Sie Modelle herunter und beginnen Sie zu chatten!

Unsloth Desktop herunterladen:macOSWindowsLinux und WSL

1

Unsloth Desktop installieren

  1. Herunterladen Unsloth Desktop

  2. Installieren Sie die App für macOS, Windows, Linux

  3. Starten Sie die App

2

Wählen Sie ein Modell

Öffnen Sie oben das Dropdown „Modell auswählen“ oder den Tab „Model Hub“, wählen Sie ein Modell und eine Quantisierung, die zu Ihrem Gerät passt, und laden Sie es dann herunter. Sobald der Download abgeschlossen ist, können Sie sofort chatten – keine Einrichtung erforderlich.

3

Unsloth ist jetzt bereit

Zum Chatten geben Sie eine Nachricht ein und drücken Sie Enter.

Feature Deep Dive ⭐

Sehen Sie alles, was Unsloth Desktop zu bieten hat:

Berechtigungen steuern

Unsloth bietet wie Claude Code und Codex Berechtigungskontrollen für jedes Modell, das Tool-Aufrufe verwendet. Das bedeutet, dass das Modell und Unsloth ohne Ihre Zustimmung nicht auf Ihre Dateien zugreifen, sie ändern oder bearbeiten oder das Internet nutzen können.

Sie können das gewünschte Zugriffslevel wählen: Unsloth kann Tools in einer sicheren Umgebung ausführen, um Ihr System zu schützen, oder Sie können alternativ direkten Zugriff auf Ihre Dateien und deren Bearbeitung erlauben.

Jeder Endpoint. Jedes Tool.

Unsloth beseitigt die Barriere zwischen Ihrem Inferenz-Setup und Ihrem Workflow. Egal, ob Ihr Modell über die Inferenz von Unsloth oder über Ihren eigenen entfernten OpenAI-kompatiblen Endpoint läuft, Sie können ihm Zugriff auf die vollständige Tool-Suite von Unsloth geben, einschließlich Websuche, Codeausführung, Deep Research und mehr.

Modell überall zugreifen

Stellen Sie Ihr Modell lokal oder über HTTPS über Unsloths kostenloses Cloudflare-Tunnel bereit. Prüfen Sie einen Lauf von Ihrem Telefon, Ihrem Laptop oder von überall sonst, wo Sie gerade sind.

Binden Sie die App mit -H 0.0.0.0 an Ihr Netzwerk oder öffnen Sie einen kostenlosen Cloudflare-Tunnel für HTTPS.

Codeausführung

Erhalten Sie bis zu 50 % präzisere Tool-Aufrufe mit selbstheilenden Tool-Aufrufen, die Fehler automatisch erkennen, reparieren und erneut versuchen.

Führen Sie Bash und Python in einer sicheren Umgebung aus. Unsloth bietet eine zuverlässigere Beendigung von Aufrufen, um Schleifen zu reduzieren, bessere Heilung und Deduplizierung, um XML-Lecks zu verhindern.

In Ihrem lokalen Netzwerk bereitstellen

Verbinden Sie Unsloth mit Ihrem WLAN- oder kabelgebundenen Netzwerk und stellen Sie Unlosth über LAN bereit. Der Datenverkehr verlässt niemals Ihr Netzwerk, daher ist die Latenz niedrig, und es funktioniert auch ganz ohne Internet.

Drücken Sie Start auf der LAN-Zugriff -Karte oder starten Sie mit -H 0.0.0.0.

Bild- und Videogenerierung

Für MiniMax-H3 FP8 auf einer NVIDIA B200 sank eine Generierung mit 960×544, 124 Frames und 8 Schritten von über 70 Sekunden auf 13 Sekunden. Generieren Sie mit FLUX, Z-Image, LTX, Wan und fein abgestimmten LoRA-Adaptern.

Vorhandene Bilder transformieren, inpainten, erweitern, hochskalieren, referenzieren und bearbeiten.

Modelle per API bereitstellen

Sie können unsloth run verwenden und Modelle wie Qwen3.8 bereitstellen und alle Einstellungen ändern, einschließlich Kontextgröße, GPU-Layern, Threading, Sampling, Netzwerk und Tool-Konfiguration. Weitere Informationen finden Sie in unseren API-Dokumenten.

Sehen Sie ein Beispiel für die Verwendung der Unsloth-API mit Qwen3.8:

Verwenden Sie die neuesten Modelle

Sie können nahezu jedes Modell ausführen und trainieren, einschließlich kommender Modelle. Erwarten Sie Unterstützung ab Tag 0 für Modelle wie Qwen3.8, Gemma, Meta, NVIDIA, GLM, Gemma-Modelle und mehr. Das ist alles dank llama.cpp und Hugging Face, und wir sind außerdem stolz darauf, etwas an das Ökosystem zurückzugeben.

Cover

Meta Muse Glimmer

Deep Research

Die normale Suche nutzt das Web für ihre Antworten und findet statt, während das Modell noch nachdenkt.

Deep Research plant zuerst, sucht nach den besten Quellen und erstellt dann einen detaillierten Bericht mit allen Zitaten.

Anbieter verbinden

Sie können Unsloth direkt mit Ihrem ChatGPT/Codex-Abonnement verbinden.

Führen Sie Modelle von OpenAI, Anthropic, Ollama, llama.cpp, vLLM und mehr aus.

Verwenden Sie dieselbe Unsloth-Chat-Oberfläche für lokale und Cloud-Modelle mit Unterstützung für Tool-Aufrufe, Bildgenerierung, Prompt-Caching zur Reduzierung der Token-Nutzung unter Beibehaltung anbieternativer Funktionen wie OpenAIs Websuche und Codeausführung.

Diffusionsmodelle trainieren

Trainieren Sie LoRA-Adapter für SDXL, FLUX.2, Qwen-Image und Z-Image mit Ihren eigenen Bildern. Beschriften Sie sie in Unsloth, wählen Sie einen Rang und drücken Sie auf Trainieren. Danach können Sie sie exportieren und das Modell für die Inferenz wieder in Unsloth laden.

Ohne Code trainieren

Legen Sie einfach ein PDF, CSV oder JSON hinein und los geht's. LoRA, vollständiges Finetuning, Pretraining. Alles 2x schneller, 70 % weniger VRAM, kein Genauigkeitsverlust. Multi-GPU und die neuesten Modelle funktionieren.

Text, Diffusions- Audio- und Bild- Modelle werden unterstützt!

Audio transkribieren/generieren

Erzeugen, feinabstimmen oder transkribieren Sie Audio mit Unsloth vollständig lokal. Text-zu-Sprache, Sprache-zu-Text, Whisper, Qwen3-ASR, Sie nennen es!

Ihren Agenten verbinden

Unsloth Start ermöglicht es Ihnen, Claude Code, Codex und andere Agenten über den unsloth start Befehl mit lokalen Modellen zu verbinden.

Starten Sie Unsloth, laden Sie ein Modell, öffnen Sie Ihren Projektordner und führen Sie dann Folgendes aus:

Video-Demo

Häufig gestellte Fragen

Sammelt ihr meine Daten?

Kein Telemetrie-Tracking. Unsloth erkennt Ihren GPU-Typ und Ihr Gerät, damit die App weiß, was funktioniert. Die App kann vollständig offline ausgeführt werden.

Kann ich Modelle verwenden, die ich bereits heruntergeladen habe?

Ja, sie werden automatisch gefunden. Falls Ihre nicht gefunden werden, können Sie Ihre eigenen benutzerdefinierten Ordner angeben.

Warum ist die Inferenz manchmal langsamer?

Websuche, Codeausführung und das Heilen von Tool-Aufrufen kosten alle Zeit. Schalten Sie sie aus, und die Geschwindigkeit sollte mit jeder anderen llama.cpp-App übereinstimmen. Immer noch langsam? Öffnen Sie ein GitHub-Issue.

Nur GPU?

Nein. Unsloth funktioniert mit einer Vielzahl von CPU-, Mac- usw. Setups.

Unterstützt es OpenAI-kompatible APIs?

Ja. Siehe den API-Leitfaden. Wir unterstützen auch Verbindungen zu Cloud-Modelle oder andere APIs wie Anthropic oder OpenAI.

Welche Geräte unterstützt Unsloth?

Unsloth unterstützt alle Betriebssysteme einschließlich Mac, Windows, Linux und WSL und unterstützt NVIDIA-, Intel-, AMD- und Mac-GPUs/CPUs. Ältere Hardware wird jedoch möglicherweise nicht gut unterstützt.

Ein riesiges Dankeschön an NVIDIA und Hugging Face dafür, dass sie Teil unseres Launches sind. Vielen Dank auch an alle unsere frühen Beta-Tester für Unsloth Desktop – wir wissen Ihre Zeit und Ihr Feedback wirklich zu schätzen. Wir möchten außerdem Jan für die Inspiration danken sowie llama.cpp, PyTorch, stablediffusion.cpp und open model labs für die Bereitstellung der Infrastruktur, die Unsloth Desktop möglich gemacht hat.