Modelle mit Unsloth Studio exportieren
Lerne, wie du deine Safetensor- oder LoRA-Modell-Dateien in GGUF oder andere Formate exportierst.
Verwenden Unsloth Studio um Modelle als GGUF, Safetensors oder LoRA zu exportieren, zu speichern oder zu konvertieren für Bereitstellung, Teilen oder lokale Inferenz in Unsloth, llama.cpp, Ollama, vLLM und mehr. Exportiere einen trainierten Checkpoint oder konvertiere ein beliebiges vorhandenes Modell.
Trainingslauf auswählen
Beginne damit, den Trainingslauf auszuwählen, von dem du exportieren möchtest. Jeder Lauf stellt eine vollständige Trainingssession dar und kann mehrere Checkpoints enthalten.
Nachdem du einen Lauf ausgewählt hast, wähle den zu exportierenden Checkpoint. Ein Checkpoint ist eine während des Trainings erstellte gespeicherte Version des Modells.
Exportmethoden
Je nach Arbeitsablauf kannst du ein gemergtes Modell, LoRA-Adaptergewichte oder ein GGUF-Modell für lokale Inferenz exportieren.
Jede Exportmethode erzeugt eine andere Version des Modells, abhängig davon, wie du es betreiben oder teilen möchtest. Die folgende Tabelle erklärt, was jede Option exportiert.
Gemergtes Modell
16-Bit-Modell mit dem LoRA-Adapter in die Basisgewichte integriert.
Nur LoRA
Exportiert nur die Adaptergewichte. Erfordert das ursprüngliche Basismodell.
GGUF / llama.cpp
Konvertiert das Modell in GGUF-Format für Unsloth / llama.cpp / Ollama / LM Studio für Inferenz.
Lokal exportieren / speichern
Beim Export eines Modells kannst du wählen, wo die resultierenden Dateien gespeichert werden sollen. Modelle können direkt auf deinen Rechner heruntergeladen oder zum Hugging Face Hub hochgeladen werden, um sie zu hosten und zu teilen.
Speichere die exportierten Modelldateien direkt auf deinem Rechner. Diese Option ist nützlich, um das Modell lokal auszuführen, Dateien manuell zu verteilen oder in lokale Inferenz-Tools zu integrieren.
Zum Hub hochladen
Lade das exportierte Modell auf den Hugging Face Hub hoch. Dadurch kannst du das Modell aus einem zentralen Repository hosten, teilen und bereitstellen.
Du benötigst ein Hugging Face Schreib-Token, um das Modell zu veröffentlichen.
Wenn du bereits mit der Hugging Face CLI authentifiziert bist, kann das Schreib-Token leer gelassen werden.
Zuletzt aktualisiert
War das hilfreich?