🖥️Inferenz & Bereitstellung

Lerne, wie du dein feinabgestimmtes Modell speicherst, damit du es in deiner bevorzugten Inferenz-Engine ausführen kannst.

Sie können Ihre feinabgestimmten Modelle auch ausführen, indem Sie Unsloths 2x schnellere Inferenz.

Unsloth Studio Chat

llama.cpp - Speichern in GGUF

Unsloth-API-Endpunkt

vLLM

Ollama

Verbindung mit einem Anbieter

SGLang

Fehlerbehebung

llama-server & OpenAI-Endpunkt