🖥️Inference & Deployment

Lerne, wie du dein finetuntes Modell speicherst, damit du es in deiner bevorzugten Inferenz-Engine ausführen kannst.

Sie können Ihre feinabgestimmten Modelle auch ausführen, indem Sie Unsloths 2x schnellere Inferenz.

llama.cpp - Speichern als GGUF

vLLM

Ollama

LM Studio

SGLang

Unsloth Inferenz

Fehlerbehebung

llama-server & OpenAI-Endpunkt

vLLM Engine-Argumente

LoRA Hotswapping

Tool-Aufruf