🖥️Inference & Bereitstellung

Lerne, wie du dein feinabgestimmtes Modell speicherst, damit du es in deiner bevorzugten Inferenz-Engine ausführen kannst.

Sie können Ihre feinabgestimmten Modelle auch ausführen mit Unsloths 2x schnellerer Inferenz.

llama.cpp - Speichern als GGUF

vLLM

Ollama

LM Studio

SGLang

Unsloth-Inferenz

Fehlerbehebung

llama-server & OpenAI-Endpunkt

Toolaufruf

LLMs auf Ihrem Telefon ausführen