🖥️Inferenz & Bereitstellung

Erfahre, wie du dein feinabgestimmtes Modell speicherst, damit du es in deiner bevorzugten Inferenz-Engine ausführen kannst.

Sie können Ihre feinabgestimmten Modelle auch ausführen, indem Sie Unsloths 2x schnellere Inferenz.

Unsloth Studio Chat

llama.cpp - Speichern in GGUF

vLLM

Ollama

LM Studio

SGLang

Fehlerbehebung

llama-server & OpenAI-Endpunkt

Tool-Aufrufe

LLMs auf Ihrem Smartphone ausführen