🖥️Inférence & Déploiement

Apprenez comment sauvegarder votre modèle affiné afin de pouvoir l'exécuter dans votre moteur d'inférence préféré.

Vous pouvez également exécuter vos modèles ajustés en utilisant l'inférence 2x plus rapide d'Unsloth.

llama.cpp - Enregistrement au format GGUF

vLLM

Ollama

LM Studio

SGLang

Inférence Unsloth

Dépannage

llama-server et point de terminaison OpenAI

Arguments du moteur vLLM

Hotswapping LoRA

Appel d'outil