# Arguments du moteur vLLM Arguments, drapeaux, options du moteur vLLM pour servir des modèles sur vLLM.
ArgumentExemple et cas d'utilisation
--gpu-memory-utilizationPar défaut 0,9. Quelle part de la VRAM vLLM peut utiliser. Réduisez si vous manquez de mémoire. Essayez de régler sur 0,95 ou 0,97.
--max-model-lenDéfinir la longueur maximale de séquence. Réduisez ceci si vous manquez de mémoire ! Par exemple définir --max-model-len 32768 pour n'utiliser que des longueurs de séquence de 32K.
--quantizationUtiliser fp8 pour la quantification dynamique float8. Utilisez ceci conjointement avec --kv-cache-dtype fp8 pour activer également le cache KV en float8.
--kv-cache-dtypeUtilisez fp8 pour le cache KV en float8 afin de réduire l'utilisation mémoire de 50 %.
--portPar défaut c'est 8000. Comment accéder au localhost de vLLM, par ex. http://localhost:8000
--api-keyOptionnel - Définir le mot de passe (ou aucun mot de passe) pour accéder au modèle.
--tensor-parallel-sizePar défaut 1. Divise le modèle à travers les tenseurs. Réglez ceci sur le nombre de GPU que vous utilisez - si vous en avez 4, mettez 4. 8, alors 8. Vous devriez avoir NCCL, sinon cela peut être lent.
--pipeline-parallel-sizePar défaut 1. Divise le modèle à travers les couches. Utilisez ceci avec --pipeline-parallel-size où TP est utilisé au sein de chaque nœud, et PP est utilisé à travers des configurations multi-nœuds (réglez PP sur le nombre de nœuds)
--enable-loraActive le service LoRA. Utile pour servir des LoRA finement ajustés par Unsloth.
--max-lorasCombien de LoRA vous voulez servir en même temps. Réglez sur 1 pour 1 LoRA, ou par exemple 16. C'est une file d'attente donc les LoRA peuvent être échangés à chaud.
--max-lora-rankRang maximal de tous les LoRA. Les choix possibles sont 8, 16, 32, 64, 128, 256, 320, 512
--dtypePermet auto, bfloat16, float16 Float8 et autres quantifications utilisent un drapeau différent - voir --quantization
--tokenizerSpécifier le chemin du tokenizer comme unsloth/gpt-oss-20b si le modèle servi a un tokenizer différent.
--hf-tokenAjoutez votre token HuggingFace si nécessaire pour les modèles restreints
--swap-spacePar défaut 4 Go. Utilisation du déchargement CPU. Réduisez si vous avez de la VRAM, ou augmentez pour des GPU à faible mémoire.
--seedPar défaut 0 pour vLLM
--disable-log-statsDésactive la journalisation comme le débit, les requêtes serveur.
--enforce-eagerDésactive la compilation. Chargement plus rapide, mais inférence plus lente.
--disable-cascade-attnUtile pour les exécutions d'apprentissage par renforcement pour vLLM < 0.11.0, car l'attention en cascade était légèrement boguée sur les GPU A100 (Unsloth corrige cela)
### :tada:Quantification Float8 Par exemple, pour héberger Llama 3.3 70B Instruct (prend en charge une longueur de contexte de 128K) avec cache KV Float8 et quantification, essayez : ```bash vllm serve unsloth/Llama-3.3-70B-Instruct \ --quantization fp8 \ --kv-cache-dtype fp8 --gpu-memory-utilization 0.97 \ --max-model-len 65536 ``` ### :shaved\_ice:Échange à chaud LoRA / LoRA dynamiques Pour activer le service LoRA pour au plus 4 LoRA à la fois (qui sont échangés à chaud / modifiés), définissez d'abord le drapeau d'environnement pour autoriser l'échange à chaud : Voir notre [lora-hot-swapping-guide](https://unsloth.ai/docs/fr/bases/inference-and-deployment/vllm-guide/lora-hot-swapping-guide "mention") pour plus de détails.