# Arguments du moteur vLLM Arguments, drapeaux, options du moteur vLLM pour servir des modèles sur vLLM.
ArgumentExemple et cas d'utilisation
--gpu-memory-utilizationPar défaut 0,9. Quelle part de la VRAM vLLM peut utiliser. Réduisez si vous manquez de mémoire. Essayez de régler sur 0,95 ou 0,97.
--max-model-lenDéfinir la longueur maximale de séquence. Réduisez ceci si vous manquez de mémoire ! Par exemple définir --max-model-len 32768 pour n'utiliser que des longueurs de séquence de 32K.
--quantizationUtiliser fp8 pour la quantification dynamique float8. Utilisez ceci conjointement avec --kv-cache-dtype fp8 pour activer également le cache KV en float8.
--kv-cache-dtypeUtilisez fp8 pour le cache KV en float8 afin de réduire l'utilisation mémoire de 50 %.
--portPar défaut c'est 8000. Comment accéder au localhost de vLLM, par ex. http://localhost:8000
--api-keyOptionnel - Définir le mot de passe (ou aucun mot de passe) pour accéder au modèle.
--tensor-parallel-sizePar défaut 1. Divise le modèle à travers les tenseurs. Réglez ceci sur le nombre de GPU que vous utilisez - si vous en avez 4, mettez 4. 8, alors 8. Vous devriez avoir NCCL, sinon cela peut être lent.
--pipeline-parallel-sizePar défaut 1. Divise le modèle à travers les couches. Utilisez ceci avec --pipeline-parallel-size où TP est utilisé au sein de chaque nœud, et PP est utilisé à travers des configurations multi-nœuds (réglez PP sur le nombre de nœuds)
--enable-loraActive le service LoRA. Utile pour servir des LoRA finement ajustés par Unsloth.
--max-lorasCombien de LoRA vous voulez servir en même temps. Réglez sur 1 pour 1 LoRA, ou par exemple 16. C'est une file d'attente donc les LoRA peuvent être échangés à chaud.
--max-lora-rankRang maximal de tous les LoRA. Les choix possibles sont 8, 16, 32, 64, 128, 256, 320, 512
--dtypePermet auto, bfloat16, float16 Float8 et autres quantifications utilisent un drapeau différent - voir --quantization
--tokenizerSpécifier le chemin du tokenizer comme unsloth/gpt-oss-20b si le modèle servi a un tokenizer différent.
--hf-tokenAjoutez votre token HuggingFace si nécessaire pour les modèles restreints
--swap-spacePar défaut 4 Go. Utilisation du déchargement CPU. Réduisez si vous avez de la VRAM, ou augmentez pour des GPU à faible mémoire.
--seedPar défaut 0 pour vLLM
--disable-log-statsDésactive la journalisation comme le débit, les requêtes serveur.
--enforce-eagerDésactive la compilation. Chargement plus rapide, mais inférence plus lente.
--disable-cascade-attnUtile pour les exécutions d'apprentissage par renforcement pour vLLM < 0.11.0, car l'attention en cascade était légèrement boguée sur les GPU A100 (Unsloth corrige cela)
### :tada:Quantification Float8 Par exemple, pour héberger Llama 3.3 70B Instruct (prend en charge une longueur de contexte de 128K) avec cache KV Float8 et quantification, essayez : ```bash vllm serve unsloth/Llama-3.3-70B-Instruct \ --quantization fp8 \ --kv-cache-dtype fp8 --gpu-memory-utilization 0.97 \ --max-model-len 65536 ``` ### :shaved\_ice:Échange à chaud LoRA / LoRA dynamiques Pour activer le service LoRA pour au plus 4 LoRA à la fois (qui sont échangés à chaud / modifiés), définissez d'abord le drapeau d'environnement pour autoriser l'échange à chaud : Voir notre [Guide de permutation à chaud LoRA](/docs/fr/bases/inference-and-deployment/vllm-guide/lora-hot-swapping-guide.md) pour plus de détails. --- # Agent Instructions: Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://unsloth.ai/docs/fr/bases/inference-and-deployment/vllm-guide/vllm-engine-arguments.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.