> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/fr/bases/inference-and-deployment/vllm-guide/vllm-engine-arguments.md). # Arguments du moteur vLLM Arguments du moteur vLLM, drapeaux et options pour servir des modèles sur vLLM.
ArgumentExemple et cas d’utilisation
--gpu-memory-utilizationPar défaut 0.9. Quantité de VRAM que vLLM peut utiliser. Réduisez si vous manquez de mémoire. Essayez de définir cette valeur à 0.95 ou 0.97.
--max-model-lenDéfinissez la longueur maximale de séquence. Réduisez-la si vous manquez de mémoire ! Par exemple, définissez --max-model-len 32768 pour n’utiliser que des longueurs de séquence de 32K.
--quantizationUtilisez fp8 pour la quantification dynamique en float8. Utilisez cela conjointement avec --kv-cache-dtype fp8 pour activer également le cache KV en float8.
--kv-cache-dtypeUtilisez fp8 pour le cache KV en float8 afin de réduire l’utilisation de mémoire de 50 %.
--portLa valeur par défaut est 8000. Comment accéder au localhost de vLLM, c’est-à-dire http://localhost:8000
--api-keyOptionnel - Définissez le mot de passe (ou aucun mot de passe) pour accéder au modèle.
--tensor-parallel-sizeLa valeur par défaut est 1. Divise le modèle entre les tenseurs. Définissez cette valeur en fonction du nombre de GPU que vous utilisez - si vous en avez 4, définissez-la à 4. 8, alors 8. Vous devez avoir NCCL, sinon cela pourrait être lent.
--pipeline-parallel-sizeLa valeur par défaut est 1. Divise le modèle entre les couches. Utilisez cela avec --pipeline-parallel-size où TP est utilisé à l’intérieur de chaque nœud, et PP est utilisé pour les configurations multi-nœuds (définissez PP sur le nombre de nœuds)
--enable-loraActive le service LoRA. Utile pour servir des LoRA affinés avec Unsloth.
--max-lorasCombien de LoRA vous souhaitez servir en même temps. Définissez cette valeur à 1 pour 1 LoRA, ou par exemple 16. Il s’agit d’une file d’attente, donc les LoRA peuvent être permutés à chaud.
--max-lora-rankRang maximal de tous les LoRA. Les choix possibles sont 8, 16, 32, 64, 128, 256, 320, 512
--dtypePermet auto, bfloat16, float16 Le float8 et les autres quantifications utilisent un autre drapeau - voir --quantization
--tokenizerSpécifiez le chemin du tokenizer comme unsloth/gpt-oss-20b si le modèle servi a un tokenizer différent.
--hf-tokenAjoutez votre jeton HuggingFace si nécessaire pour les modèles à accès restreint
--swap-spaceLa valeur par défaut est 4 Go. Utilisation du déchargement sur CPU. Réduisez si vous avez de la VRAM, ou augmentez pour les GPU à faible mémoire.
--seedLa valeur par défaut est 0 pour vLLM
--disable-log-statsDésactive la journalisation comme le débit, les requêtes serveur.
--enforce-eagerDésactive la compilation. Plus rapide à charger, mais plus lent pour l’inférence.
--disable-cascade-attnUtile pour les exécutions d’apprentissage par renforcement pour vLLM < 0.11.0, car Cascade Attention présentait un léger bug sur les GPU A100 (Unsloth corrige cela)
### :tada:Quantification Float8 Par exemple, pour héberger Llama 3.3 70B Instruct (prend en charge une longueur de contexte de 128K) avec le cache KV Float8 et la quantification, essayez : ```bash vllm serve unsloth/Llama-3.3-70B-Instruct \\ --quantization fp8 \ --kv-cache-dtype fp8 \ --gpu-memory-utilization 0.97 \\ --max-model-len 65536 ``` ### :shaved\_ice:Permutation à chaud des LoRA / LoRA dynamiques Pour permettre le service LoRA pour au plus 4 LoRA à la fois (celles-ci sont permutées à chaud / modifiées), commencez par définir le drapeau d’environnement pour autoriser la permutation à chaud : Voir notre [Guide de permutation à chaud LoRA](/docs/fr/bases/inference-and-deployment/vllm-guide/lora-hot-swapping-guide.md) pour plus de détails. --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://unsloth.ai/docs/fr/bases/inference-and-deployment/vllm-guide/vllm-engine-arguments.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.