> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/fr/notions-de-base/inference-and-deployment/vllm-guide/vllm-engine-arguments.md). # Arguments du moteur vLLM Arguments du moteur vLLM, indicateurs et options pour servir des modèles sur vLLM.
ArgumentExemple et cas d'utilisation
--gpu-memory-utilizationPar défaut 0.9. Quelle quantité d'utilisation de la VRAM vLLM peut utiliser. Réduisez si vous êtes à court de mémoire. Essayez de définir cette valeur à 0.95 ou 0.97.
--max-model-lenDéfinissez la longueur maximale de séquence. Réduisez cette valeur si vous êtes à court de mémoire ! Par exemple, définissez --max-model-len 32768 pour n'utiliser que des longueurs de séquence de 32K.
--quantizationUtilisez fp8 pour la quantification dynamique en float8. Utilisez ceci en tandem avec --kv-cache-dtype fp8 pour activer également le cache KV en float8.
--kv-cache-dtypeUtilisez fp8 pour le cache KV en float8 afin de réduire l'utilisation de la mémoire de 50 %.
--portLa valeur par défaut est 8000. Comment accéder au localhost de vLLM, c'est-à-dire http://localhost:8000
--api-keyOptionnel - Définissez le mot de passe (ou aucun mot de passe) pour accéder au modèle.
--tensor-parallel-sizeLa valeur par défaut est 1. Divise le modèle entre les tenseurs. Définissez cette valeur selon le nombre de GPU que vous utilisez - si vous en avez 4, définissez-la à 4. 8, alors 8. Vous devriez avoir NCCL, sinon cela pourrait être lent.
--pipeline-parallel-sizeLa valeur par défaut est 1. Divise le modèle entre les couches. Utilisez ceci avec --pipeline-parallel-size où TP est utilisé au sein de chaque nœud, et PP est utilisé sur des configurations multinœuds (définissez PP sur le nombre de nœuds)
--enable-loraActive le service LoRA. Utile pour servir des LoRA ajustées avec Unsloth.
--max-lorasCombien de LoRA vous souhaitez servir en même temps. Définissez cette valeur à 1 pour 1 LoRA, ou par exemple à 16. Il s'agit d'une file d'attente, donc les LoRA peuvent être permutées à chaud.
--max-lora-rankRang maximal de toutes les LoRA. Les choix possibles sont 8, 16, 32, 64, 128, 256, 320, 512
--dtypePermet auto, bfloat16, float16 Float8 et les autres quantifications utilisent un indicateur différent — voir --quantization
--tokenizerSpécifiez le chemin du tokenizer comme unsloth/gpt-oss-20b si le modèle servi a un tokenizer différent.
--hf-tokenAjoutez votre jeton HuggingFace si nécessaire pour les modèles protégés
--swap-spaceLa valeur par défaut est 4 Go. Utilisation du déchargement vers le CPU. Réduisez si vous avez de la VRAM, ou augmentez pour les GPU à faible mémoire.
--seedLa valeur par défaut est 0 pour vLLM
--disable-log-statsDésactive la journalisation, comme le débit et les requêtes serveur.
--enforce-eagerDésactive la compilation. Plus rapide à charger, mais plus lent pour l'inférence.
--disable-cascade-attnUtile pour les exécutions d'apprentissage par renforcement pour vLLM < 0.11.0, car Cascade Attention était légèrement bogué sur les GPU A100 (Unsloth corrige cela)
### :tada:Quantification Float8 Par exemple, pour héberger Llama 3.3 70B Instruct (prend en charge une longueur de contexte de 128K) avec le cache KV Float8 et la quantification, essayez : ```bash vllm serve unsloth/Llama-3.3-70B-Instruct \ --quantization fp8 \ --kv-cache-dtype fp8 \\ --gpu-memory-utilization 0.97 \ --max-model-len 65536 ``` ### :shaved\_ice:Permutation à chaud des LoRA / LoRA dynamiques Pour activer le service LoRA pour au plus 4 LoRA à la fois (celles-ci sont échangées à chaud / modifiées), commencez par définir le drapeau d’environnement pour autoriser l’échange à chaud : Voir notre [Guide de permutation à chaud LoRA](/docs/fr/notions-de-base/inference-and-deployment/vllm-guide/lora-hot-swapping-guide.md) pour plus de détails. --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/fr/notions-de-base/inference-and-deployment/vllm-guide/vllm-engine-arguments.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.