# vLLM-Engine-Argumente vLLM-Engine-Argumente, Flags, Optionen zum Bereitstellen von Modellen auf vLLM.
ArgumentBeispiel und Anwendungsfall
--gpu-memory-utilizationStandard 0,9. Wie viel VRAM vLLM nutzen kann. Verringern, wenn der Speicher erschöpft ist. Versuchen Sie, dies auf 0,95 oder 0,97 zu setzen.
--max-model-lenSetzt die maximale Sequenzlänge. Verringern Sie dies, wenn der Speicher erschöpft ist! Zum Beispiel setzen Sie --max-model-len 32768 um nur 32K Sequenzlängen zu verwenden.
--quantizationVerwendet fp8 für dynamische Float8-Quantisierung. Verwenden Sie dies zusammen mit --kv-cache-dtype fp8, um auch Float8 KV-Cache zu aktivieren.
--kv-cache-dtypeVerwenden Sie fp8 für Float8 KV-Cache, um den Speicherverbrauch um 50 % zu reduzieren.
--portStandard ist 8000. Wie man auf vLLM lokal zugreift, z. B. http://localhost:8000
--api-keyOptional – Setzen Sie das Passwort (oder kein Passwort), um auf das Modell zuzugreifen.
--tensor-parallel-sizeStandard ist 1. Teilt das Modell über Tensoren auf. Setzen Sie dies auf die Anzahl der GPUs, die Sie verwenden – wenn Sie 4 haben, setzen Sie es auf 4. Bei 8 entsprechend auf 8. Sie sollten NCCL haben, sonst kann es langsam sein.
--pipeline-parallel-sizeStandard ist 1. Teilt das Modell über Schichten auf. Verwenden Sie dies zusammen mit --pipeline-parallel-size wobei TP innerhalb jedes Knotens verwendet wird und PP über Multi-Node-Setups (setzen Sie PP auf die Anzahl der Knoten)
--enable-loraAktiviert LoRA-Bereitstellung. Nützlich zum Bereitstellen von Unsloth-feinabgestimmten LoRAs.
--max-lorasWie viele LoRAs Sie gleichzeitig bereitstellen möchten. Setzen Sie dies auf 1 für 1 LoRA oder z. B. auf 16. Dies ist eine Warteschlange, sodass LoRAs hot-swappable sind.
--max-lora-rankMaximale Rangzahl aller LoRAs. Mögliche Optionen sind 8, 16, 32, 64, 128, 256, 320, 512
--dtypeErlaubt auto, bfloat16, float16 Float8 und andere Quantisierungen verwenden ein anderes Flag – siehe --quantization
--tokenizerGeben Sie den Tokenizer-Pfad an wie unsloth/gpt-oss-20b falls das bereitgestellte Modell einen anderen Tokenizer hat.
--hf-tokenFügen Sie bei Bedarf Ihr HuggingFace-Token für geschützte Modelle hinzu
--swap-spaceStandard ist 4 GB. CPU-Offloading-Nutzung. Verringern, wenn Sie VRAM haben, oder erhöhen für GPUs mit wenig Speicher.
--seedStandard ist 0 für vLLM
--disable-log-statsDeaktiviert das Logging wie Durchsatz, Serveranfragen.
--enforce-eagerDeaktiviert die Kompilierung. Schneller beim Laden, aber langsamer bei der Inferenz.
--disable-cascade-attnNützlich für Reinforcement-Learning-Läufe für vLLM < 0.11.0, da Cascade Attention auf A100-GPUs leicht fehlerhaft war (Unsloth behebt dies)
### :tada:Float8-Quantisierung Beispielsweise, um Llama 3.3 70B Instruct (unterstützt 128K Kontextlänge) mit Float8-KV-Cache und Quantisierung zu hosten, versuchen Sie: ```bash vllm serve unsloth/Llama-3.3-70B-Instruct \ --quantization fp8 \ --kv-cache-dtype fp8 --gpu-memory-utilization 0.97 \ --max-model-len 65536 ``` ### :shaved\_ice:LoRA Hot Swapping / Dynamische LoRAs Um LoRA-Serving für höchstens 4 LoRAs gleichzeitig zu ermöglichen (diese werden zur Laufzeit getauscht/geändert), setzen Sie zuerst die Umgebungsvariable, um Hot Swapping zu erlauben: Siehe unser [Leitfaden zum Hot-Swapping von LoRA](/docs/de/grundlagen/inference-and-deployment/vllm-guide/lora-hot-swapping-guide.md) für weitere Details. --- # Agent Instructions: Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://unsloth.ai/docs/de/grundlagen/inference-and-deployment/vllm-guide/vllm-engine-arguments.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.