> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/grundlagen/inference-and-deployment/vllm-guide/vllm-engine-arguments.md). # vLLM-Engine-Argumente vLLM-Engine-Argumente, Flags und Optionen zum Bereitstellen von Modellen mit vLLM.
ArgumentBeispiel und Anwendungsfall
--gpu-memory-utilizationStandard 0,9. Wie viel VRAM-Nutzung vLLM verwenden kann. Reduzieren, wenn der Speicher knapp wird. Versuchen Sie, dies auf 0,95 oder 0,97 zu setzen.
--max-model-lenMaximale Sequenzlänge festlegen. Reduzieren Sie dies, wenn der Speicher knapp wird! Zum Beispiel setzen Sie --max-model-len 32768 um nur 32K-Sequenzlängen zu verwenden.
--quantizationVerwenden Sie fp8 für dynamische Float8-Quantisierung. Verwenden Sie dies zusammen mit --kv-cache-dtype fp8, um auch den Float8-KV-Cache zu aktivieren.
--kv-cache-dtypeVerwenden Sie fp8 für den Float8-KV-Cache, um den Speicherverbrauch um 50 % zu reduzieren.
--portStandard ist 8000. So greifen Sie auf den lokalen Host von vLLM zu, z. B. http://localhost:8000
--api-keyOptional - Legen Sie das Passwort (oder kein Passwort) fest, um auf das Modell zuzugreifen.
--tensor-parallel-sizeStandard ist 1. Teilt das Modell über Tensoren auf. Setzen Sie dies auf die Anzahl der GPUs, die Sie verwenden - wenn Sie 4 haben, setzen Sie dies auf 4. 8, dann 8. Sie sollten NCCL haben, andernfalls könnte dies langsam sein.
--pipeline-parallel-sizeStandard ist 1. Teilt das Modell über Schichten auf. Verwenden Sie dies mit --pipeline-parallel-size wobei TP innerhalb jedes Knotens verwendet wird und PP über Multi-Node-Setups hinweg verwendet wird (setzen Sie PP auf die Anzahl der Knoten)
--enable-loraAktiviert die Bereitstellung von LoRA. Nützlich für die Bereitstellung von mit Unsloth feinabgestimmten LoRAs.
--max-lorasWie viele LoRAs Sie gleichzeitig bereitstellen möchten. Setzen Sie dies auf 1 für 1 LoRA oder z. B. auf 16. Dies ist eine Warteschlange, sodass LoRAs per Hot-Swap ausgetauscht werden können.
--max-lora-rankMaximaler Rang aller LoRAs. Mögliche Optionen sind 8, 16, 32, 64, 128, 256, 320, 512
--dtypeErmöglicht wird sauber zugeordnet: Anthropic, bfloat16, float16 Float8 und andere Quantisierungen verwenden einen anderen Schalter - siehe --quantization
--tokenizerGeben Sie den Tokenizer-Pfad an, z. B. unsloth/gpt-oss-20b wenn das bereitgestellte Modell einen anderen Tokenizer hat.
--hf-tokenFügen Sie bei Bedarf Ihr HuggingFace-Token für geschützte Modelle hinzu
--swap-spaceStandard ist 4 GB. CPU-Offloading-Nutzung. Reduzieren, wenn Sie VRAM haben, oder erhöhen für GPUs mit wenig Speicher.
--seedStandard ist 0 für vLLM
--disable-log-statsDeaktiviert Protokollierung wie Durchsatz, Serveranfragen.
--enforce-eagerDeaktiviert die Kompilierung. Schneller zu laden, aber langsamer bei der Inferenz.
--disable-cascade-attnNützlich für Reinforcement-Learning-Läufe für vLLM < 0.11.0, da Cascade Attention auf A100-GPUs leicht fehlerhaft war (Unsloth behebt dies)
### :tada:Float8-Quantisierung Um beispielsweise Llama 3.3 70B Instruct (unterstützt 128K Kontextlänge) mit Float8-KV-Cache und Quantisierung zu hosten, versuchen Sie: ```bash vllm serve unsloth/Llama-3.3-70B-Instruct \\ --quantization fp8 \ --kv-cache-dtype fp8 \ --gpu-memory-utilization 0.97 \\ --max-model-len 65536 ``` ### :shaved\_ice:LoRA-Hot-Swapping / dynamische LoRAs Um das Bereitstellen von LoRAs für höchstens 4 LoRAs gleichzeitig zu ermöglichen (diese werden „hot swapped“ / geändert), setzen Sie zuerst das Umgebungs-Flag, um Hot Swapping zu erlauben: Siehe unser [Leitfaden zum Hot-Swapping von LoRA](/docs/de/grundlagen/inference-and-deployment/vllm-guide/lora-hot-swapping-guide.md) für weitere Details. --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://unsloth.ai/docs/de/grundlagen/inference-and-deployment/vllm-guide/vllm-engine-arguments.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.