> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/grundlagen/inference-and-deployment/vllm-guide/vllm-engine-arguments.md). # vLLM-Engine-Argumente vLLM-Engine-Argumente, Flags und Optionen zum Bereitstellen von Modellen auf vLLM.
ArgumentBeispiel und Anwendungsfall
--gpu-memory-utilizationStandardmäßig 0,9. Wie viel VRAM-Nutzung vLLM verwenden kann. Verringern, wenn der Speicher knapp wird. Versuche, dies auf 0,95 oder 0,97 zu setzen.
--max-model-lenLegt die maximale Sequenzlänge fest. Verringern Sie dies, wenn der Speicher knapp wird! Zum Beispiel setzen Sie --max-model-len 32768 um nur Sequenzlängen von 32K zu verwenden.
--quantizationVerwende fp8 für dynamische Float8-Quantisierung. Verwende dies zusammen mit --kv-cache-dtype fp8, um auch den Float8-KV-Cache zu aktivieren.
--kv-cache-dtypeVerwenden Sie fp8 für einen Float8-KV-Cache, um den Speicherverbrauch um 50 % zu reduzieren.
--portStandard ist 8000. So greifst du auf vLLMs Localhost zu, z. B. http://localhost:8000
--api-keyOptional – Lege das Passwort fest (oder kein Passwort), um auf das Modell zuzugreifen.
--tensor-parallel-sizeStandard ist 1. Teilt das Modell über Tensoren auf. Setze dies auf die Anzahl der GPUs, die du verwendest – wenn du 4 hast, setze es auf 4. Wenn 8, dann 8. Du solltest NCCL haben, sonst kann dies langsam sein.
--pipeline-parallel-sizeStandard ist 1. Teilt das Modell über Schichten auf. Verwende dies zusammen mit --pipeline-parallel-size wobei TP innerhalb jedes Knotens verwendet wird und PP über Multi-Node-Setups hinweg verwendet wird (setze PP auf die Anzahl der Knoten)
--enable-loraAktiviert das Bereitstellen von LoRA. Nützlich, um mit Unsloth feinabgestimmte LoRAs bereitzustellen.
--max-lorasWie viele LoRAs du gleichzeitig bereitstellen möchtest. Setze dies auf 1 für 1 LoRA oder z. B. 16. Dies ist eine Warteschlange, sodass LoRAs per Hot-Swap ausgetauscht werden können.
--max-lora-rankMaximale Rangzahl aller LoRAs. Mögliche Optionen sind 8, 16, 32, 64, 128, 256, 320, 512
--dtypeErmöglicht auto, bfloat16, float16 Float8 und andere Quantisierungen verwenden ein anderes Flag – siehe --quantization
--tokenizerGib den Tokenizer-Pfad an, z. B. unsloth/gpt-oss-20b wenn das bereitgestellte Modell einen anderen Tokenizer hat.
--hf-tokenFüge dein HuggingFace-Token hinzu, falls es für eingeschränkte Modelle benötigt wird
--swap-spaceStandard ist 4 GB. Nutzung für CPU-Offloading. Verringern, wenn du genügend VRAM hast, oder erhöhen für GPUs mit wenig Speicher.
--seedStandard ist 0 für vLLM
--disable-log-statsDeaktiviert Protokollierung wie Durchsatz und Serveranfragen.
--enforce-eagerDeaktiviert die Kompilierung. Schnelleres Laden, aber langsamere Inferenz.
--disable-cascade-attnNützlich für Reinforcement-Learning-Läufe mit vLLM < 0.11.0, da Cascade Attention auf A100-GPUs leicht fehlerhaft war (Unsloth behebt dies)
### :tada:Float8-Quantisierung Um zum Beispiel Llama 3.3 70B Instruct (unterstützt 128K Kontextlänge) mit Float8-KV-Cache und Quantisierung zu hosten, versuche: ```bash vllm serve unsloth/Llama-3.3-70B-Instruct \ --quantization fp8 \ --kv-cache-dtype fp8 \\ --gpu-memory-utilization 0.97 \ --max-model-len 65536 ``` ### :shaved\_ice:LoRA-Hot-Swapping / dynamische LoRAs Um das Bereitstellen von LoRA für höchstens 4 LoRAs gleichzeitig zu ermöglichen (diese werden hot-swapped / ausgetauscht), setzen Sie zunächst das Umgebungsflag, um Hot-Swapping zu erlauben: Sieh dir unsere [Leitfaden zum Hot-Swapping von LoRA](/docs/de/grundlagen/inference-and-deployment/vllm-guide/lora-hot-swapping-guide.md) für weitere Details. --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/de/grundlagen/inference-and-deployment/vllm-guide/vllm-engine-arguments.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.