# Multi-GPU-Feinabstimmung mit Unsloth

Unsloth unterstützt derzeit Multi-GPU-Setups über Bibliotheken wie Accelerate und DeepSpeed. Das bedeutet, dass Sie bereits Parallelisierungsverfahren wie **FSDP** und **DDP** mit Unsloth nutzen können.

#### **Siehe unseren neuen Distributed Data Parallel** [**(DDP) Multi-GPU-Leitfaden hier**](/docs/de/grundlagen/multi-gpu-training-with-unsloth/ddp.md)**.**

Wir wissen, dass der Prozess komplex sein kann und manuelle Einrichtung erfordert. Wir arbeiten intensiv daran, die Multi-GPU-Unterstützung viel einfacher und benutzerfreundlicher zu machen, und werden bald die offizielle Multi-GPU-Unterstützung für Unsloth ankündigen.

Für den Moment können Sie unser [Magistral-2509 Kaggle-Notebook](/docs/de/modelle/tutorials/magistral-how-to-run-and-fine-tune.md#fine-tuning-magistral-with-unsloth) als Beispiel verwenden, das Multi-GPU-Unsloth nutzt, um das 24B-Parameter-Modell zu trainieren, oder unseren [DDP-Leitfaden](/docs/de/grundlagen/multi-gpu-training-with-unsloth/ddp.md).

**In der Zwischenzeit**, um Multi-GPU für DDP zu aktivieren, tun Sie Folgendes:

1. Erstellen Sie Ihr Trainingsskript als `train.py` (oder ähnlich). Zum Beispiel können Sie eines unserer [Trainingsskripte](https://github.com/unslothai/notebooks/tree/main/python_scripts) verwenden, die aus unseren verschiedenen Notebooks erstellt wurden!
2. Führen Sie `accelerate launch train.py` oder `torchrun --nproc_per_node N_GPUS train.py` wobei `N_GPUS` die Anzahl der GPUs ist, die Sie haben.

#### **Pipeline- / Modellaufteilung beim Laden**

Wenn Sie nicht genug VRAM haben, damit 1 GPU z. B. Llama 70B laden kann, kein Problem - wir teilen das Modell für Sie auf jeder GPU auf! Um dies zu aktivieren, verwenden Sie das `device_map = "balanced"` Flag:

```python
from unsloth import FastLanguageModel
model, tokenizer = FastLanguageModel.from_pretrained(
    "unsloth/Llama-3.3-70B-Instruct",
    load_in_4bit = True,
    device_map = "balanced",
)
```

**Bleiben Sie gespannt auf unsere offizielle Ankündigung!**\
Für weitere Details sehen Sie sich unseren laufenden [Pull Request](https://github.com/unslothai/unsloth/issues/2435) an, der die Multi-GPU-Unterstützung diskutiert.


---

# Agent Instructions: Querying This Documentation

If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://unsloth.ai/docs/de/grundlagen/multi-gpu-training-with-unsloth.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.