> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/grundlagen/amd.md).

# Modelle auf AMD-GPUs mit Unsloth trainieren und ausführen

Unsloth unterstützt jetzt offiziell AMD-Hardware und macht es einfach, Modelle lokal auf AMD-GPUs auszuführen, zu trainieren, feinzujustieren, mit RL zu optimieren und bereitzustellen. Vollständig Open Source, [Unsloth](/docs/de/desktop.md) läuft unter Windows, WSL und Linux und unterstützt RDNA 1–4, Radeon-RX-9000- und 7000-Serien-GPUs, Instinct-MI350- und MI300-Rechenzentrums-GPUs, Vulkan, Strix Halo – angetriebene Ryzen-AI-Max-Systeme und mehr.

Wir haben [AMD](https://www.amd.com/en/developer/resources/technical-articles/2026/train-and-run-models-on-amd-gpus-with-unsloth.html) und mit unserer Community, um bis zu 2x schnelleres Training bei 70 % weniger VRAM für alle Modelle ohne Genauigkeitsverlust zu ermöglichen. Wenn du keine GPU hast, unterstützt Unsloth dennoch native AMD-Inferenz für [Qwen3.6](/docs/de/modelle/qwen3.6.md), [Gemma 4](/docs/de/modelle/gemma-4.md), DeepSeek-V4, GLM 5.2, DiffusionGemma, Kimi K2.7 und andere Modelle.

<a href="/docs/de/grundlagen/amd.md#installing-unsloth-on-amd" class="button primary" data-icon="bolt">Schnellstart</a><a href="/docs/de/grundlagen/amd.md#id-2x-faster-training-and-50-more-accurate-tool-calls" class="button secondary" data-icon="star">Funktionen</a><a href="https://github.com/unslothai/unsloth" class="button secondary" data-icon="github">GitHub</a>

{% hint style="success" %}
**Update vom 18. Sept.:** Hinzugefügt **RDNA 1, 2, Gorgon Halo, Vulkan-Unterstützung** + behoben: GPUs auf AMD-GPUs nicht erkannt.\
Bessere automatische Behebung und Erkennung von RDNA4-, HIP-/ROCm-Fehlern.
{% endhint %}

Um Unsloth auf AMD zu installieren, ist der einfachste Weg, unsere [Desktop-App](/docs/de/desktop.md).

<a href="https://unsloth.ai/download/windows" class="button secondary" data-icon="windows">Für Windows herunterladen</a><a href="https://unsloth.ai/download/linux" class="button secondary" data-icon="linux">Für Linux herunterladen</a>\
\
Für die manuelle Installation:

**macOS, Linux, WSL:**

{% code overflow="wrap" expandable="true" %}

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

{% endcode %}

**Windows PowerShell:**

<pre class="language-powershell" data-overflow="wrap"><code class="lang-powershell"><strong>irm https://unsloth.ai/install.ps1 | iex 
</strong></code></pre>

### ⭐ Funktionen

Unsloth unterstützt für AMD sowohl Inferenz als auch Training. Wenn du also keine GPU und nur eine CPU hast, kannst du Modelle trotzdem mit Unsloth ausführen. Wenn du Unsloth verwendest, erhältst du:

* [**Heilung von Tool-Calls**](/docs/de/neu/studio/chat.md#auto-healing-tool-calling) **für die Inferenz, um die Genauigkeit um 50 % zu steigern**, unbegrenzte kostenlose [Websuche](/docs/de/neu/studio/chat.md#advanced-web-search), HTML-Canvas, [**sichere HTTPS-Bereitstellung**](#unsloth-on-phones-and-remote-https-tunneling) über Cloudflare und [Codeausführung](/docs/de/neu/studio.md#execute-code--heal-tool-calling) alle Aufgaben.
* **Trainiere Gemma-4-Modelle mit 8 GB VRAM** oder Qwen3.5 mit 3 GB VRAM. Triton-Kernels, mathematische Algorithmen und Speichertricks ermöglichen 70 % weniger VRAM-Nutzung für AMD ohne Genauigkeitsverlust.
* Bis zu **80 % weniger VRAM-Nutzung für** [**Reinforcement Learning**](/docs/de/loslegen/reinforcement-learning-rl-guide/grpo-long-context.md) wie GRPO. Und Weight-Sharing mit vLLM, um 50 % Speicherverbrauch zu sparen.
* Optimierte Unterstützung für **RDNA 3** und neuere GPUs sowie Rechenzentrums-GPUs. Strix Halo ist außerdem für Linux, WSL und Windows optimiert.

{% columns %}
{% column %}

* [**Verbinde**](/docs/de/integrationen/unsloth-start.md) **deine lokalen Modelle mit beliebigen Agent-Frameworks**: [Claude Code](/docs/de/grundlagen/claude-code.md), [Codex](/docs/de/grundlagen/codex.md), [Hermes](/docs/de/integrationen/hermes-agent.md), [OpenClaw](/docs/de/integrationen/openclaw.md) und mehr.
* Unterstützung für Inferenz und Training von nahezu **allen Modellen**, einschließlich der neuesten [DeepSeek-V4](/docs/de/modelle/deepseek-v4.md), [GLM-5.2](/docs/de/modelle/glm-5.2.md), [Kimi-K2.7](/docs/de/modelle/kimi-k2.7-code.md), [MiniMax M3](/docs/de/modelle/minimax-m3.md), [DiffusionGemma](/docs/de/modelle/diffusiongemma.md), [Inkling](/docs/de/modelle/inkling.md) und mehr!
* AMD-Multi-GPU-Unterstützung + VRAM/RAM-Tracking. `llama.cpp` ROCm-Prebuilds werden täglich bereitgestellt, sodass du immer die neuesten Modell-Updates erhältst!
  {% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fszoidwwj70dLm5vBjpmL%2Fdiffusiongemma.gif?alt=media&amp;token=8ce359fd-f92c-4cf8-a491-06b04c505cb7" alt="" width="375"><figcaption><p>DiffusionGemma läuft auf AMD-GPUs</p></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

### ⚡Schnellstart

Unsloth installiert automatisch die besten ROCm-Builds für PyTorch, llama.cpp-Prebuilds, bitsandbytes, ROCm-optimierte Kernels und Triton. Wir liefern auch unsere AMD-Optimierungen und -Fixes gemeinsam aus. Du kannst unsere [detaillierte Anleitung hier](#guide-to-using-unsloth-on-amd) für weitere Details.

Wir haben die Unsloth-Installation für Windows- und WSL-Nutzer nahtlos gestaltet – empfehlen aber im Allgemeinen, Linux direkt zu verwenden, da es die breiteste Unterstützung bietet. Unsloth unterstützt macOS, Linux, [Windows](/docs/de/loslegen/install/windows-installation.md), [NVIDIA](/docs/de/loslegen/install/pip-install.md), Intel- und CPU-Setups. Siehe: [Unsloth-Anforderungen](/docs/de/loslegen/fine-tuning-for-beginners/unsloth-requirements.md). Das Aktualisieren erfolgt mit denselben Befehlen!

**macOS, Linux, WSL:**

{% code overflow="wrap" %}

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

{% endcode %}

**Windows PowerShell:**

{% code overflow="wrap" %}

```bash
irm https://unsloth.ai/install.ps1 | iex
```

{% endcode %}

{% columns %}
{% column %}
Unsloth installiert ROCm, PyTorch, benutzerdefinierte llama.cpp-Prebuilds und mehr automatisch!

#### Unsloth aus der Ferne aufrufen

Wir haben außerdem [Cloudflare-HTTPS-Tunneling](#unsloth-on-phones-and-remote-https-tunneling) kostenlos aktiviert – damit du Unsloth sicher per HTTPS aus der Ferne aufrufen kannst.
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FsnKMaYneotmsSaEvA2mU%2Finstall%201.png?alt=media&amp;token=bbfba550-a47e-4273-80f5-a21bfc44717c" alt=""><figcaption><p>Unsloth auf AMD-Windows-Rechnern installieren</p></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

#### :inbox\_tray: Unsloth-Notebooks installieren & pip install

Wenn du einfache Unsloth-Notebooks möchtest, sieh dir die allgemeine [AMD](/docs/de/loslegen/install/amd.md) Installationsanleitung an. Lies unbedingt die[AMD](/docs/de/loslegen/install/amd.md) Installationsanleitung! Nachdem du sie zur Installation von PyTorch und ROCm befolgt hast, führe dann Folgendes aus:

{% code overflow="wrap" %}

```bash
uv pip freeze | grep -E '^(torch|torchvision|torchaudio)==' > torch-pins.txt
echo "triton ; sys_platform == 'never'" >> torch-pins.txt
echo "xformers ; sys_platform == 'never'" >> torch-pins.txt
uv pip install "unsloth[amd]" --overrides torch-pins.txt
```

{% endcode %}

#### :play\_pause:Unsloth Start

{% columns %}
{% column width="58.333333333333336%" %}
[Unsloth Start](/docs/de/integrationen/unsloth-start.md) ermöglicht dir, dich zu verbinden [Claude Code](/docs/de/grundlagen/claude-code.md), [Codex](/docs/de/grundlagen/codex.md) und andere Agenten mit lokalen Modellen über den `unsloth start` Befehl zu verbinden.

Starte Unsloth, öffne deinen Projektordner und führe aus:

{% code overflow="wrap" %}

```bash
unsloth start claude --model \
    unsloth/gemma-4-E2B-it-GGUF:UD-Q4_K_XL
```

{% endcode %}

Ersetze `claude` durch einen der folgenden Agenten:
{% endcolumn %}

{% column width="41.666666666666664%" %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FpXE6kCHjh8qOEaggf94M%2FScreenshot_20260718_122426.png?alt=media&amp;token=a59e4c8c-efdb-451b-b1f8-621955564f6d" alt="" width="563"><figcaption><p>Claude Code, das lokal mit Qwen3.5 läuft.</p></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

| Agent                                                              | Befehl                   |
| ------------------------------------------------------------------ | ------------------------ |
| <i class="fa-claude">:claude:</i> Claude Code                      | `unsloth start claude`   |
| <i class="fa-openai">:openai:</i> OpenAI Codex                     | `unsloth start codex`    |
| <i class="fa-caduceus">:caduceus:</i> Hermes-Agent                 | `unsloth start hermes`   |
| <i class="fa-lobster">:lobster:</i> OpenClaw                       | `unsloth start openclaw` |
| <i class="fa-rectangle-vertical">:rectangle-vertical:</i> OpenCode | `unsloth start opencode` |

<div><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fs6AKlSRUrfdwYDIZpcjN%2Fimage(6).png?alt=media&amp;token=d8042094-2df1-4737-b806-08a77e45e105" alt=""><figcaption><p>Claude-Instanzen sind alle isoliert</p></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FahmAqUZMFFI3VouqwIYf%2Fimage(5).png?alt=media&amp;token=0dd84f49-16cf-4799-a1d3-e6cbbe105115" alt=""><figcaption><p>Codex läuft mit unsloth/gemma-4-E2B-it dynamic 4bit</p></figcaption></figure></div>

### :bar\_chart: AMD-Analyse

Wir haben viele unserer Optimierungen, die wir für Nicht-AMD-GPUs entwickelt haben, übernommen, um AMD-GPUs glänzen zu lassen! AMD-Training auf Windows-Geräten zum Laufen zu bringen und die Kompatibilität mit nahezu jedem AMD-Gerät sicherzustellen, war viel Arbeit, aber wir sind mit dem aktuellen Stand zufrieden. Wir arbeiten weiterhin aktiv daran, AMD-GPUs noch besser zu machen! Unten findest du einige Analysen/Benchmarks, die wir auf einer AMD MI300X durchgeführt haben.

#### Reinforcement Learning: präziseres LoRA und QLoRA

Während RL auf AMD unterstützt Unsloth **Weight-Sharing** mit vLLM, wie eingeführt in [Speichereffizientes RL](/docs/de/loslegen/reinforcement-learning-rl-guide/memory-efficient-rl.md). Wir **halbieren den Speicherverbrauch** durch direkten Zugriff auf die Modellauslagerung von vLLM.

Während LoRA und QLoRA führen wir außerdem kein Merging und Demerging der LoRA-Gewichte wie unten durch:

$$
W = W + sAB \\
\text{inference} = XW \\
W = W - sAB
$$

Das Obige verursacht Probleme, da **IEEE-Floats aufgrund von Rundung nicht assoziativ sind**. Wenn W in BF16 vorliegt, führt das beim Subtrahieren, wie es in anderen RL-Engines geschieht, zu subtilen Unterschieden. Das bedeutet in der IEEE-Welt:

$$
W \ne(W + sAB) - (sAB)
$$

Und wenn W in bfloat16 mit wenigen Mantissenbits vorliegt, **rundet es kleine Zahlen auf null**. Da A und B während LoRA float32 sind, kann W nach dem Merging und Demerging im Laufe der Zeit driften. Unsloth verwendet direkt den LoRA-Pfad von vLLM, daher vermeiden wir das. Die Basisgewichte werden nie bearbeitet und werden niemals driften.

#### Schnelleres Reinforcement Learning

{% columns %}
{% column %}
Wir haben andere Setups mit ko-lokalem FA2 und vLLM benchmarkiert. Beide verwenden vLLM für die Generierung; Unsloth verlagert mehr des Schritts in die Generierung und macht Training und damit insgesamt ungefähr 2x schneller.

Alle drei Benchmarks sind reproduzierbar: gleiche Seeds, gleiche Token-Budgets, und die Loss-Kurven stimmen zwischen den beiden Stacks überein.
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F31TQsJ8fBG7Vts7u37J8%2Fchart_grpo_combined.png?alt=media&amp;token=719e2729-839e-4287-aa00-5e3b77e1ad7b" alt=""><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

#### Schnelleres und speichereffizienteres Training

Beim Llama-3.1-8B-LoRA-SFT (Batch 2 x Grad-Accum 4 x 2048 = 16.384 Token/Schritt, gepackt) trainiert Unsloth mit 2,07 s/Schritt gegenüber 2,87 s/Schritt für TRL + FA2 und erreicht Spitzenwerte von 18,3 GB gegenüber 24,3 GB. Das ist 1,39x schneller und 1,33x weniger Speicherverbrauch, ohne Änderung der Genauigkeit. Wir planen, das noch besser zu machen!

<div><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F1YySU2nLYyKoSyXh8lsi%2Fchart_llama8b_vram_over_time.png?alt=media&amp;token=526b2488-315e-487b-8baa-ee71d5e1408a" alt=""><figcaption></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FJQH7QTamM7zuK45NNnZY%2Fchart_llama8b_sft_efficiency.png?alt=media&amp;token=81388e0a-e9ca-433d-9cca-1b32f406043b" alt=""><figcaption></figcaption></figure></div>

Die Speicherersparnis ist nicht nur ein niedrigerer Spitzenwert, sie bleibt während des gesamten Laufs bestehen. Bei einer Abtastung des zugewiesenen VRAMs alle 0,1 s bleibt Unsloth die ganze Zeit flach und niedrig, während andere Setups + FA2 bei nahezu jedem Schritt auf 22,8 GB ansteigen und länger zum Abschließen brauchen (75 s statt 56 s für dieselben 25 Schritte).

### :sparkles:Unterstützte AMD-Hardware

Die AMD-Unterstützung von Unsloth konzentriert sich auf beliebte Consumer-, Workstation- und Rechenzentrums-GPUs. Unterstützung für Training, Unsloth Studio und GGUF-/llama.cpp-Inferenz kann je nach Architektur variieren, daher trennt die folgende Tabelle optimierte Unterstützung von Kompatibilitätspfaden.

<table><thead><tr><th>Architektur</th><th>Serie</th><th width="159">gfx</th><th>Unterstützung</th><th>Plattform</th></tr></thead><tbody><tr><td>RDNA 4</td><td>Radeon™ RX 9000-Serie</td><td>gfx1200, gfx1201</td><td>Vollständig</td><td>Windows + WSL + Linux</td></tr><tr><td>RDNA 3.5</td><td>Ryzen AI 300 / Ryzen AI MAX (Strix Halo)</td><td>gfx1150, gfx1151, gfx1152</td><td>Vollständig</td><td>Windows + WSL + Linux</td></tr><tr><td>RDNA 3</td><td>Radeon™ RX 7000-Serie</td><td>gfx1100, gfx1101, gfx1102</td><td>Vollständig</td><td>Windows + WSL + Linux</td></tr><tr><td>RDNA 2</td><td>Radeon™ RX 6000-Serie</td><td>gfx1030, gfx1031, gfx1032, gfx1034</td><td>Vollständig</td><td>Windows + WSL + Linux</td></tr><tr><td>RDNA 1</td><td>Radeon™ RX 5000-Serie</td><td>gfx1010, gfx1012</td><td>Vollständig</td><td>Windows + WSL + Linux</td></tr><tr><td>CDNA 4</td><td>Instinct™ MI350-Serie GPUs</td><td>gfx950</td><td>Vollständig</td><td>Nur Linux</td></tr><tr><td>CDNA 3</td><td>Instinct™ MI300-Serie GPUs</td><td>gfx940, gfx941, gfx942</td><td>Vollständig</td><td>Nur Linux</td></tr><tr><td>CDNA 2</td><td>Instinct™ MI200-Serie GPUs</td><td>gfx90a</td><td>Vollständig</td><td>Nur Linux</td></tr><tr><td>CDNA 1</td><td>Instinct™ MI100-Serie GPUs</td><td>gfx908</td><td>Vollständig</td><td>Nur Linux</td></tr></tbody></table>

### :desktop: Anleitung zur Verwendung von Unsloth auf AMD

Nach der Installation kannst du Unsloth Studio in deinem Browser öffnen. Von dort aus kannst du lokale LLMs auf AMD-Hardware automatisch ausführen und feinabstimmen. Siehe unten für detaillierte Installationsanweisungen:

{% columns %}
{% column width="50%" %} <a href="/docs/de/loslegen/install/amd.md" class="button primary">AMD-Installationsanleitung</a><a href="/docs/de/neu/studio/install.md" class="button primary">Unsloth Studio installieren</a>

Wähle dein Modell, deinen Datensatz und deine Trainingseinstellungen, um zu beginnen. Zum Beispiel kannst du QLoRA-4-Bit-Feintuning auf Gemma 4 12B mit einer Kontextlänge von \~16k, LoRA-Rang 16, einer Lernrate von 0,0002 und 30 maximalen Schritten ausführen.
{% endcolumn %}

{% column width="50%" %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F2GbvLBqN03qsvh5N9Uq1%2Fft%20studio.png?alt=media&amp;token=71fd643b-32f1-4f7f-8183-1e1fa97e80c0" alt=""><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}
Der Feintuning-Bildschirm von Unsloth Studio ist vollständig anpassbar, sodass du dein Modell, deinen Datensatz und deine Trainingsparameter konfigurieren kannst. Während des Trainings verfolgt Unsloth den Fortschritt in Echtzeit, einschließlich Loss, RAM- und VRAM-Nutzung sowie Unterstützung für Multi-GPU. Sobald das Training beginnt, siehst du den Fortschritt in Echtzeit dargestellt.

Nach dem Training kannst du deinen Verlauf aufrufen, um vergangene und aktive Trainingssitzungen zu sehen. Wähle eines deiner feinabgestimmten Modelle aus, um frühere Trainingsprotokolle anzuzeigen:
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FhATsVSzX50cDHFtnfRAN%2Fimage.png?alt=media&amp;token=ce89695a-1579-4ae5-8423-e3ddace69f8e" alt="" width="563"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

<div align="left"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fxm20hpZ7TK1y3xrzN6vp%2Fimage.png?alt=media&amp;token=77d9959c-4415-4f49-9413-684e83a3f4b8" alt="" width="563"><figcaption></figcaption></figure></div>

{% columns %}
{% column %}
Wenn das Training abgeschlossen ist, exportiere dein Modell als GGUF, zusammengeführte Modell-Safetensors oder als LoRA-Adapter für die Bereitstellung mit Hugging Face, llama.cpp, vLLM oder Unsloth. Für GGUF-Exporte verwendet Unsloth AMD-bewusste llama.cpp-ROCm-Prebuilds, die zu deiner gfx-Architektur passen, wobei die Kompilierung aus dem Quellcode als Fallback dient, wenn kein Prebuild verfügbar ist. Sobald der Export abgeschlossen ist, siehst du Export erfolgreich abgeschlossen. Du kannst dein Modell auch direkt auf den Hugging Face Hub pushen.
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FDVdUSCq0apPcx5mU2AYq%2Fimage.png?alt=media&amp;token=481db1ed-bae7-44c5-976e-2f5e85f886b6" alt="" width="563"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}
Exportiere dein Modell in dein bevorzugtes Format und stelle es überall bereit. Nach dem Export lädst du dein feinabgestimmtes Modell aus dem Bereich „Feinabgestimmt“ des Modell-Dropdowns in „Neuer Chat“ oder „Zuletzt verwendet“.

Wähle dein feinabgestimmtes Modell im Dropdown aus und chatte direkt in Unsloth damit. Du kannst deine trainierten oder heruntergeladenen Modelle jetzt in „Neuer Chat“, „Zuletzt verwendet“ oder „Projekte“ verwenden. Aktiviere die Schalter für Denken, Code und Suche für die beste Erfahrung und sieh dir die [Unsloth Studio-Chat](https://unsloth.ai/docs/new/studio/chat) Dokumentation für weitere Details an.
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FRcgOQ8zbfLAYhypopa0V%2Fimage.png?alt=media&amp;token=393d9bb3-1eb7-4171-9dd3-ef0377a176d5" alt="" width="407"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

Und schließlich kannst du direkt in Unsloth mit deinem neu feinabgestimmten Modell chatten!

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FCGaDuaOaNNzd6NrtpnD5%2Funsloth%20studio%20chat%20screenshot.png?alt=media&amp;token=d179749f-f027-4ab4-8082-f1c87b8a59be" alt=""><figcaption></figcaption></figure>

Du kannst den Durchsatz und die Generierungs-Token/s auch im Terminal überwachen, genau wie bei vLLM-Logging. Du wirst `"gen_tok_s"` sehen, was die Token/s sind, und `"prompt_tok_s"` was die Prompt-Verarbeitung ist.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F0wOZYG4Y72hZInt9BBjk%2Fthroughput.png?alt=media&amp;token=102dcc3a-75e6-4b7e-9631-4cd3115f7df9" alt=""><figcaption></figcaption></figure>

### :mobile\_phone:Unsloth auf Smartphones und Remote-HTTPS-Tunneling

Wir haben **kostenlose** Cloudflare-HTTPS-Tunnel für Unsloth hinzugefügt (ähnlich wie LM Link), damit du mit Unsloth auf deinem Smartphone (iPhone, Android – jedes Handy!) per Link oder von jedem anderen Computer aus Modelle aus der Ferne chatten / trainieren kannst! Das funktioniert auf Mac-, Linux-, WSL- und Windows-Geräten.

* Trainiere und feintune von deinem Handy aus / **aus der Ferne mit Live-Trainings-Loss-Protokollen** - abbrechen oder neu trainieren!
* Chatte von überall im Browser mit Tool-Calling und Live-Streaming.
* Echt **interaktives HTML-Canvas** Ausgaben direkt auf deinem Handy – spiele von LLMs erstellte Spiele!

<div><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FfuLfgQ7m7gB5IK8fZdDo%2Fphone%20inference.png?alt=media&amp;token=a7aec44c-02b8-483d-ab5b-7268f802a3e9" alt="" width="188"><figcaption><p>Chatte aus der Ferne!</p></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FlmeAQLZAFGGy21rDmBUn%2Fphone%20thinking.png?alt=media&amp;token=6f0fe9a6-c849-4ff0-bd7d-dea8dbffd222" alt="" width="188"><figcaption><p>Live-Inferenz + Tool-Calling</p></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FEQWneGD6ncfYTe6NugtO%2Fphone%20training%20logs.png?alt=media&amp;token=1c830286-f6bc-472c-8915-3f45daadb0a9" alt="" width="188"><figcaption><p>Remote-Trainingsprotokolle!</p></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fz1JnnGZmO5aWy57dK1w1%2Fphone%20flappy%20bird.png?alt=media&amp;token=b31fd81d-eb97-4c55-a93c-1e5f5742557a" alt="" width="188"><figcaption><p>Live-HTML auf dem Handy ausführen</p></figcaption></figure></div>

Um es einzurichten, gib nach der Installation von Unsloth zuerst im Terminal ein: `unsloth studio --secure` . Richte ein Passwort ein, damit niemand Unbefugtes auf den HTTPS-Link zugreifen kann!

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FQfRsJGUWXMCGYczt1G0K%2Fsecure%20login%20password.png?alt=media&amp;token=23f3976b-4e23-49da-a95c-e32fb53952f0" alt=""><figcaption></figcaption></figure>

Dann verwende in den Protokollen den <mark style="color:$success;">**grünen Cloudflare-Link**</mark> und gib dies auf unserem Handy oder einem anderen Remote-Gerät ein!

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F5UifJGPRo0GfSbm8UeAG%2Fsecure%20terminal%20link.png?alt=media&amp;token=8da77481-a380-4f26-af9f-c31342992d41" alt=""><figcaption></figcaption></figure>

Und schon bist du drin! Du kannst den live per HTTPS bereitgestellten Link jederzeit überwachen / abbrechen, indem du im Terminal, in dem Unsloth Studio gestartet wurde, STRG+C drückst!

<div><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FDYsI12Qy2lN1TuNu8HrJ%2Fphone%20model%20select.png?alt=media&amp;token=05891101-47cd-430b-9a76-698ccca60246" alt="" width="188"><figcaption><p>Inferenz-Einstellungen bearbeiten</p></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fi9RMJOuSJCZ0eTGr4iIJ%2Fphone%20extra%20optios.png?alt=media&amp;token=5fa1d410-9d5d-4964-8d51-c1f3e82ac213" alt="" width="188"><figcaption><p>Temp, top_p, Kontextlänge bearbeiten</p></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FgNBUBdVsZ08XfJtDv5Ux%2Fphone%20canvas.png?alt=media&amp;token=207ff0e7-9653-4181-9344-6fab86bc2b9a" alt="" width="188"><figcaption><p>Das Canvas rendert HTML automatisch!</p></figcaption></figure></div>

### :question:Wie AMD-Unterstützung für Unsloth aufgebaut wurde

Die benutzerdefinierten Kerne von Unsloth wurden in enger Zusammenarbeit mit dem AMD-Team auf AMD portiert. Dafür waren Änderungen am Installer, der Hardwareerkennung, dem Runtime-Routing, dem Monitoring und der Auswahl der vorgefertigten Assets erforderlich.

* **ROCm-Kernels:** HIP/Triton-Ports, abgestimmt auf RDNA und CDNA, mit architekturspezifischen Korrekturen für Präzision, Leistung und Stabilität. ([#2520](https://github.com/unslothai/unsloth/pull/2520))
* **4-Bit-Training:** bitsandbytes-basierte QLoRA-Unterstützung für Radeon- und CDNA-GPUs. ([#3748](https://github.com/unslothai/unsloth/pull/3748))
* **Automatische Einrichtung:** robuste AMD-GPU-Erkennung und Installation des richtigen ROCm-PyTorch-Wheels, einschließlich Reparatur- und Plattform-Schutzmaßnahmen. ([#4770](https://github.com/unslothai/unsloth/pull/4770))
* **Windows und Strix Halo:** native Windows-ROCm-Installation, Laufzeit-Kompatibilitätspatches, Unified-Memory-Berichterstattung und WSL-Unterstützung. ([#5301](https://github.com/unslothai/unsloth/pull/5301), [#6227](https://github.com/unslothai/unsloth/pull/6227))
* **ROCm-Inferenz:** architekturspezifische llama.cpp-Prebuilds, Fallback für Quellcode-Builds, AMD-VRAM-Erkennung und Monitoring. ([#5172](https://github.com/unslothai/unsloth/pull/5172))

### :clock1: Zukünftige Arbeiten

Vielen Dank an das AMD-Team dafür, dass es mit uns zusammengearbeitet hat, damit AMD gut funktioniert! Zu den kommenden Prioritäten gehören:

* Fortgesetzte Entwicklung und Zusammenarbeit mit dem AMD-Team.
* Erweiterte CI/CD für Hardware-Backends unter Verwendung von AMD-Strix-Halo- und Radeon-Lab-Hardware.
* Unterstützung für neue AMD-Grafikkarten und Architekturen bei ihrer Markteinführung.
* Klarere Multi-GPU-Anleitung: Verteiltes AMD-Training ist derzeit nur unter Linux verfügbar. Unter Linux verwendet ROCm RCCL, daher funktioniert verteiltes Training. Unter Windows bietet AMD ROCm derzeit noch kein GPU-Collective-Backend, mit GLOO-/nur-CPU-Unterstützung ab [TheRock #5694](https://github.com/ROCm/TheRock/pull/5694), verwende Linux, wenn du AMD-Multi-GPU-Training durchführen möchtest.
* Weitere Geschwindigkeitsoptimierungen in Bezug auf den ROCm-Stack.

### :love\_letter: Danke an AMD für die Zusammenarbeit!

Vielen Dank an das AMD-Team und unsere großartige Unsloth-Community, dass ihr bei diesem Release mit uns zusammengearbeitet habt. Wir danken Strahinja Stamenkovic, Filip Jankovic, Iswarya Alex, Yue Yuan Bill He, Eda Zhou, Mahdi Ghodsi, Guruprasad und dem gesamten AMD-Team für die Zusammenarbeit daran, dass die AMD-Unterstützung mit Unsloth großartig funktioniert! Ein riesiges Dankeschön auch an die Community-Mitglieder: Nate, UBER6, AiwendilOfMirk..., Gene, Jimster480, VELICAN, Vintheboy, archmaker, BichonFriseMax, Calandracas, Chigoma333, Edd, electroglyph, jslowbell, mk 27B UD-, Satyam, snapcast3r, TotoMC für das Testen und Debuggen mit uns.

Eine einfache Möglichkeit, Unsloth auf AMD zu verwenden, ist über [AMD Developer Cloud](https://www.amd.com/en/developer/resources/cloud-access/amd-developer-cloud.html), mit One-Click-Notebooks, angetrieben von MI300X-GPUs mit 192 GB VRAM. AMD bietet außerdem kostenlose Guthaben über das [AMD AI Developer Program](https://www.amd.com/en/developer/ai-dev-program.html). Um ein Unsloth-Notebook auszuführen, verwende ein beliebiges AMD-Notebook aus [unslothai/notebooks](https://github.com/unslothai/notebooks) und tausche die GitHub-Domain gegen die URL der AMD Developer Cloud aus, da die Notebook-Pfade identisch sind.

Brauchst du Hilfe oder möchtest Feedback teilen? Du kannst unserem [Discord](https://discord.com/invite/unsloth), die [AMD-Dokumentation](https://unsloth.ai/docs/get-started/install/amd), ein Issue oder einen PR auf [GitHub](https://github.com/unslothai/unsloth/issues), oder in unserem [Reddit r/unsloth](https://www.reddit.com/r/unsloth/).


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/de/grundlagen/amd.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.