> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/grundlagen/amd.md).

# Modelle auf AMD-GPUs mit Unsloth trainieren und ausführen

Unsloth unterstützt jetzt offiziell AMD-Hardware und macht es einfach, Modelle lokal auf AMD-GPUs auszuführen, zu trainieren, feinabzustimmen, RL zu machen und bereitzustellen. Vollständig Open Source, [Unsloth](/docs/de/desktop.md) läuft unter Windows, WSL und Linux und unterstützt RDNA 1–4, Radeon RX 9000- und 7000-Serien-GPUs, Instinct MI350- und MI300-Rechenzentrums-GPUs, Vulkan, Strix Halo – angetriebene Ryzen AI Max-Systeme und mehr.

Wir haben zusammengearbeitet mit [AMD](https://www.amd.com/en/developer/resources/technical-articles/2026/train-and-run-models-on-amd-gpus-with-unsloth.html) und unserer Community, um bis zu 2x schnelleres Training und 70 % weniger VRAM für alle Modelle ohne Genauigkeitsverlust zu ermöglichen. Wenn du keine GPU hast, unterstützt Unsloth immer noch native AMD-Inferenz für [Qwen3.6](/docs/de/modelle/qwen3.6.md), [Gemma 4](/docs/de/modelle/gemma-4.md), DeepSeek-V4, GLM 5.2, DiffusionGemma, Kimi K2.7 und andere Modelle.

<a href="/docs/de/grundlagen/amd.md#installing-unsloth-on-amd" class="button primary" data-icon="bolt">Schnellstart</a><a href="/docs/de/grundlagen/amd.md#id-2x-faster-training-and-50-more-accurate-tool-calls" class="button secondary" data-icon="star">Funktionen</a><a href="https://github.com/unslothai/unsloth" class="button secondary" data-icon="github">GitHub</a>

{% hint style="success" %}
**Update vom 18. Sept.:** Hinzugefügt **RDNA 1, 2, Gorgon Halo, Vulkan-Unterstützung** + das Nicht-Erkennen von GPUs auf AMD-GPUs behoben.\
Bessere RDNA4- sowie automatische Fehlerbehebung und -erkennung bei HIP/ROCm.
{% endhint %}

Um Unsloth auf AMD zu installieren, ist der einfachste Weg, unsere [Desktop-App](/docs/de/desktop.md).

<a href="https://unsloth.ai/download/windows" class="button secondary" data-icon="windows">Für Windows herunterladen</a><a href="https://unsloth.ai/download/windows" class="button secondary" data-icon="linux">Für Linux herunterladen</a>\
\
Für die manuelle Installation:

**MacOS, Linux, WSL:**

{% code overflow="wrap" expandable="true" %}

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

{% endcode %}

**Windows PowerShell:**

<pre class="language-powershell" data-overflow="wrap"><code class="lang-powershell"><strong>irm https://unsloth.ai/install.ps1 | iex 
</strong></code></pre>

### ⭐ Funktionen

Unsloth unterstützt sowohl Inferenz als auch Training für AMD, also kannst du mit Unsloth auch dann noch Modelle ausführen, wenn du keine GPU und nur eine CPU hast. Wenn du Unsloth verwendest, bekommst du:

* [**Reparatur von Tool-Aufrufen**](/docs/de/neu/studio/chat.md#auto-healing-tool-calling) **für Inferenz, um die Genauigkeit um 50 % zu erhöhen**, unbegrenzte kostenlose [Websuche](/docs/de/neu/studio/chat.md#advanced-web-search), HTML-Canvas, [**sichere HTTPS-Bereitstellung**](#unsloth-on-phones-and-remote-https-tunneling) über Cloudflare und [Code-Ausführung](/docs/de/neu/studio.md#execute-code--heal-tool-calling) die gesamte Arbeit.
* **Trainiere Gemma 4-Modelle mit 8 GB VRAM** oder Qwen3.5 mit 3 GB VRAM. Triton-Kernels, mathematische Algorithmen und Speichertricks ermöglichen für AMD 70 % weniger VRAM-Verbrauch ohne Genauigkeitsverlust.
* Bis zu **80 % weniger VRAM-Verbrauch für** [**Reinforcement Learning**](/docs/de/erste-schritte/reinforcement-learning-rl-guide/grpo-long-context.md) wie GRPO. Und Gewichtsteilung mit vLLM, um 50 % Speicherverbrauch zu sparen.
* Optimierte Unterstützung für **RDNA 3** und neuere GPUs sowie GPUs in Rechenzentrumsqualität. Strix Halo ist außerdem für Linux, WSL und Windows optimiert.

{% columns %}
{% column %}

* [**Verbinde**](/docs/de/integrationen/unsloth-start.md) **deine lokalen Modelle mit jedem Agenten-Framework**: [Claude Code](/docs/de/grundlagen/claude-code.md), [Codex](/docs/de/grundlagen/codex.md), [Hermes](/docs/de/integrationen/hermes-agent.md), [OpenClaw](/docs/de/integrationen/openclaw.md) und mehr.
* Unterstützt Inferenz und Training für nahezu **alle Modelle**, einschließlich der neuesten [DeepSeek-V4](/docs/de/modelle/deepseek-v4.md), [GLM-5.2](/docs/de/modelle/glm-5.2.md), [Kimi-K2.7](/docs/de/modelle/kimi-k2.7-code.md), [MiniMax M3](/docs/de/modelle/minimax-m3.md), [DiffusionGemma](/docs/de/modelle/diffusiongemma.md), [Inkling](/docs/de/modelle/inkling.md) und mehr!
* AMD-Multi-GPU-Unterstützung + VRAM-/RAM-Tracking. `llama.cpp` ROCm-Vorab-Builds werden täglich bereitgestellt, sodass du immer die neuesten Modellaktualisierungen erhältst!
  {% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fszoidwwj70dLm5vBjpmL%2Fdiffusiongemma.gif?alt=media&amp;token=8ce359fd-f92c-4cf8-a491-06b04c505cb7" alt="" width="375"><figcaption><p>DiffusionGemma läuft auf AMD-GPUs</p></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

### ⚡ Schnellstart

Unsloth installiert automatisch die besten ROCm-Builds für PyTorch, vorgefertigte llama.cpp-Builds, bitsandbytes, ROCm-optimierte Kernel und Triton. Wir liefern außerdem unsere AMD-Optimierungen und -Korrekturen gemeinsam aus. Du kannst unsere ausführlichere [detaillierte Anleitung hier](#guide-to-using-unsloth-on-amd) für weitere Details lesen.

Wir haben die Unsloth-Installationen für Windows- und WSL-Nutzer nahtlos gemacht – empfehlen jedoch allgemein, direkt Linux zu verwenden, da es die breiteste Unterstützung bietet. Unsloth unterstützt MacOS, Linux, [Windows](/docs/de/erste-schritte/install/windows-installation.md), [NVIDIA](/docs/de/erste-schritte/install/pip-install.md), Intel und CPU-Setups. Siehe: [Unsloth-Anforderungen](/docs/de/erste-schritte/fine-tuning-for-beginners/unsloth-requirements.md). Das Aktualisieren erfolgt mit denselben Befehlen!

**MacOS, Linux, WSL:**

{% code overflow="wrap" %}

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

{% endcode %}

**Windows PowerShell:**

{% code overflow="wrap" %}

```bash
irm https://unsloth.ai/install.ps1 | iex
```

{% endcode %}

{% columns %}
{% column %}
Unsloth installiert automatisch ROCm, PyTorch, eigene vorgefertigte llama.cpp-Builds und mehr!

#### Zugriff auf Unsloth aus der Ferne

Wir haben außerdem [Cloudflare-HTTPS-Tunneling](#unsloth-on-phones-and-remote-https-tunneling) kostenlos aktiviert – so kannst du per HTTPS sicher aus der Ferne auf Unsloth zugreifen.
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FsnKMaYneotmsSaEvA2mU%2Finstall%201.png?alt=media&amp;token=bbfba550-a47e-4273-80f5-a21bfc44717c" alt=""><figcaption><p>Unsloth auf AMD-Windows-Rechnern installieren</p></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

#### :inbox\_tray: Unsloth-Notebooks und pip-Installation

Wenn du nur einfache Unsloth-Notebooks möchtest, siehe die allgemeine [AMD](/docs/de/erste-schritte/install/amd.md) Installationsanleitung. Achte darauf, die[AMD](/docs/de/erste-schritte/install/amd.md) Installationsanleitung zu lesen! Nachdem du ihr für die Installation von PyTorch und ROCm gefolgt bist, führe dann aus:

{% code overflow="wrap" %}

```bash
uv pip install unsloth[amd]
```

{% endcode %}

#### :play\_pause:Unsloth-Start

{% columns %}
{% column width="58.333333333333336%" %}
[Unsloth-Start](/docs/de/integrationen/unsloth-start.md) lässt dich verbinden [Claude Code](/docs/de/grundlagen/claude-code.md), [Codex](/docs/de/grundlagen/codex.md) und andere Agenten mit lokalen Modellen über den `unsloth start` Befehl.&#x20;

Starte Unsloth, öffne deinen Projektordner und führe aus:

{% code overflow="wrap" %}

```bash
unsloth start claude --model \
    unsloth/gemma-4-E2B-it-GGUF:UD-Q4_K_XL
```

{% endcode %}

Ersetze `claude` durch einen der folgenden Agenten:
{% endcolumn %}

{% column width="41.666666666666664%" %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FpXE6kCHjh8qOEaggf94M%2FScreenshot_20260718_122426.png?alt=media&amp;token=a59e4c8c-efdb-451b-b1f8-621955564f6d" alt="" width="563"><figcaption><p>Claude Code, das lokal mit Qwen3.5 läuft.</p></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

| Agent                                                              | Befehl                   |
| ------------------------------------------------------------------ | ------------------------ |
| <i class="fa-claude">:claude:</i> Claude Code                      | `unsloth start claude`   |
| <i class="fa-openai">:openai:</i> OpenAI Codex                     | `unsloth start codex`    |
| <i class="fa-caduceus">:caduceus:</i> Hermes Agent                 | `unsloth start hermes`   |
| <i class="fa-lobster">:lobster:</i> OpenClaw                       | `unsloth start openclaw` |
| <i class="fa-rectangle-vertical">:rectangle-vertical:</i> OpenCode | `unsloth start opencode` |

<div><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fs6AKlSRUrfdwYDIZpcjN%2Fimage(6).png?alt=media&amp;token=d8042094-2df1-4737-b806-08a77e45e105" alt=""><figcaption><p>Claude-Instanzen sind alle isoliert</p></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FahmAqUZMFFI3VouqwIYf%2Fimage(5).png?alt=media&amp;token=0dd84f49-16cf-4799-a1d3-e6cbbe105115" alt=""><figcaption><p>Codex, der unsloth/gemma-4-E2B-it dynamic 4bit ausführt</p></figcaption></figure></div>

### :bar\_chart: AMD-Analyse

Wir haben viele unserer Optimierungen, die wir für Nicht-AMD-GPUs entwickelt haben, übernommen, damit AMD-GPUs glänzen! AMD-Training auf Windows-Geräten zum Laufen zu bringen und die Kompatibilität über nahezu jedes AMD-Gerät hinweg sicherzustellen, war eine Menge Arbeit, aber wir sind mit dem aktuellen Stand zufrieden. Wir arbeiten weiterhin aktiv daran, AMD-GPUs noch besser zu machen! Unten sind einige Analysen/Benchmarks, die wir auf einer AMD MI300X durchgeführt haben.

#### Reinforcement Learning: genaueres LoRA und QLoRA

Während RL auf AMD unterstützt Unsloth **Gewichtsteilung** mit vLLM, wie eingeführt in [Speichereffizientes RL](/docs/de/erste-schritte/reinforcement-learning-rl-guide/memory-efficient-rl.md). Wir **halbieren den Speicherverbrauch** durch direkten Zugriff auf vLLMs Allokation des Modells.

Während LoRA und QLoRA führen wir ebenfalls kein Zusammenführen und Entzusammenführen der LoRA-Gewichte durch wie unten:

$$
W = W + sAB \\
\text{inference} = XW \\
W = W - sAB
$$

Das oben Genannte verursacht Probleme, da **IEEE-Floats wegen Rundung nicht assoziativ sind**. Wenn W in BF16 vorliegt, verursacht das subtile Unterschiede beim Subtrahieren, wie es bei anderen RL-Engines geschieht. Das bedeutet in der IEEE-Welt:

$$
W \ne(W + sAB) - (sAB)
$$

Und wenn W in bfloat16 mit wenigen Mantissenbits vorliegt, dann **rundet kleine Zahlen auf null**. Da A und B während LoRA float32 sind, kann W sich im Laufe der Zeit nach dem Zusammenführen und Entzusammenführen verschieben. Unsloth verwendet direkt vLLMs LoRA-Pfad, daher vermeiden wir das. Die Basisgewichte werden niemals bearbeitet und driften niemals.

#### Schnelleres Reinforcement Learning

{% columns %}
{% column %}
Wir haben andere Setups mit gemeinsam platziertem FA2 und vLLM benchmarked. Beide verwenden vLLM zur Generierung; Unsloth verlagert mehr des Schritts in die Generierung und macht das Training ungefähr 2x schneller.

Alle drei Benchmarks sind reproduzierbar: gleiche Seeds, gleiche Token-Budgets, und die
&#x20;Verlustkurven stimmen zwischen den beiden Stacks überein.
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F31TQsJ8fBG7Vts7u37J8%2Fchart_grpo_combined.png?alt=media&amp;token=719e2729-839e-4287-aa00-5e3b77e1ad7b" alt=""><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

#### Schnelleres und speichereffizienteres Training

Bei Llama-3.1-8B LoRA SFT (Batch 2 x Grad-Accum 4 x 2048 = 16.384 Token/Schritt, gepackt) trainiert Unsloth mit 2,07 s/Schritt gegenüber 2,87 s/Schritt für TRL + FA2 und erreicht Spitzenwerte von 18,3 GB gegenüber 24,3 GB. Das ist 1,39x schneller und benötigt 1,33x weniger Speicher, ohne jede Änderung der Genauigkeit. Wir planen, das noch weiter zu verbessern!

<div><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F1YySU2nLYyKoSyXh8lsi%2Fchart_llama8b_vram_over_time.png?alt=media&amp;token=526b2488-315e-487b-8baa-ee71d5e1408a" alt=""><figcaption></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FJQH7QTamM7zuK45NNnZY%2Fchart_llama8b_sft_efficiency.png?alt=media&amp;token=81388e0a-e9ca-433d-9cca-1b32f406043b" alt=""><figcaption></figcaption></figure></div>

Die Speichereinsparungen bedeuten nicht nur einen niedrigeren Spitzenwert, sie halten für den gesamten Lauf an.
&#x20;Wenn wir jede 0,1 s den zugewiesenen VRAM abtasten, bleibt Unsloth die ganze Zeit flach und niedrig,
&#x20;während andere Setups + FA2 bei fast jedem Schritt auf 22,8 GB ansteigen und länger brauchen, um
&#x20;fertig zu werden (75 s gegenüber 56 s für dieselben 25 Schritte).

### :sparkles:Unterstützte AMD-Hardware

Die AMD-Unterstützung von Unsloth konzentriert sich auf beliebte Consumer-, Workstation- und Rechenzentrums-GPUs. Training, Unsloth Studio und GGUF-/llama.cpp-Inferenzunterstützung können je nach Architektur variieren, daher trennt die Tabelle unten optimierte Unterstützung von Kompatibilitätswegen.

<table><thead><tr><th>Architektur</th><th>Serie</th><th width="159">gfx</th><th>Unterstützung</th><th>Plattform</th></tr></thead><tbody><tr><td>RDNA 4</td><td>Radeon™ RX 9000-Serie</td><td>gfx1200, gfx1201</td><td>Vollständig</td><td>Windows + WSL + Linux</td></tr><tr><td>RDNA 3.5</td><td>Ryzen AI 300 / Ryzen AI MAX (Strix Halo)</td><td>gfx1150, gfx1151, gfx1152</td><td>Vollständig</td><td>Windows + WSL + Linux</td></tr><tr><td>RDNA 3</td><td>Radeon™ RX 7000-Serie</td><td>gfx1100, gfx1101, gfx1102</td><td>Vollständig</td><td>Windows + WSL + Linux</td></tr><tr><td>RDNA 2</td><td>Radeon™ RX 6000-Serie</td><td>gfx1030, gfx1031, gfx1032, gfx1034</td><td>Vollständig</td><td>Windows + WSL + Linux</td></tr><tr><td>RDNA 1</td><td>Radeon™ RX 5000-Serie</td><td>gfx1010, gfx1012</td><td>Vulkan-Inferenz</td><td>Windows + WSL + Linux</td></tr><tr><td>CDNA 4</td><td>Instinct™ MI350-Serie GPUs</td><td>gfx950</td><td>Vollständig</td><td>nur Linux</td></tr><tr><td>CDNA 3</td><td>Instinct™ MI300-Serie GPUs</td><td>gfx940, gfx941, gfx942</td><td>Vollständig</td><td>nur Linux</td></tr><tr><td>CDNA 2</td><td>Instinct™ MI200-Serie GPUs</td><td>gfx90a</td><td>Vollständig</td><td>nur Linux</td></tr><tr><td>CDNA 1</td><td>Instinct™ MI100-Serie GPUs</td><td>gfx908</td><td>Vollständig</td><td>nur Linux</td></tr></tbody></table>

Wir arbeiten aktiv daran, mehr AMD-GPUs zu unterstützen; ältere haben leider jedoch nicht die erforderliche Hardware-Unterstützung, damit wir daran arbeiten können.

### :desktop: Anleitung zur Verwendung von Unsloth auf AMD

Nach der Installation kannst du Unsloth Studio in deinem Browser öffnen. Von dort aus kannst du lokale LLMs auf AMD-Hardware automatisch ausführen und feinabstimmen. Detaillierte Installationsanweisungen findest du unten:

{% columns %}
{% column width="50%" %} <a href="/docs/de/erste-schritte/install/amd.md" class="button primary">AMD-Installationsanleitung</a><a href="/docs/de/neu/studio/install.md" class="button primary">Unsloth Studio installieren</a>

Wähle dein Modell, deinen Datensatz und deine Trainingseinstellungen aus, um zu beginnen. Zum Beispiel kannst du QLoRA-4-Bit-Finetuning auf Gemma 4 12B mit einer Kontextlänge von \~16k, LoRA-Rang 16, Lernrate 0,0002 und 30 maximalen Schritten ausführen.
{% endcolumn %}

{% column width="50%" %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F2GbvLBqN03qsvh5N9Uq1%2Fft%20studio.png?alt=media&amp;token=71fd643b-32f1-4f7f-8183-1e1fa97e80c0" alt=""><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}
Der Finetuning-Bildschirm von Unsloth Studio ist vollständig anpassbar, sodass du dein Modell, deinen Datensatz und deine Trainingsparameter konfigurieren kannst. Während des Trainings verfolgt Unsloth den Fortschritt in Echtzeit, einschließlich Verlust, RAM- und VRAM-Nutzung sowie Unterstützung für Multi-GPU. Sobald das Training beginnt, siehst du den Fortschritt in Echtzeit geplottet.

Nach dem Training kannst du deinen Verlauf aufrufen, um vergangene und aktive Trainingssitzungen zu sehen. Wähle eines deiner feinabgestimmten Modelle aus, um frühere Trainingsprotokolle anzuzeigen:
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FhATsVSzX50cDHFtnfRAN%2Fimage.png?alt=media&amp;token=ce89695a-1579-4ae5-8423-e3ddace69f8e" alt="" width="563"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

<div align="left"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fxm20hpZ7TK1y3xrzN6vp%2Fimage.png?alt=media&amp;token=77d9959c-4415-4f49-9413-684e83a3f4b8" alt="" width="563"><figcaption></figcaption></figure></div>

{% columns %}
{% column %}
Wenn das Training abgeschlossen ist, exportiere dein Modell als GGUF, zusammengeführte Model-Safetensors oder einen LoRA-Adapter zur Bereitstellung mit Hugging Face, llama.cpp, vLLM oder Unsloth. Für GGUF-Exporte verwendet Unsloth AMD-bewusste llama.cpp-ROCm-Vorab-Builds, die zu deiner gfx-Architektur passen, wobei der Quellcode-Build als Fallback dient, wenn kein Vorab-Build verfügbar ist. Sobald der Export abgeschlossen ist, siehst du Export erfolgreich abgeschlossen. Du kannst dein Modell auch direkt auf den Hugging Face Hub hochladen.
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FDVdUSCq0apPcx5mU2AYq%2Fimage.png?alt=media&amp;token=481db1ed-bae7-44c5-976e-2f5e85f886b6" alt="" width="563"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}
Exportiere dein Modell in dein bevorzugtes Format und stelle es überall bereit. Nach dem Export lädst du dein feinabgestimmtes Modell aus dem Abschnitt „Feinabgestimmt“ im Modell-Dropdown in New Chat oder Zuletzt.

Wähle dein feinabgestimmtes Modell aus dem Dropdown und chatte direkt in Unsloth damit. Du kannst deine trainierten oder heruntergeladenen Modelle jetzt in New Chat, Zuletzt oder Projects verwenden. Aktiviere die Schalter für Think, Code und Suche für das beste Erlebnis und siehe die [Unsloth Studio Chat](https://unsloth.ai/docs/new/studio/chat) Dokumentation für weitere Details.
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FRcgOQ8zbfLAYhypopa0V%2Fimage.png?alt=media&amp;token=393d9bb3-1eb7-4171-9dd3-ef0377a176d5" alt="" width="407"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

Und schließlich kannst du direkt in Unsloth mit deinem neu feinabgestimmten Modell chatten!

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FCGaDuaOaNNzd6NrtpnD5%2Funsloth%20studio%20chat%20screenshot.png?alt=media&amp;token=d179749f-f027-4ab4-8082-f1c87b8a59be" alt=""><figcaption></figcaption></figure>

Du kannst Durchsatz und Generierungstokens / s auch direkt im Terminal überwachen, genau wie bei vLLM-Logging. Du wirst sehen `"gen_tok_s"` das sind die Tokens / s und `"prompt_tok_s"` was die Prompt-Verarbeitung darstellt.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F0wOZYG4Y72hZInt9BBjk%2Fthroughput.png?alt=media&amp;token=102dcc3a-75e6-4b7e-9631-4cd3115f7df9" alt=""><figcaption></figcaption></figure>

### :mobile\_phone:Unsloth auf Handys und Remote-HTTPS-Tunneling

Wir haben **kostenlose** Cloudflare-HTTPS-Tunnels für Unsloth hinzugefügt (ähnlich wie LM Link), sodass du Modelle mit Unsloth per Link oder von jedem anderen Computer aus remote auf deinem Handy (iPhone, Android – jedes Handy!) chatten/trainieren kannst! Das funktioniert auf Mac-, Linux-, WSL- und Windows-Geräten.

* Trainiere und feinabstimme von deinem Handy aus / **aus der Ferne mit Live-Trainings-Loss-Protokollen** - abbrechen oder neu trainieren!
* Von überall im Browser chatten mit Tool-Calling und Live-Streaming.
* Echte **interaktiv nutzbare HTML-Canvas** Ausgaben direkt auf deinem Handy – spiele von LLMs erstellte Spiele!

<div><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FfuLfgQ7m7gB5IK8fZdDo%2Fphone%20inference.png?alt=media&amp;token=a7aec44c-02b8-483d-ab5b-7268f802a3e9" alt="" width="188"><figcaption><p>Remote chatten!</p></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FlmeAQLZAFGGy21rDmBUn%2Fphone%20thinking.png?alt=media&amp;token=6f0fe9a6-c849-4ff0-bd7d-dea8dbffd222" alt="" width="188"><figcaption><p>Live-Inferenz + Tool-Calling</p></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FEQWneGD6ncfYTe6NugtO%2Fphone%20training%20logs.png?alt=media&amp;token=1c830286-f6bc-472c-8915-3f45daadb0a9" alt="" width="188"><figcaption><p>Remote-Trainingsprotokolle!</p></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fz1JnnGZmO5aWy57dK1w1%2Fphone%20flappy%20bird.png?alt=media&amp;token=b31fd81d-eb97-4c55-a93c-1e5f5742557a" alt="" width="188"><figcaption><p>Live-HTML auf dem Handy ausführen</p></figcaption></figure></div>

Um es einzurichten, gib nach der Installation von Unsloth zuerst im Terminal ein `unsloth studio --secure` . Lege ein Passwort fest, damit niemand Unbefugtes auf den HTTPS-Link zugreifen kann!

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FQfRsJGUWXMCGYczt1G0K%2Fsecure%20login%20password.png?alt=media&amp;token=23f3976b-4e23-49da-a95c-e32fb53952f0" alt=""><figcaption></figcaption></figure>

Dann in den Protokollen – verwende den <mark style="color:$success;">**grünen Cloudflare-Link**</mark> und gib das auf unserem Handy oder einem beliebigen Remote-Gerät ein!

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F5UifJGPRo0GfSbm8UeAG%2Fsecure%20terminal%20link.png?alt=media&amp;token=8da77481-a380-4f26-af9f-c31342992d41" alt=""><figcaption></figcaption></figure>

Und schon bist du drin! Du kannst den live per HTTPS bereitgestellten Link jederzeit überwachen / abbrechen, indem du im Terminal, in dem Unsloth Studio gestartet wurde, STRG+C drückst!

<div><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FDYsI12Qy2lN1TuNu8HrJ%2Fphone%20model%20select.png?alt=media&amp;token=05891101-47cd-430b-9a76-698ccca60246" alt="" width="188"><figcaption><p>Inference-Einstellungen bearbeiten</p></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fi9RMJOuSJCZ0eTGr4iIJ%2Fphone%20extra%20optios.png?alt=media&amp;token=5fa1d410-9d5d-4964-8d51-c1f3e82ac213" alt="" width="188"><figcaption><p>Temp, top_p, Kontextlänge bearbeiten</p></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FgNBUBdVsZ08XfJtDv5Ux%2Fphone%20canvas.png?alt=media&amp;token=207ff0e7-9653-4181-9344-6fab86bc2b9a" alt="" width="188"><figcaption><p>Canvas rendert HTML automatisch!</p></figcaption></figure></div>

### :question:Wie AMD-Unterstützung für Unsloth aufgebaut wurde

Unsloths eigene Kernels wurden in enger Zusammenarbeit mit dem AMD-Team auf AMD portiert. Dies erforderte Änderungen am Installer, der Hardwareerkennung, dem Runtime-Routing, dem Monitoring und der Auswahl vorgefertigter Assets.

* **ROCm-Kernels:** HIP/Triton-Ports, abgestimmt auf RDNA und CDNA, mit architekturspezifischen Korrekturen für Präzision, Leistung und Stabilität. ([#2520](https://github.com/unslothai/unsloth/pull/2520))
* **4-Bit-Training:** bitsandbytes-basierte QLoRA-Unterstützung für Radeon- und CDNA-GPUs. ([#3748](https://github.com/unslothai/unsloth/pull/3748))
* **Automatische Einrichtung:** robuste AMD-GPU-Erkennung und Installation des richtigen ROCm-PyTorch-Wheels, einschließlich Reparatur- und Plattform-Schutzmaßnahmen. ([#4770](https://github.com/unslothai/unsloth/pull/4770))
* **Windows und Strix Halo:** native ROCm-Installation unter Windows, Laufzeit-Kompatibilitätspatches, Berichterstattung über Unified Memory und WSL-Unterstützung. ([#5301](https://github.com/unslothai/unsloth/pull/5301), [#6227](https://github.com/unslothai/unsloth/pull/6227))
* **ROCm-Inferenz:** architekturspezifische llama.cpp-Vorab-Builds, Fallback auf Quellcode-Builds, AMD-VRAM-Erkennung und Monitoring. ([#5172](https://github.com/unslothai/unsloth/pull/5172))

### :clock1: Zukünftige Arbeiten

Vielen Dank an das AMD-Team für die Zusammenarbeit mit uns, damit AMD gut funktioniert! Zu den kommenden Prioritäten gehören:

* Fortgesetzte Entwicklung und Zusammenarbeit mit dem AMD-Team.
* Erweiterte CI/CD für Hardware-Backends mit AMD-Strix-Halo- und Radeon-Lab-Hardware.
* Unterstützung für neue AMD-GPU-Karten und -Architekturen, sobald sie veröffentlicht werden.
* Klarere Anleitung für Multi-GPU: AMD-verteiltes Training ist derzeit nur unter Linux möglich. Unter Linux verwendet ROCm RCCL, daher funktioniert verteiltes Training. Unter Windows bietet AMD ROCm derzeit noch kein GPU-Kollektiv-Backend, mit GLOO/CPU-only-Unterstützung ab [TheRock #5694](https://github.com/ROCm/TheRock/pull/5694), verwende Linux, wenn du AMD-Multi-GPU-Training planst.
* Weitere Geschwindigkeitsoptimierungen im Hinblick auf den ROCm-Stack.

### :love\_letter: Danke an AMD für die Zusammenarbeit!

Vielen Dank an das AMD-Team und unsere großartige Unsloth-Community für die Zusammenarbeit mit uns an diesem Release. Wir danken Strahinja Stamenkovic, Filip Jankovic, Iswarya Alex, Yue Yuan Bill He, Eda Zhou, Mahdi Ghodsi, Guruprasad und dem gesamten AMD-Team für die Zusammenarbeit, damit AMD-Unterstützung mit Unsloth großartig funktioniert! Ein riesiges Dankeschön auch an die Community-Mitglieder: Nate, UBER6, AiwendilOfMirk..., Gene, Jimster480, VELICAN, Vintheboy, archmaker, BichonFriseMax, Calandracas, Chigoma333, Edd, electroglyph, jslowbell, mk 27B UD-, Satyam, snapcast3r, TotoMC für Testen und Debuggen mit uns.

Eine einfache Möglichkeit, Unsloth auf AMD zu verwenden, ist über [AMD Developer Cloud](https://www.amd.com/en/developer/resources/cloud-access/amd-developer-cloud.html), mit Notebooks per Klick, die von MI300X-GPUs mit 192 GB VRAM angetrieben werden. AMD bietet außerdem kostenlose Credits über das [AMD AI Developer Program](https://www.amd.com/en/developer/ai-dev-program.html). Um ein Unsloth-Notebook auszuführen, verwende eines der AMD-Notebooks von [unslothai/notebooks](https://github.com/unslothai/notebooks) und ersetze die GitHub-Domain durch die URL der AMD Developer Cloud, da die Notebook-Pfade gleich sind.

Brauchst du Hilfe oder möchtest du Feedback teilen? Du kannst unserem [Discord](https://discord.com/invite/unsloth), die [AMD-Dokumentation](https://unsloth.ai/docs/get-started/install/amd), ein Issue oder PR auf [GitHub](https://github.com/unslothai/unsloth/issues), oder in unserem [Reddit r/unsloth](https://www.reddit.com/r/unsloth/).


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://unsloth.ai/docs/de/grundlagen/amd.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.