> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/grundlagen/amd.md).

# Modelle mit Unsloth auf AMD-GPUs trainieren und ausführen

Unsloth unterstützt jetzt offiziell AMD-Hardware, sodass es einfach ist, Modelle lokal auf AMD-GPUs auszuführen, zu trainieren, feinabzustimmen, für RL zu nutzen und bereitzustellen. Vollständig Open Source, [Unsloth Studio](/docs/de/neu/studio.md) funktioniert unter Windows, WSL und Linux und unterstützt AMDs Radeon RX 9000, die 7000er-Serie, Instinct MI350 und MI300 Rechenzentrums-GPUs, Vulkan, mit Strix Halo ausgestattete Ryzen AI Max-Systeme und mehr.

Wir haben zusammengearbeitet mit [AMD](https://www.amd.com/en/developer/resources/technical-articles/2026/train-and-run-models-on-amd-gpus-with-unsloth.html) und unserer Community, um bis zu 2x schnelleres Training und 70 % weniger VRAM für alle Modelle ohne Genauigkeitsverlust zu ermöglichen. Wenn Sie keine GPU haben, unterstützt Unsloth weiterhin native AMD-Inferenz für [Qwen3.6](/docs/de/modelle/qwen3.6.md), [Gemma 4](/docs/de/modelle/gemma-4.md), DeepSeek-V4, GLM 5.2, DiffusionGemma, Kimi K2.7 und andere Modelle.

<a href="/docs/de/grundlagen/amd.md#installing-unsloth-on-amd" class="button primary" data-icon="bolt">Schnellstart</a><a href="/docs/de/grundlagen/amd.md#id-2x-faster-training-and-50-more-accurate-tool-calls" class="button secondary" data-icon="star">Funktionen</a><a href="https://github.com/unslothai/unsloth" class="button secondary" data-icon="github">GitHub</a>

{% hint style="success" %}
**Update vom 23. Juli:** Hinzugefügt **RDNA2, Gorgon Halo, Vulkan-Unterstützung** + Fehler behoben, bei dem GPUs auf AMD-GPUs nicht erkannt wurden.\
Bessere RDNA4-, HIP-/ROCm-Fehler-Autokorrektur und -Erkennung.
{% endhint %}

Um Unsloth auf AMD zu installieren, ist der einfachste Weg, unsere [Desktop-App](/docs/de/desktop.md).

<a href="https://unsloth.ai/download/windows" class="button secondary" data-icon="windows">Für Windows herunterladen</a><a href="https://unsloth.ai/download/windows" class="button secondary" data-icon="linux">Für Linux herunterladen</a>\
\
Für die manuelle Installation:

**MacOS, Linux, WSL:**

{% code overflow="wrap" expandable="true" %}

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

{% endcode %}

**Windows PowerShell:**

<pre class="language-powershell" data-overflow="wrap"><code class="lang-powershell"><strong>irm https://unsloth.ai/install.ps1 | iex 
</strong></code></pre>

### ⭐ Funktionen

Unsloth unterstützt sowohl Inferenz als auch Training für AMD, sodass Sie, wenn Sie keine GPU und nur eine CPU haben, Modelle trotzdem mit Unsloth ausführen können. Bei der Nutzung von Unsloth erhalten Sie:

* [**Tool-Call-Heilung**](/docs/de/neu/studio/chat.md#auto-healing-tool-calling) **für die Inferenz, um die Genauigkeit um 50 % zu erhöhen**, unbegrenzte kostenlose [Websuche](/docs/de/neu/studio/chat.md#advanced-web-search), HTML-Canvas, [**sichere HTTPS-Bereitstellung**](#unsloth-on-phones-and-remote-https-tunneling) über Cloudflare und [Code-Ausführung](/docs/de/neu/studio.md#execute-code--heal-tool-calling) für alles.
* **Trainieren Sie Gemma-4-Modelle in 8 GB VRAM** oder Qwen3.5 in 3 GB VRAM. Triton-Kernels, mathematische Algorithmen und Speichertricks ermöglichen bei AMD 70 % weniger VRAM-Verbrauch ohne Genauigkeitsverlust.
* Bis zu **80 % weniger VRAM-Nutzung für** [**Reinforcement Learning**](/docs/de/los-gehts/reinforcement-learning-rl-guide/grpo-long-context.md) wie GRPO. Und Weight-Sharing mit vLLM, um 50 % Speicherverbrauch zu sparen.
* Optimierte Unterstützung für **RDNA 3** und neuere GPUs sowie GPUs in Rechenzentrumsqualität. Strix Halo ist außerdem für Linux, WSL und Windows optimiert.

{% columns %}
{% column %}

* [**Verbinden Sie**](/docs/de/integrationen/unsloth-start.md) **Ihre lokalen Modelle mit jedem Agent-Harness**: [Claude Code](/docs/de/grundlagen/claude-code.md), [Codex](/docs/de/grundlagen/codex.md), [Hermes](/docs/de/integrationen/hermes-agent.md), [OpenClaw](/docs/de/integrationen/openclaw.md) und mehr.
* Unterstützt Inferenz und Training für fast **alle Modelle**, einschließlich der neuesten [DeepSeek-V4](/docs/de/modelle/deepseek-v4.md), [GLM-5.2](/docs/de/modelle/glm-5.2.md), [Kimi-K2.7](/docs/de/modelle/kimi-k2.7-code.md), [MiniMax M3](/docs/de/modelle/minimax-m3.md), [DiffusionGemma](/docs/de/modelle/diffusiongemma.md), [Inkling](/docs/de/modelle/inkling.md) und mehr!
* AMD-Multi-GPU-Unterstützung + VRAM/RAM-Tracking. `llama.cpp` ROCm-Prebuilds werden täglich bereitgestellt, sodass Sie immer die neuesten Modell-Updates erhalten!
  {% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fszoidwwj70dLm5vBjpmL%2Fdiffusiongemma.gif?alt=media&amp;token=8ce359fd-f92c-4cf8-a491-06b04c505cb7" alt="" width="375"><figcaption><p>DiffusionGemma läuft auf AMD-GPUs</p></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

### ⚡Schnellstart

Unsloth installiert automatisch die besten ROCm-Builds für PyTorch, vorgefertigte llama.cpp-Builds, bitsandbytes, ROCm-optimierte Kernel und Triton. Wir liefern außerdem unsere AMD-Optimierungen und -Fixes gemeinsam aus. Sie können unsere weitere [detaillierte Anleitung hier](#guide-to-using-unsloth-on-amd) für weitere Details lesen.

Wir haben die Installation von Unsloth für Windows- und WSL-Nutzer nahtlos gemacht - wir empfehlen jedoch im Allgemeinen, direkt Linux zu verwenden, da es die breiteste Unterstützung bietet. Unsloth unterstützt MacOS, Linux, [Windows](/docs/de/los-gehts/install/windows-installation.md), [NVIDIA](/docs/de/los-gehts/install/pip-install.md)und Intel sowie CPU-Setups. Siehe: [Unsloth-Anforderungen](/docs/de/los-gehts/fine-tuning-for-beginners/unsloth-requirements.md). Aktualisieren sind dieselben Befehle!

**MacOS, Linux, WSL:**

{% code overflow="wrap" %}

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

{% endcode %}

**Windows PowerShell:**

{% code overflow="wrap" %}

```bash
irm https://unsloth.ai/install.ps1 | iex
```

{% endcode %}

{% columns %}
{% column %}
Unsloth installiert automatisch ROCm, PyTorch, benutzerdefinierte llama.cpp-Prebuilds und mehr!

#### Unsloth aus der Ferne aufrufen

Wir haben außerdem [Cloudflare-HTTPS-Tunneling](#unsloth-on-phones-and-remote-https-tunneling) kostenlos aktiviert - so können Sie Unsloth sicher per HTTPS aus der Ferne aufrufen.
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FsnKMaYneotmsSaEvA2mU%2Finstall%201.png?alt=media&amp;token=bbfba550-a47e-4273-80f5-a21bfc44717c" alt=""><figcaption><p>Unsloth auf AMD-Windows-Rechnern installieren</p></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

#### :inbox\_tray: Unsloth-Notebooks installieren & pip-Install

Wenn Sie einfache Unsloth-Notebooks möchten, siehe den allgemeinen [AMD](/docs/de/los-gehts/install/amd.md) Installationsleitfaden. Lesen Sie unbedingt den[AMD](/docs/de/los-gehts/install/amd.md) Installationsleitfaden! Nachdem Sie ihn zur Installation von PyTorch und ROCm befolgt haben, führen Sie dann aus:

{% code overflow="wrap" %}

```bash
uv pip install unsloth[amd]
```

{% endcode %}

#### :play\_pause:Unsloth Start

{% columns %}
{% column width="58.333333333333336%" %}
[Unsloth Start](/docs/de/integrationen/unsloth-start.md) ermöglicht es Ihnen, [Claude Code](/docs/de/grundlagen/claude-code.md), [Codex](/docs/de/grundlagen/codex.md) und andere Agenten über den `unsloth start` Befehl mit lokalen Modellen zu verbinden.&#x20;

Starten Sie Unsloth, öffnen Sie Ihren Projektordner und führen Sie aus:

{% code overflow="wrap" %}

```bash
unsloth start claude --model \
    unsloth/gemma-4-E2B-it-GGUF:UD-Q4_K_XL
```

{% endcode %}

Ersetzen Sie `claude` durch einen beliebigen der folgenden Agenten:
{% endcolumn %}

{% column width="41.666666666666664%" %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FpXE6kCHjh8qOEaggf94M%2FScreenshot_20260718_122426.png?alt=media&amp;token=a59e4c8c-efdb-451b-b1f8-621955564f6d" alt="" width="563"><figcaption><p>Claude Code läuft lokal mit Qwen3.5.</p></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

| Agent                                                              | Befehl                   |
| ------------------------------------------------------------------ | ------------------------ |
| <i class="fa-claude">:claude:</i> Claude Code                      | `unsloth start claude`   |
| <i class="fa-openai">:openai:</i> OpenAI Codex                     | `unsloth start codex`    |
| <i class="fa-caduceus">:caduceus:</i> Hermes-Agent                 | `unsloth start hermes`   |
| <i class="fa-lobster">:lobster:</i> OpenClaw                       | `unsloth start openclaw` |
| <i class="fa-rectangle-vertical">:rectangle-vertical:</i> OpenCode | `unsloth start opencode` |

<div><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fs6AKlSRUrfdwYDIZpcjN%2Fimage(6).png?alt=media&amp;token=d8042094-2df1-4737-b806-08a77e45e105" alt=""><figcaption><p>Claude-Instanzen sind alle isoliert</p></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FahmAqUZMFFI3VouqwIYf%2Fimage(5).png?alt=media&amp;token=0dd84f49-16cf-4799-a1d3-e6cbbe105115" alt=""><figcaption><p>Codex läuft mit dynamischem 4-Bit von unsloth/gemma-4-E2B-it</p></figcaption></figure></div>

### :bar\_chart: AMD-Analyse

Wir haben viele unserer für Nicht-AMD-GPUs entwickelten Optimierungen auf AMD übertragen, damit AMD-GPUs glänzen! AMD-Training unter Windows-Geräten zum Laufen zu bringen und die Kompatibilität mit nahezu jedem AMD-Gerät sicherzustellen, war viel Arbeit, aber wir sind mit dem aktuellen Stand zufrieden. Wir arbeiten weiterhin aktiv daran, AMD-GPUs noch besser zu machen! Unten finden Sie einige Analysen/Benchmarks, die wir auf einer AMD MI300X durchgeführt haben.

#### Reinforcement Learning: genaueres LoRA und QLoRA

Während RL auf AMD unterstützt Unsloth **Weight-Sharing** mit vLLM, wie in [Speichereffizientes RL](/docs/de/los-gehts/reinforcement-learning-rl-guide/memory-efficient-rl.md)eingeführt. Wir **halbieren den Speicherverbrauch** durch direkten Zugriff auf vLLMs Modellzuweisung.

Während LoRA und QLoRA führen wir außerdem kein Zusammenführen und Entzusammenführen der LoRA-Gewichte wie unten durch:

$$
W = W + sAB \\
\text{inference} = XW \\
W = W - sAB
$$

Das Obige verursacht Probleme, da **IEEE-Floats wegen Rundung nicht assoziativ sind**. Wenn W in BF16 vorliegt, verursacht dies subtile Unterschiede beim Subtrahieren, wie es in anderen RL-Engines getan wird. Das bedeutet in der IEEE-Welt:

$$
W \ne(W + sAB) - (sAB)
$$

Und wenn W in bfloat16 mit wenigen Mantissenbits vorliegt, **werden kleine Zahlen auf Null gerundet**. Da A und B während LoRA float32 sind, kann W mit der Zeit nach dem Zusammenführen und Entzusammenführen abdriften. Unsloth verwendet vLLMs LoRA-Pfad direkt, sodass wir dies vermeiden. Die Basisgewichte werden nie bearbeitet und driften niemals ab.

#### Schnelleres Reinforcement Learning

{% columns %}
{% column %}
Wir haben andere Setups mit zusammen platziertem FA2 und vLLM benchmarked. Beide verwenden vLLM für die Generierung, Unsloth verschiebt mehr des Schritts in die Generierung und macht das Training ungefähr 2x schneller.

Alle drei Benchmarks sind reproduzierbar: dieselben Seeds, dieselben Token-Budgets, und die
Verlustkurven stimmen zwischen den beiden Stacks überein.
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F31TQsJ8fBG7Vts7u37J8%2Fchart_grpo_combined.png?alt=media&amp;token=719e2729-839e-4287-aa00-5e3b77e1ad7b" alt=""><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

#### Schnelleres und speichereffizienteres Training

Bei Llama-3.1-8B LoRA SFT (Batch 2 x Grad-Accum 4 x 2048 = 16.384 Tokens/Schritt, gepackt) trainiert Unsloth mit 2,07 s/Schritt gegenüber 2,87 s/Schritt für TRL + FA2 und erreicht einen Spitzenwert von 18,3 GB gegenüber 24,3 GB. Das ist 1,39x schneller und 1,33x weniger Speicherverbrauch, ohne Änderung der Genauigkeit. Wir planen, das noch weiter zu verbessern!

<div><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F1YySU2nLYyKoSyXh8lsi%2Fchart_llama8b_vram_over_time.png?alt=media&amp;token=526b2488-315e-487b-8baa-ee71d5e1408a" alt=""><figcaption></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FJQH7QTamM7zuK45NNnZY%2Fchart_llama8b_sft_efficiency.png?alt=media&amp;token=81388e0a-e9ca-433d-9cca-1b32f406043b" alt=""><figcaption></figcaption></figure></div>

Die Speichereinsparungen sind nicht nur ein niedrigerer Spitzenwert, sie halten während des gesamten Laufs an.
Beim Abtasten des zugewiesenen VRAM alle 0,1 s bleibt Unsloth die ganze Zeit über flach und niedrig,
während andere Setups + FA2 bei fast jedem Schritt in Richtung 22,8 GB Spitzenwerte erreichen und länger zum
Fertigstellen brauchen (75 s gegenüber 56 s für dieselben 25 Schritte).

### :sparkles:Unterstützte AMD-Hardware

Unsloths AMD-Unterstützung konzentriert sich auf beliebte Consumer-, Workstation- und Rechenzentrums-GPUs. Training, Unsloth Studio und GGUF-/llama.cpp-Inferenzunterstützung können je nach Architektur variieren, daher trennt die Tabelle unten optimierte Unterstützung von Kompatibilitätspfaden.

| Architektur | Serie                                    | gfx                       | Unterstützung | Plattform             |
| ----------- | ---------------------------------------- | ------------------------- | ------------- | --------------------- |
| RDNA 4      | Radeon™ RX 9000 Serie                    | gfx1200, gfx1201          | Voll          | Windows + WSL + Linux |
| RDNA 3.5    | Ryzen AI 300 / Ryzen AI MAX (Strix Halo) | gfx1150, gfx1151, gfx1152 | Voll          | Windows + WSL + Linux |
| RDNA 3      | Radeon™ RX 7000 Serie                    | gfx1100, gfx1101, gfx1102 | Voll          | Windows + WSL + Linux |
| RDNA 2      | Radeon™ RX 6000 Serie                    | nur gfx1030               | Nahezu        | Windows + WSL + Linux |
| CDNA 4      | Instinct™ MI350 Serie GPUs               | gfx950                    | Voll          | nur Linux             |
| CDNA 3      | Instinct™ MI300 Serie GPUs               | gfx940, gfx941, gfx942    | Voll          | nur Linux             |
| CDNA 2      | Instinct™ MI200 Serie GPUs               | gfx90a                    | Voll          | nur Linux             |

Wir arbeiten aktiv daran, mehr AMD-GPUs zu unterstützen, allerdings verfügen ältere GPUs leider nicht über die erforderliche Hardware-Unterstützung, damit wir daran arbeiten können.

### :desktop: Leitfaden zur Verwendung von Unsloth auf AMD

Nach der Installation können Sie Unsloth Studio in Ihrem Browser öffnen. Von dort aus können Sie lokale LLMs auf AMD-Hardware automatisch ausführen und feinabstimmen. Unten finden Sie detaillierte Installationsanweisungen:

{% columns %}
{% column width="50%" %} <a href="/docs/de/los-gehts/install/amd.md" class="button primary">AMD-Installationsleitfaden</a><a href="/docs/de/neu/studio/install.md" class="button primary">Unsloth Studio installieren</a>

Wählen Sie Ihr Modell, Ihren Datensatz und Ihre Trainingseinstellungen, um zu beginnen. Zum Beispiel können Sie QLoRA-4-Bit-Finetuning auf Gemma 4 12B mit einer Kontextlänge von \~16k, LoRA-Rang 16, Lernrate 0,0002 und 30 maximalen Schritten ausführen.
{% endcolumn %}

{% column width="50%" %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F2GbvLBqN03qsvh5N9Uq1%2Fft%20studio.png?alt=media&amp;token=71fd643b-32f1-4f7f-8183-1e1fa97e80c0" alt=""><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}
Der Finetuning-Bildschirm von Unsloth Studio ist vollständig anpassbar, sodass Sie Ihr Modell, Ihren Datensatz und die Trainingsparameter konfigurieren können. Während des Trainings verfolgt Unsloth den Fortschritt in Echtzeit, einschließlich Loss, RAM- und VRAM-Nutzung sowie Unterstützung für Multi-GPU. Sobald das Training startet, sehen Sie den Fortschritt in Echtzeit geplottet.

Nach dem Training können Sie Ihre Historie aufrufen, um vergangene und aktive Trainingssitzungen zu sehen. Wählen Sie eines Ihrer feinabgestimmten Modelle aus, um frühere Trainingsprotokolle anzuzeigen:
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FhATsVSzX50cDHFtnfRAN%2Fimage.png?alt=media&amp;token=ce89695a-1579-4ae5-8423-e3ddace69f8e" alt="" width="563"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

<div align="left"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fxm20hpZ7TK1y3xrzN6vp%2Fimage.png?alt=media&amp;token=77d9959c-4415-4f49-9413-684e83a3f4b8" alt="" width="563"><figcaption></figcaption></figure></div>

{% columns %}
{% column %}
Wenn das Training abgeschlossen ist, exportieren Sie Ihr Modell als GGUF, zusammengeführte Modell-Safetensors oder einen LoRA-Adapter für die Bereitstellung mit Hugging Face, llama.cpp, vLLM oder Unsloth. Für GGUF-Exporte verwendet Unsloth AMD-bewusste llama.cpp-ROCm-Prebuilds, die zu Ihrer gfx-Architektur passen, wobei die Kompilierung aus dem Quellcode als Fallback dient, wenn kein Prebuild verfügbar ist. Sobald der Export abgeschlossen ist, sehen Sie Export erfolgreich abgeschlossen. Sie können Ihr Modell auch direkt auf den Hugging Face Hub pushen.
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FDVdUSCq0apPcx5mU2AYq%2Fimage.png?alt=media&amp;token=481db1ed-bae7-44c5-976e-2f5e85f886b6" alt="" width="563"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}
Exportieren Sie Ihr Modell in Ihr bevorzugtes Format und stellen Sie es überall bereit. Nach dem Export laden Sie Ihr feinabgestimmtes Modell aus dem Abschnitt Feinabgestimmt im Modell-Dropdown in Neuer Chat oder Zuletzt.

Wählen Sie Ihr feinabgestimmtes Modell aus dem Dropdown aus und chatten Sie direkt in Unsloth damit. Sie können jetzt Ihre trainierten oder heruntergeladenen Modelle in Neuer Chat, Zuletzt oder Projekte verwenden. Aktivieren Sie die Schalter für Denken, Code und Suche für das beste Erlebnis, und sehen Sie die [Unsloth Studio Chat](https://unsloth.ai/docs/new/studio/chat) Dokumentation für weitere Details.
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FRcgOQ8zbfLAYhypopa0V%2Fimage.png?alt=media&amp;token=393d9bb3-1eb7-4171-9dd3-ef0377a176d5" alt="" width="407"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

Und schließlich können Sie direkt in Unsloth mit Ihrem neu feinabgestimmten Modell chatten!

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FCGaDuaOaNNzd6NrtpnD5%2Funsloth%20studio%20chat%20screenshot.png?alt=media&amp;token=d179749f-f027-4ab4-8082-f1c87b8a59be" alt=""><figcaption></figcaption></figure>

Sie können außerdem den Durchsatz sowie die Generierungs-Tokens / s im Terminal überwachen, genau wie bei vLLM-Logs. Sie werden sehen `"gen_tok_s"` das die Tokens / s ist, und `"prompt_tok_s"` das die Prompt-Verarbeitung ist.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F0wOZYG4Y72hZInt9BBjk%2Fthroughput.png?alt=media&amp;token=102dcc3a-75e6-4b7e-9631-4cd3115f7df9" alt=""><figcaption></figcaption></figure>

### :mobile\_phone:Unsloth auf Handys und Remote-HTTPS-Tunneling

Wir haben **kostenlose** Cloudflare-HTTPS-Tunnel für Unsloth hinzugefügt (ähnlich wie LM Link), sodass Sie mit Unsloth Modelle remote auf Ihrem Handy (iPhone, Android - jedes Handy!) per Link oder von jedem anderen Computer aus chatten / trainieren können! Das funktioniert auf Mac-, Linux-, WSL- und Windows-Geräten.

* Trainieren & feinabstimmen von Ihrem Handy / **aus der Ferne mit Live-Trainings-Loss-Protokollen** - abbrechen oder neu trainieren!
* Von überall im Browser mit Tool-Calling und Live-Streaming chatten.
* Echter **interaktiver HTML-Canvas** Ausgaben direkt auf Ihrem Handy - spielen Sie von LLMs erstellte Spiele!

<div><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FfuLfgQ7m7gB5IK8fZdDo%2Fphone%20inference.png?alt=media&amp;token=a7aec44c-02b8-483d-ab5b-7268f802a3e9" alt="" width="188"><figcaption><p>Remote chatten!</p></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FlmeAQLZAFGGy21rDmBUn%2Fphone%20thinking.png?alt=media&amp;token=6f0fe9a6-c849-4ff0-bd7d-dea8dbffd222" alt="" width="188"><figcaption><p>Live-Inferenz + Tool-Calling</p></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FEQWneGD6ncfYTe6NugtO%2Fphone%20training%20logs.png?alt=media&amp;token=1c830286-f6bc-472c-8915-3f45daadb0a9" alt="" width="188"><figcaption><p>Remote-Trainingsprotokolle!</p></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fz1JnnGZmO5aWy57dK1w1%2Fphone%20flappy%20bird.png?alt=media&amp;token=b31fd81d-eb97-4c55-a93c-1e5f5742557a" alt="" width="188"><figcaption><p>Live-HTML auf dem Handy ausführen</p></figcaption></figure></div>

Um es einzurichten, geben Sie zunächst im Terminal nach der Installation von Unsloth ein: `unsloth studio --secure` . Richten Sie ein Passwort ein, damit niemand Unbefugtes auf den HTTPS-Link zugreifen kann!

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FQfRsJGUWXMCGYczt1G0K%2Fsecure%20login%20password.png?alt=media&amp;token=23f3976b-4e23-49da-a95c-e32fb53952f0" alt=""><figcaption></figcaption></figure>

Dann in den Logs - verwenden Sie den <mark style="color:$success;">**grünen Cloudflare-Link**</mark> und geben Sie dies auf unserem Handy oder einem beliebigen Remote-Gerät ein!

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F5UifJGPRo0GfSbm8UeAG%2Fsecure%20terminal%20link.png?alt=media&amp;token=8da77481-a380-4f26-af9f-c31342992d41" alt=""><figcaption></figcaption></figure>

Und schon sind Sie drin! Sie können den live per HTTPS bereitgestellten Link jederzeit überwachen / abbrechen, indem Sie im Terminal, in dem Unsloth Studio gestartet wurde, STRG+C drücken!

<div><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FDYsI12Qy2lN1TuNu8HrJ%2Fphone%20model%20select.png?alt=media&amp;token=05891101-47cd-430b-9a76-698ccca60246" alt="" width="188"><figcaption><p>Inferenz-Einstellungen bearbeiten</p></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fi9RMJOuSJCZ0eTGr4iIJ%2Fphone%20extra%20optios.png?alt=media&amp;token=5fa1d410-9d5d-4964-8d51-c1f3e82ac213" alt="" width="188"><figcaption><p>Temp., top_p, Kontextlänge bearbeiten</p></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FgNBUBdVsZ08XfJtDv5Ux%2Fphone%20canvas.png?alt=media&amp;token=207ff0e7-9653-4181-9344-6fab86bc2b9a" alt="" width="188"><figcaption><p>Canvas rendert HTML automatisch!</p></figcaption></figure></div>

### :question:Wie die AMD-Unterstützung für Unsloth aufgebaut wurde

Unsloths benutzerdefinierte Kernel wurden in enger Zusammenarbeit mit dem AMD-Team auf AMD portiert. Dies erforderte Änderungen am Installer, an der Hardware-Erkennung, am Runtime-Routing, am Monitoring und an der Auswahl vorgefertigter Assets.

* **ROCm-Kernel:** HIP/Triton-Ports, optimiert für RDNA und CDNA, mit architekturspezifischen Korrekturen für Präzision, Leistung und Stabilität. ([#2520](https://github.com/unslothai/unsloth/pull/2520))
* **4-Bit-Training:** bitsandbytes-basierte QLoRA-Unterstützung für Radeon- und CDNA-GPUs. ([#3748](https://github.com/unslothai/unsloth/pull/3748))
* **Automatische Einrichtung:** robuste AMD-GPU-Erkennung und Installation des richtigen ROCm-PyTorch-Wheels, einschließlich Reparatur- und Plattform-Sicherungen. ([#4770](https://github.com/unslothai/unsloth/pull/4770))
* **Windows und Strix Halo:** native Windows-ROCm-Installation, Laufzeit-Kompatibilitätspatches, Berichterstattung für gemeinsamen Speicher und WSL-Unterstützung. ([#5301](https://github.com/unslothai/unsloth/pull/5301), [#6227](https://github.com/unslothai/unsloth/pull/6227))
* **ROCm-Inferenz:** architekturspezifische llama.cpp-Prebuilds, Fallback auf Quellcode-Build, AMD-VRAM-Erkennung und Monitoring. ([#5172](https://github.com/unslothai/unsloth/pull/5172))

### :clock1: Zukünftige Arbeit

Vielen Dank an das AMD-Team für die Zusammenarbeit mit uns, um AMD gut zum Laufen zu bringen! Zu den nächsten Prioritäten gehören:

* Fortgesetzte Entwicklung und Zusammenarbeit mit dem AMD-Team.
* Erweiterte CI/CD für Hardware-Backends mit AMD Strix Halo und Radeon-Lab-Hardware.
* Unterstützung für neue AMD-GPU-Karten und -Architekturen bei ihrer Einführung.
* Klarere Anleitung für Multi-GPU: AMD-Verteiltes Training ist derzeit nur unter Linux verfügbar. Unter Linux verwendet ROCm RCCL, daher funktioniert verteiltes Training. Unter Windows stellt AMD ROCm bislang kein GPU-Collective-Backend bereit, mit GLOO-/nur-CPU-Unterstützung ab [TheRock #5694](https://github.com/ROCm/TheRock/pull/5694), verwenden Sie Linux, wenn Sie AMD-Multi-GPU-Training planen.
* Weitere Geschwindigkeitsoptimierungen im Hinblick auf den ROCm-Stack.

### :love\_letter: Danke an AMD für die Zusammenarbeit!

Vielen Dank an das AMD-Team und unsere großartige Unsloth-Community für die Zusammenarbeit mit uns bei diesem Release. Wir danken Strahinja Stamenkovic, Filip Jankovic, Iswarya Alex, Yue Yuan Bill He, Eda Zhou, Mahdi Ghodsi, Guruprasad und dem gesamten AMD-Team für die Zusammenarbeit daran, AMD-Unterstützung mit Unsloth großartig zum Laufen zu bringen! Außerdem ein riesiges Dankeschön an Community-Mitglieder: Nate, UBER6, AiwendilOfMirk..., Gene, Jimster480, VELICAN, Vintheboy, archmaker, BichonFriseMax, Calandracas, Chigoma333, Edd, electroglyph, jslowbell, mk 27B UD-, Satyam, snapcast3r, TotoMC für das Testen und Debuggen mit uns.

Eine einfache Möglichkeit, Unsloth auf AMD zu verwenden, ist über [AMD Developer Cloud](https://www.amd.com/en/developer/resources/cloud-access/amd-developer-cloud.html), mit Notebooks per Ein-Klick, angetrieben von MI300X-GPUs mit 192 GB VRAM. AMD bietet außerdem kostenlose Credits über das [AMD AI Developer Program](https://www.amd.com/en/developer/ai-dev-program.html). Um ein Unsloth-Notebook auszuführen, verwenden Sie ein beliebiges AMD-Notebook von [unslothai/notebooks](https://github.com/unslothai/notebooks) und ersetzen Sie die GitHub-Domain durch die URL der AMD Developer Cloud, da die Notebook-Pfade identisch sind.

Brauchen Sie Hilfe oder möchten Sie Feedback teilen? Sie können unserem [Discord](https://discord.com/invite/unsloth), lesen Sie die [AMD-Dokumentation](https://unsloth.ai/docs/get-started/install/amd), öffnen Sie ein Issue oder PR auf [GitHub](https://github.com/unslothai/unsloth/issues), oder posten Sie in unserem [Reddit r/unsloth](https://www.reddit.com/r/unsloth/).


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://unsloth.ai/docs/de/grundlagen/amd.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.