Unsloth AMD PyTorch Synthetic Data Hackathon

Tipps & Tricks, Fehlerbehebung und Anleitung zum Ausführen von Unsloth auf einer AMD-GPU.

Sobald Sie Zugriff auf eine MI300-Maschine haben, sehen Sie eine Jupyter-Notebook-Oberfläche:

Aktualisieren Sie zuerst Unsloth und bestätigen Sie, dass alles wie erwartet funktioniert - klicken Sie auf Terminal

Führen Sie dann Folgendes im Terminal aus, um Unsloth zu aktualisieren - stellen Sie sicher, dass die Version 2025.10.5 oder höher ist.

pip install --upgrade -qqq --no-cache-dir --force-reinstall --no-deps unsloth unsloth_zoo
python -c "import unsloth; print(unsloth.__version__)"

Um ein neues Notebook oder Terminal zu erstellen, klicken Sie auf die PLUS-Schaltfläche

Öffnen Sie die README.ipynb-Datei, um Anweisungen und Bewertungskriterien zu lesen

🦋TUTORIAL 1: Bestätigen, dass Unsloth funktioniert

Bestätigen Sie, dass unser einfaches Llama 3.2 1B / 3B Konversations-Notebook in einem neuen Terminal.

wget "https://raw.githubusercontent.com/unslothai/notebooks/refs/heads/main/python_scripts/Llama3.2_(1B_and_3B)-Conversational.py" -O llama_basic.py
python llama_basic.py

Sie sollten Folgendes sehen (es dauert etwa 2 Minuten). Wenn etwas fehlschlägt, versuchen Sie zuerst, Unsloth über

pip install --upgrade -qqq --no-cache-dir --force-reinstall --no-deps unsloth unsloth_zoo
python -c "import unsloth; print(unsloth.__version__)"

🦥TUTORIAL 2: Ausführen der synthetischen Datengenerierung

Sie können auch das tutorial.ipynb ausführen, das sofort auf unserer Maschine vorhanden sein sollte, ohne unten nachzusehen:

Versuchen wir jetzt das Beispiel unter https://github.com/edamamez/Unsloth-AMD-Fine-Tuning-Synthetic-Data und auch https://www.amd.com/en/developer/resources/technical-articles/2025/10x-model-fine-tuning-using-synthetic-data-with-unsloth.html

Erstellen Sie zuerst ein neues Terminal nochmals - die PLUS-Schaltfläche ermöglicht ein neues Terminal.

Starten Sie vLLM, um Llama 3.3 70B Instruct in einem neuen Terminal (verwenden Sie die PLUS-Schaltfläche für ein neues Terminal)

vllm serve Unsloth/Llama-3.3-70B-Instruct --port 8001 --max-model-len 48000 --gpu-memory-utilization 0.85

Sie werden sehen:

Warten Sie, bis Sie INFO: Application startup complete. sehen, und klicken Sie dann auf die PLUS-Schaltfläche, um einen neuen Tab zu öffnen

Installieren Sie synthetic-data-kit https://github.com/meta-llama/synthetic-data-kit in einem neuen Terminal Fenster.

pip install --upgrade synthetic-data-kit

Holen Sie config.yaml entweder von https://raw.githubusercontent.com/edamamez/Unsloth-AMD-Fine-Tuning-Synthetic-Data/refs/heads/main/config.yamloder unten:

7KB

config.yaml

Öffnen

wget https://raw.githubusercontent.com/edamamez/Unsloth-AMD-Fine-Tuning-Synthetic-Data/refs/heads/main/config.yaml -O config.yaml

Prüfen Sie, ob das synthetic data kit funktioniert hat. Wenn Sie Fehler sehen, bestätigen Sie, dass vLLM in der ersten Zelle ausgeführt wird.

synthetic-data-kit -c config.yaml system-check

Holen Sie nun einige Dateien, die wir für die Verarbeitung verwenden werden:

# Erstellen Sie die Repositories, in denen wir das PDF verwenden und die Beispiele speichern werden
mkdir -p logical_reasoning/{sources,data/{input,parsed,generated,curated,final}}

wget -P logical_reasoning/sources/ -q --show-progress "https://www.csus.edu/indiv/d/dowdenb/4/logical-reasoning-archives/logical-reasoning-2017-12-02.pdf"   "https://people.cs.umass.edu/~pthomas/solutions/Liar_Truth.pdf"

cp logical_reasoning/sources/* logical_reasoning/data/input/
cp config.yaml logical_reasoning

Lassen Sie uns jetzt die Daten einlesen und verarbeiten:

cd logical_reasoning
synthetic-data-kit ingest ./data/input/ --verbose

Erstellen Sie nun entweder Q&A (Frage- & Antwortpaare) oder CoT (Chain-of-Thought)-Paare (das kann 3 Minuten dauern)

synthetic-data-kit -c ../config.yaml create ./data/parsed/ --type qa --num-pairs 15 --verbose

##### ODER #####

synthetic-data-kit -c ../config.yaml create ./data/parsed/ --type cot --num-pairs 15 --verbose

Bitten wir nun ein LLM, die Daten zu kuratieren und rufen das LLM als Richter auf, um weniger wünschenswerte synthetische Datensätze zu entfernen, und speichern dann die Ausgabe - es kann 3 Minuten dauern

synthetic-data-kit -c ../config.yaml curate ./data/generated/ --threshold 7.0 --verbose

synthetic-data-kit save-as ./data/curated/ --format ft --verbose

Noch einmal, FAHREN SIE den vLLM-Dienst herunter, um VRAM zu sparen!!! Gehen Sie zum vorherigen Tab und drücken Sie CTRL+C 3 Mal. Oder sehen Sie Unsloth AMD PyTorch Synthetic Data Hackathon

Holen Sie sich jetzt das Notebook, das wir unter https://github.com/unslothai/notebooks/blob/main/nb/Synthetic_Data_Hackathon.ipynb:

ausführen werden

wget "https://github.com/unslothai/notebooks/raw/refs/heads/main/nb/Synthetic_Data_Hackathon.ipynb" -O "Synthetic_Data_Hackathon.ipynb" Unsloth AMD PyTorch Synthetic Data Hackathon

Wenn Sie Out-of-Memory-Fehler erhalten, fahren Sie Ihre vLLM-Instanz herunter - siehe

Klicken Sie auf die linke Ordner-Schaltfläche und öffnen Sie "Synthetic_Data_Hackathon.ipynb" (Doppelklick)

Führen Sie dann alle Zellen aus!

Siehe Sie sehen in der Mitte des Notebooks: https://github.com/edamamez/Unsloth-AMD-Fine-Tuning-Synthetic-Data/blob/main/tutorial.ipynb

🐬für weitere Details

TUTORIAL 3: GPT-OSS Reinforcement Learning Auto Kernel Erstellung

Sie können dies als Notebook oder als Python-Skript ausführen! Python-Skript:

https://github.com/unslothai/notebooks/blob/main/python_scripts/gpt_oss_(20B)_GRPO_BF16.py Notebook:

https://github.com/unslothai/notebooks/blob/main/nb/gpt_oss_(20B)_GRPO_BF16.ipynb

wget "https://raw.githubusercontent.com/unslothai/notebooks/refs/heads/main/nb/gpt_oss_(20B)_GRPO_BF16.ipynb" -O "Auto_Kernels_RL.ipynb"

Öffnen Sie dann wie in Tutorial 2 die Datei "Auto_Kernels_RL.ipynb" und starten Sie neu und führen Sie alles aus!

♦️Wenn Sie es ausführen und nach unten scrollen, sehen Sie das 2048-Spiel, das mittels automatisch generierter Strategien durch RL ausgeführt wird:

TUTORIAL 3: GPT-OSS Reinforcement Learning Auto Kernel Erstellung

Sie können dies als Notebook oder als Python-Skript ausführen! Python-Skript:

https://github.com/unslothai/notebooks/blob/main/python_scripts/gpt_oss_(20B)_GRPO_BF16.py https://github.com/unslothai/notebooks/blob/main/nb/gpt_oss_(20B)_Reinforcement_Learning_2048_Game_BF16.ipynb

TUTORIAL 4: GPT-OSS Reinforcement Learning 2048-Spiel

wget "https://github.com/unslothai/notebooks/raw/refs/heads/main/nb/gpt_oss_(20B)_Reinforcement_Learning_2048_Game_BF16.ipynb" -O "RL_2048_Game.ipynb"

Öffnen Sie dann wie in Tutorial 3 die Datei "Auto_Kernels_RL.ipynb" und starten Sie neu und führen Sie alles aus!

🌻Wenn Sie nach unten scrollen, sehen Sie, wie der RL-Algorithmus automatisch Strategien erstellt, um 2048 zu gewinnen!

Optimale vLLM-Befehle auf AMD Unsloth AMD PyTorch Synthetic Data Hackathon

Um Modelle auf AMD-GPUs bereitzustellen, verwenden Sie bitte die folgenden Befehle, die die Leistung steigern. Bestätigen Sie, dass aiter und flash-attention installiert sind, oder siehe

Für MI300X, MI325X und Radeon-GPUs:
export VLLM_ROCM_USE_AITER=1
# VLLM_USE_AITER_UNIFIED_ATTENTION funktioniert nur, wenn Flash Attention installiert ist
export VLLM_USE_AITER_UNIFIED_ATTENTION=0
export VLLM_ROCM_USE_AITER_MHA=0
  vllm serve unsloth/gpt-oss-20b \
  --no-enable-prefix-caching \

--compilation-config '{"full_cuda_graph": true}'

Für MI300X, MI325X und Radeon-GPUs:
export VLLM_ROCM_USE_AITER=1
# VLLM_USE_AITER_UNIFIED_ATTENTION funktioniert nur, wenn Flash Attention installiert ist
export VLLM_USE_AITER_UNIFIED_ATTENTION=0
Für MI355X führen Sie Folgendes aus:
export VLLM_USE_AITER_TRITON_FUSED_SPLIT_QKV_ROPE=1
export VLLM_USE_AITER_TRITON_FUSED_ADD_RMSNORM_PAD=1
export TRITON_HIP_PRESHUFFLE_SCALES=1
 
export VLLM_USE_AITER_TRITON_GEMM=1
vllm serve unsloth/gpt-oss-20b \
vllm serve unsloth/gpt-oss-120b \
--compilation-config '{"compile_sizes": [1, 2, 4, 8, 16, 24, 32, 64, 128, 256, 4096, 8192], "full_cuda_graph": true}' \

🛠️--block-size 64

🆓Fehlerbehebung und FAQs

Wie kann ich AMD-GPU-Speicher freigeben? Terminal Wenn Sie sich in einem Docker-Image (wie beim Hackathon) befinden, führen Sie das Folgende in einem neuen rocm-smi -d 0 --showpids

aus, wenn Sie auf einer lokalen Maschine sind
# Listet lokale PIDs auf, die /dev/kfd oder /dev/dri/render* geöffnet haben
  for p in /proc/[0-9]*; do
  readlink -f "$p/fd"/* 2>/dev/null | grep -qE '/dev/(kfd|dri/render)' || continue
  cmd=$(tr -d '\0' < "$p/cmdline" 2>/dev/null | sed 's/ \+/ /g')
printf "%-8s %s\n" "${p##*/}" "${cmd:-[unknown]}"

done | sort -n Wenn Sie sich in einem Docker-Image (wie beim Hackathon) befinden, führen Sie das Folgende in einem neuen Wenn Sie auf einer lokalen Maschine sind, tun Sie einfach und führen Sie aus sudo kill -9 XXXX wobei XXXX

die PID ist, die für den spezifischen Prozess aufgeführt ist, der den meisten VRAM verwendet.

Für das Docker-Image wie beim Hackathon sehen Sie nach Ausführen der ersten Zelle möglicherweise etwas wie unten: und führen Sie aus sudo kill -9 XXXX wobei Suchen Sie dann nach dem Prozess, der den VRAM verwendet (z. B. vLLM), und geben Sie ein

die PID wird in der linken Spalte wie unten aufgeführt: Wenn Sie sich in einem Docker-Image (wie beim Hackathon) befinden, führen Sie das Folgende in einem neuen Bestätigen Sie, dass der gesamte GPU-Speicher über

freigegeben ist. Zum Beispiel zeigt das Folgende 0 Speichernutzung:

📝Wenn Sie dagegen Folgendes sehen, führen Sie die erste Docker-Zelle erneut aus, um den Prozess erneut zu beenden.

Bitte siehe Unsloth AMD PyTorch Synthetic Data Hackathon torch.OutOfMemoryError: HIP out of memory RuntimeError: Engine process failed to start.

um zu prüfen, ob Ihre GPU Speicher von einem anderen Prozess verwendet, und versuchen Sie, diesen Prozess zu beenden, der Speicher verwendet. Versuchen Sie auch amd-smi process --gpu 0

▶️um alle Prozesse und die VRAM-Nutzung aller Prozesse aufzulisten, die die GPU verwenden:

Keine Plattform für vLLM erkannt, vLLM aktualisieren, gpt-oss auf vLLM Wenn Sie ausführen vllm serve Unsloth/gpt-oss-20b verwenden Sie möglicherweise eine ältere vLLM-Version. python -c "import vllm; print(vllm.__version__)"

um die vLLM-Version zu erhalten. 0.7.4 Im vorgefertigten Hackathon-Docker erhalten Sie vllm serve Unsloth/Llama-3.3-70B-Instruct --port 8001 --max-model-len 48000 --gpu-memory-utilization 0.85

🧁, das leider neuere Modelle wie GPT-OSS nicht unterstützt, jedoch funktionieren andere Modelle wie

vLLM auf AMD aktualisieren GPT-OSS kann nach dem Erstellen aus dem Quellcode derzeit noch nicht in vLLM ausgeführt werden - sehen Sie vorerst https://rocm.blogs.amd.com/ecosystems-and-partners/openai-day-0/README.html

für Docker-Ausführung von gpt-oss - der Hackathon kann leider kein Docker innerhalb von Docker verwenden. Möglicherweise erhalten Sie den Fehler:
ImportError: cannot import name 'GFX950MXScaleLayout' from 'triton_kernels.tensor_details.layout' (/usr/local/lib/python3.12/dist-packages/triton_kernels/tensor_details/layout.py)

(EngineCore_DP0 pid=44662) Process EngineCore_DP0: Um die neueste vLLM-Version zu erhalten, siehe bittehttps://docs.vllm.ai/en/latest/getting_started/installation/gpu.html#install-specific-revisions Unsloth AMD PyTorch Synthetic Data Hackathon

, führen Sie speziell das Folgende aus, nachdem Sie alle Prozesse beendet haben, die die AMD-GPU verwenden via
# Installieren Sie PyTorch
pip uninstall torch -y
pip uninstall pytorch-triton-rocm -y
pip uninstall triton -y

pip install --upgrade torch==2.8.0 pytorch-triton-rocm torchvision torchaudio torchao==0.13.0 xformers --index-url https://download.pytorch.org/whl/rocm6.4
# Installieren Sie OpenAI Triton-Kernels

pip install git+https://github.com/triton-lang/triton.git@05b2c186c1b6c9a08375389d5efe9cb4c401c075#subdirectory=python/triton_kernels Unsloth AMD PyTorch Synthetic Data Hackathon)

Die Ausführung des Vorherigen wird dies bewirken (Erinnerung: Fahren Sie zuerst alle Prozesse herunter, die die GPU verwenden! Siehe (OPTIONAL ausklappbarer Code) Um Flash Attention zu bauenüber (dies wird 30 Minuten bis 1 Stunde dauern ) Dies ist also optional, wenn Sie nicht 30 Minuten bis 1 Stunde warten möchten! Ich würde diesen Prozess im Allgemeinen überspringen.

Erweitern Sie diese Zelle, wenn Sie Flash Attention installieren möchten.
Erweitern Sie diese Zelle, wenn Sie Flash Attention installieren möchten.
# ********OPTIONAL********* Sie müssen möglicherweise 1 Stunde warten!!
git clone https://github.com/Dao-AILab/flash-attention.git
cd flash-attention
git checkout 1a7f4dfa

Erweitern Sie diese Zelle, wenn Sie Flash Attention installieren möchten.
Erweitern Sie diese Zelle, wenn Sie Flash Attention installieren möchten.
git submodule update --init
ARCH=$(rocminfo | grep -m1 -oE 'gfx[0-9]+[a-z]*')
echo "Erkannte GPU-Arch: $ARCH"
GPU_ARCHS="$ARCH" python3 setup.py install
Erweitern Sie diese Zelle, wenn Sie Flash Attention installieren möchten.

Sie werden sehen:

cd ..

Um den Fortschritt von Flash-Attention zu überwachen (was sehr lange dauern kann), achten Sie auf den [296/2206]-Fortschritt. (NICHT OPTIONAL) Bauen Sie dann aiter AI Tensor Engine für ROCm

(dies dauert etwa 5 Minuten)
python3 -m pip uninstall -y aiter
git clone --recursive https://github.com/ROCm/aiter.git
cd aiter
git checkout $AITER_BRANCH_OR_COMMIT
git submodule sync; git submodule update --init --recursive
GPU_ARCHS="$ARCH" python3 setup.py install

Um den Fortschritt von Flash-Attention zu überwachen (was sehr lange dauern kann), achten Sie auf den [296/2206]-Fortschritt. python3 setup.py develop

Bauen Sie dann vLLM:
pip install --upgrade pip
pip install --upgrade -qqq --no-cache-dir --force-reinstall --no-deps unsloth unsloth_zoo
pip uninstall vllm -y
pip install "unsloth[amd] @ git+https://github.com/unslothai/unsloth"

pip uninstall bitsandbytes -y
# Build & install AMD SMI

pip install /opt/rocm/share/amd_smi
# Installieren Sie Abhängigkeiten
    pip install --upgrade numba \
    scipy \
    huggingface-hub[cli,hf_transfer] \

setuptools_scm
git clone --depth 1 --branch "v0.11.0" https://github.com/vllm-project/vllm.git vllm_build
cd vllm_build

pip install -r requirements/rocm.txt
# Build vLLM für MI210/MI250/MI300.
git submodule sync; git submodule update --init --recursive
GPU_ARCHS="$ARCH" python3 setup.py install

export PYTORCH_ROCM_ARCH="$(rocminfo | grep -m1 -oE 'gfx[0-9]+[a-z]*')"Sie werden Folgendes sehen ()

bitte warten Sie 5 bis 10 Minuten!

Bestätigen Sie, dass vLLM und torch aktualisiert wurden via
python -c "import vllm, torch, unsloth; print(vllm.__version__); print(torch.__version__); print(unsloth.__version__);"

vllm python -c "import vllm, torch, unsloth; print(vllm.__version__); print(torch.__version__); print(unsloth.__version__);" was anzeigen sollte, dass vLLM 0.11.0 oder höher ist, und torch MUSS ab Oktober 2025 Version 2.8.0 sein. Der Befehl

um zu bestätigen, dass vLLM wie erwartet funktioniert.
0.11.0
🦥 Unsloth Zoo wird jetzt alles patchen, um das Training zu beschleunigen!
2025.10.6

📖2.8.0+rocm6.4

vLLM auf AMD aktualisieren GPT-OSS kann nach dem Erstellen aus dem Quellcode derzeit noch nicht in vLLM ausgeführt werden - sehen Sie vorerst https://rocm.blogs.amd.com/ecosystems-and-partners/openai-day-0/README.html

für Docker-Ausführung von gpt-oss - der Hackathon kann leider kein Docker innerhalb von Docker verwenden. Möglicherweise erhalten Sie den Fehler:
ImportError: cannot import name 'GFX950MXScaleLayout' from 'triton_kernels.tensor_details.layout' (/usr/local/lib/python3.12/dist-packages/triton_kernels/tensor_details/layout.py)

Ausführen von unsloth/gpt-oss-20b in vLLM Unsloth AMD PyTorch Synthetic Data HackathonNach dem Aktualisieren von vLLM via gpt-oss-20bkönnen Sie ausführen Unsloth AMD PyTorch Synthetic Data Hackathon ! Siehe

Für MI300X, MI325X und Radeon-GPUs:
export VLLM_USE_AITER_UNIFIED_ATTENTION=0
export VLLM_ROCM_USE_AITER_MHA=0
  vllm serve unsloth/gpt-oss-20b \
  für bessere optimale Befehle zum Ausführen von vllm auf AMD-GPUs (Sie könnten eine schnellere Inferenz erhalten!)
  --port 8001 \
  --compilation-config '{"full_cuda_graph": true}' \
  --max-model-len 48000 \

⁉️--gpu-memory-utilization 0.85

RuntimeError: User specified an unsupported autocast device_type 'hip' Bitte aktualisieren Sie Unsloth! Unsloth AMD PyTorch Synthetic Data Hackathon

🐛Siehe unten

🆕NotImplementedError: Unsloth derzeit ok

Aktualisieren Sie zuerst Unsloth und bestätigen Sie, dass alles wie erwartet funktioniert - klicken Sie auf Terminal

Führen Sie dann Folgendes im Terminal Unsloth aktualisieren um Unsloth zu aktualisieren -

pip install --upgrade -qqq --no-cache-dir --force-reinstall --no-deps unsloth unsloth_zoo
pip uninstall vllm -y
pip install "unsloth[amd] @ git+https://github.com/unslothai/unsloth"
python -c "import unsloth; print(unsloth.__version__)"

stellen Sie sicher, dass die Version 2025.10.5 oder höher ist.

⁉️Sie müssen auch die Laufzeit NEU STARTEN

terminate called after throwing an instance of 'std::logic_error' what() Bitte verifizieren Sie, dass Sie auftorch==2.8.0

pip uninstall triton -y

❓sind. Führen Sie erneut aus:

System wurde nicht gebootet, Verbindung zum Bus fehlgeschlagen

Sie könnten Folgendes sehen:
root@270fa7fa9157:/jupyter-tutorial/AIAC_129_212_183_103/assets# reboot
System wurde nicht mit systemd als Init-System (PID 1) gebootet. Kann nicht ausgeführt werden.
Verbindung zum Bus fehlgeschlagen: Host ist ausgefallen

Fehler bei der Kommunikation mit dem Init-Daemon.

🐛Bitte kontaktieren Sie uns, damit wir die Maschine neu starten können!

Konfiguriertes ROCm-Binary nicht gefunden - get_native_library()

Dies weist darauf hin, dass bitsandbytes nicht korrekt installiert ist, wie unten:
  Traceback (most recent call last):
    File "/usr/local/lib/python3.12/dist-packages/bitsandbytes/cextension.py", line 313, in <module>
          ^^^^^^^^^^^^^^^^^^^^
  lib = get_native_library()
    File "/usr/local/lib/python3.12/dist-packages/bitsandbytes/cextension.py", line 282, in get_native_library
raise RuntimeError(f"Configured {BNB_BACKEND} binary not found at {cuda_binary_path}")

Bitte siehe Unsloth AMD PyTorch Synthetic Data HackathonRuntimeError: Configured ROCm binary not found at /usr/local/lib/python3.12/dist-packages/bitsandbytes/libbitsandbytes_rocm64.so

❗um bitsandbytes und Unsloth zu aktualisieren!

NotImplementedError: Cannot copy out of meta tensor; no data! Unsloth AMD PyTorch Synthetic Data Hackathon Dies bedeutet, dass Sie keinen Speicher mehr haben. Siehe

--------------------------------------------------------------------------
zum Freigeben von GPU-Speicher.
NotImplementedError                       Traceback (most recent call last)
      Cell In[18], line 8
      5     tokenizer.pad_token_id = tokenizer.eos_token_id
7 # Trainer mit ROCm-freundlichen Einstellungen und ordnungsgemäßer Datenverarbeitung einrichten
      ----> 8 trainer = SFTTrainer(
...
9     model=model,
    --> 235 lm_head_bad = lm_head_bad.cpu().float().numpy().round(3)
    236 from collections import Counter

um bitsandbytes und Unsloth zu aktualisieren!

💭Fehler beim Importieren von vllm._C mit ModuleNotFoundError("No module named 'vllm._C'")

Bitte installieren Sie vLLM neu. Verwenden Sie vllm_build als Ordner, in den Sie per git klonen, und nicht python -c "import vllm, torch, unsloth; print(vllm.__version__); print(torch.__version__); print(unsloth.__version__);". Unsloth AMD PyTorch Synthetic Data Hackathon

😯ModuleNotFoundError: No module named 'vllm'

Bitte führen Sie nicht aus rm -rf vllm_build den Ordner, den Sie gebaut haben. Oder installieren Sie vllm neu via Unsloth AMD PyTorch Synthetic Data Hackathon

📒ipykernel>6.30.1 bricht Fortschrittsbalken.

Wenn Sie Folgendes sehen:

🦥 Unsloth: Wird Ihren Computer patchen, um 2x schnellere Free-Finetuning zu ermöglichen.
#### Unsloth: `hf_xet==1.1.10` und `ipykernel>6.30.1` brechen Fortschrittsbalken. Vorübergehend in XET deaktiviert.
#### Unsloth: Um Fortschrittsbalken wieder zu aktivieren, downgraden Sie bitte auf `ipykernel==6.30.1` oder warten Sie auf einen Fix für
https://github.com/huggingface/xet-core/issues/526

Ignorieren Sie es vorerst - Sie werden nur keine Fortschrittsbalken beim Herunterladen und Hochladen von Modellen sehen.

🐛AssertionError: No MXFP4 MoE backend

Wenn Sie gpt-oss-20b ausführen und dies während vLLM sehen, installieren Sie vLLM bitte erneut via Unsloth AMD PyTorch Synthetic Data Hackathon

🤕NotImplementedError: Could not run `aten::empty_strided`

Bitte verwenden Sie .to("cuda") und nicht .to("hip") Aktualisieren Sie außerdem Unsloth Unsloth AMD PyTorch Synthetic Data Hackathon

🐛NotImplementedError: Could not run 'aten::empty.memory_format'

Bitte siehe Unsloth AMD PyTorch Synthetic Data HackathonRuntimeError: Configured ROCm binary not found at /usr/local/lib/python3.12/dist-packages/bitsandbytes/libbitsandbytes_rocm64.so