Unsloth per pip und uv installieren

Um Unsloth lokal per Pip zu installieren, befolge die folgenden Schritte:

Unsloth kann auf zwei Arten verwendet werden: über Unsloth Studio, die Web-UI, oder über Unsloth Core, die codebasierte Version.

Unsloth Studio

MacOS, Linux, WSL:

curl -fsSL https://unsloth.ai/install.sh | sh

Verwenden Sie denselben Befehl zum Aktualisieren.

Windows PowerShell:

irm https://unsloth.ai/install.ps1 | iex

Verwenden Sie denselben Befehl zum Aktualisieren.

Unsloth Studio starten:

unsloth studio -H 0.0.0.0 -p 8888

Für detaillierte Installationsanweisungen und Anforderungen für Unsloth Studio sehen Sie sich unseren Leitfaden an.

Unsloth Studio deinstallieren

Sie können Unsloth Studio deinstallieren, indem Sie den Installationsordner löschen, der sich normalerweise unter $HOME/.unsloth/studio auf Mac/Linux/WSL und %USERPROFILE%\.unsloth\studio unter Windows befindet. Oder führen Sie aus:

• MacOS, WSL, Linux: rm -rf ~/.unsloth/studio

• Windows (PowerShell): Remove-Item -Recurse -Force "$HOME\.unsloth\studio"

• Optional: entfernen $HOME\.unsloth unter Windows oder ~/.unsloth auf MacOS/Linux/WSL, wenn Sie alle Unsloth-Dateien löschen möchten

Hinweis: Die Verwendung der rm -rf Befehle wird alles löschen, einschließlich Ihres Verlaufs, Caches, Chats usw.

Modelldateien löschen

Sie können alte Modelldateien entweder über das Papierkorb-Symbol in der Modellsuche löschen oder indem Sie den entsprechenden zwischengespeicherten Modellordner aus dem standardmäßigen Hugging-Face-Cache-Verzeichnis entfernen. Standardmäßig verwendet Hugging Face ~/.cache/huggingface/hub/ unter macOS/Linux/WSL und C:\Users\<username>\.cache\huggingface\hub\ unter Windows.

• MacOS, Linux, WSL: ~/.cache/huggingface/hub/

• Windows: %USERPROFILE%\.cache\huggingface\hub\

Wenn HF_HUB_CACHE oder HF_HOME gesetzt ist, verwenden Sie stattdessen diesen Speicherort. Unter Linux und WSL XDG_CACHE_HOME kann ebenfalls den Standard-Cache-Stamm ändern.

Fehlerbehebung

Wenn Sie immer noch auf Abhängigkeitsprobleme mit Unsloth stoßen, haben viele Nutzer diese gelöst, indem sie Unsloth zwangsweise deinstalliert und neu installiert haben:

pip install --upgrade --force-reinstall --no-cache-dir --no-deps unsloth
pip install --upgrade --force-reinstall --no-cache-dir --no-deps unsloth_zoo

Unsloth Core

Mit uv pip installieren (empfohlen) für die neueste pip-Version:

curl -LsSf https://astral.sh/uv/install.sh | sh
uv venv unsloth_env --python 3.13
source unsloth_env/bin/activate
uv pip install unsloth --torch-backend=auto

Oder einfach mit pip:

pip install unsloth

Um vLLM und Unsloth zusammen zu installieren, führen Sie aus:

uv pip install unsloth vllm --torch-backend=auto

Um die neueste Hauptverzweigung von Unsloth zu installieren, führen Sie aus:

uv pip install unsloth --torch-backend=auto
pip uninstall unsloth unsloth_zoo -y && pip install --no-deps git+https://github.com/unslothai/unsloth_zoo.git && pip install --no-deps git+https://github.com/unslothai/unsloth.git

Für venv- und virtuelle-Umgebungen-Installationen um Ihre Installation zu isolieren, damit Systempakete nicht beschädigt werden, und um irreparable Schäden an Ihrem System zu reduzieren, verwenden Sie venv:

apt install python3.10-venv python3.11-venv python3.12-venv python3.13-venv -y
python -m venv unsloth_env
source unsloth_env/bin/activate
pip install --upgrade pip && pip install uv
uv pip install unsloth --torch-backend=auto

Wenn Sie Unsloth in Jupyter, Colab oder anderen Notebooks installieren, stellen Sie sicher, dass Sie dem Befehl !voranstellen. Das ist bei der Verwendung eines Terminals nicht nötig

Python 3.13 wird jetzt unterstützt!

Unsloth Core deinstallieren

Wenn Sie immer noch auf Abhängigkeitsprobleme mit Unsloth stoßen, haben viele Nutzer diese gelöst, indem sie Unsloth zwangsweise deinstalliert und neu installiert haben:

pip install --upgrade --force-reinstall --no-cache-dir --no-deps unsloth
pip install --upgrade --force-reinstall --no-cache-dir --no-deps unsloth_zoo

Erweiterte Pip-Installation

Tun Sie NICHT verwenden Sie dies nicht, wenn Sie Conda.

Pip ist etwas komplexer, da es Abhängigkeitsprobleme gibt. Der Pip-Befehl ist unterschiedlich für torch 2.2, 2.3, 2.4, 2.5 und CUDA-Versionen.

Für andere Torch-Versionen unterstützen wir torch211, torch212, torch220, torch230, torch240 und für CUDA-Versionen unterstützen wir cu118 und cu121 und cu124. Für Ampere-Geräte (A100, H100, RTX3090) und höher verwenden Sie cu118-ampere oder cu121-ampere oder cu124-ampere.

Wenn Sie zum Beispiel torch 2.4 und CUDA 12.1haben, verwenden Sie:

pip install --upgrade pip
pip install "unsloth[cu121-torch240] @ git+https://github.com/unslothai/unsloth.git"

Ein weiteres Beispiel: Wenn Sie torch 2.5 und CUDA 12.4haben, verwenden Sie:

pip install --upgrade pip
haben, verwenden Sie: pip install "unsloth[cu124-torch250] @ git+https://github.com/unslothai/unsloth.git"

Und weitere Beispiele:

pip install "unsloth[cu121-ampere-torch240] @ git+https://github.com/unslothai/unsloth.git"
pip install "unsloth[cu118-ampere-torch240] @ git+https://github.com/unslothai/unsloth.git"
pip install "unsloth[cu121-torch240] @ git+https://github.com/unslothai/unsloth.git"
pip install "unsloth[cu118-torch240] @ git+https://github.com/unslothai/unsloth.git"

pip install "unsloth[cu121-torch230] @ git+https://github.com/unslothai/unsloth.git"
pip install "unsloth[cu121-ampere-torch230] @ git+https://github.com/unslothai/unsloth.git"

pip install "unsloth[cu121-torch250] @ git+https://github.com/unslothai/unsloth.git"
pip install "unsloth[cu124-ampere-torch250] @ git+https://github.com/unslothai/unsloth.git"

Oder führen Sie das Folgende in einem Terminal aus, um den optimalen Pip-Installationsbefehl zu erhalten:

wget -qO- https://raw.githubusercontent.com/unslothai/unsloth/main/unsloth/_auto_install.py | python -

Oder führen Sie das Folgende manuell in einer Python-REPL aus:

# Lizenziert unter der Apache License, Version 2.0 (die "Lizenz")
try: import torch
except: raise ImportError('Installieren Sie torch mit `pip install torch`)
from packaging.version import Version as V
import re
v = V(re.match(r"[0-9\.]{3,}", torch.__version__).group(0))
cuda = str(torch.version.cuda)
is_ampere = torch.cuda.get_device_capability()[0] >= 8
USE_ABI = torch._C._GLIBCXX_USE_CXX11_ABI
if cuda not in ("11.8", "12.1", "12.4", "12.6", "12.8", "13.0"): raise RuntimeError(f"CUDA = {cuda} wird nicht unterstützt!")
if   v <= V('2.1.0'): raise RuntimeError(f"Torch = {v} ist zu alt!")
elif v <= V('2.1.1'): x = 'cu{}{}-torch211'
elif v <= V('2.1.2'): x = 'cu{}{}-torch212'
elif v  < V('2.3.0'): x = 'cu{}{}-torch220'
elif v  < V('2.4.0'): x = 'cu{}{}-torch230'
elif v  < V('2.5.0'): x = 'cu{}{}-torch240'
elif v  < V('2.5.1'): x = 'cu{}{}-torch250'
elif v <= V('2.5.1'): x = 'cu{}{}-torch251'
elif v  < V('2.7.0'): x = 'cu{}{}-torch260'
elif v  < V('2.7.9'): x = 'cu{}{}-torch270'
elif v  < V('2.8.0'): x = 'cu{}{}-torch271'
elif v  < V('2.8.9'): x = 'cu{}{}-torch280'
elif v  < V('2.9.1'): x = 'cu{}{}-torch290'
elif v  < V('2.9.2'): x = 'cu{}{}-torch291'
else: raise RuntimeError(f"Torch = {v} ist zu neu!")
if v > V('2.6.9') and cuda not in ("11.8", "12.6", "12.8", "13.0"): raise RuntimeError(f"CUDA = {cuda} wird nicht unterstützt!")
x = x.format(cuda.replace(".", ""), "-ampere" if False else "") # is_ampere ist aufgrund von flash-attn defekt
print(f'pip install --upgrade pip && pip install --no-deps git+https://github.com/unslothai/unsloth-zoo.git && pip install "unsloth[{x}] @ git+https://github.com/unslothai/unsloth.git" --no-build-isolation')