Unsloth per pip und uv installieren

Um Unsloth lokal per Pip zu installieren, befolge die folgenden Schritte:

Unsloth Studio

MacOS, Linux, WSL:

curl -fsSL https://raw.githubusercontent.com/unslothai/unsloth/main/install.sh | sh

Windows PowerShell:

irm https://raw.githubusercontent.com/unslothai/unsloth/main/install.ps1 | iex

Unsloth starten

MacOS, Linux, WSL:

source unsloth_studio/bin/activate
unsloth studio -H 0.0.0.0 -p 8888

Windows:

& .\unsloth_studio\Scripts\unsloth.exe studio -H 0.0.0.0 -p 8888

Für detaillierte Installationsanweisungen und Anforderungen für Unsloth Studio sehen Sie sich unseren Leitfaden an.

Unsloth Core

Installieren Sie mit uv pip (empfohlen) für die neueste pip-Version:

curl -LsSf https://astral.sh/uv/install.sh | sh
uv venv unsloth_env --python 3.13
source unsloth_env/bin/activate
uv pip install unsloth --torch-backend=auto

Oder einfach mit pip:

pip install unsloth

Um zu installieren vLLM und Unsloth zusammen, führen Sie Folgendes aus:

uv pip install unsloth vllm --torch-backend=auto

Um die neueste Hauptbranch von Unsloth zu installieren, führen Sie Folgendes aus:

uv pip install unsloth --torch-backend=auto
pip uninstall unsloth unsloth_zoo -y && pip install --no-deps git+https://github.com/unslothai/unsloth_zoo.git && pip install --no-deps git+https://github.com/unslothai/unsloth.git

Für venv- und virtuelle-Umgebungen-Installationen um Ihre Installation zu isolieren, damit Systempakete nicht beschädigt werden, und um irreparable Schäden an Ihrem System zu reduzieren, verwenden Sie venv:

apt install python3.10-venv python3.11-venv python3.12-venv python3.13-venv -y
python -m venv unsloth_env
source unsloth_env/bin/activate
pip install --upgrade pip && pip install uv
uv pip install unsloth --torch-backend=auto

Wenn Sie Unsloth in Jupyter, Colab oder anderen Notebooks installieren, achten Sie darauf, den Befehl mit !zu beginnen. Das ist bei der Verwendung eines Terminals nicht notwendig

Python 3.13 wird jetzt unterstützt!

Deinstallieren oder Neuinstallieren

Wenn Sie weiterhin auf Abhängigkeitsprobleme mit Unsloth stoßen, haben viele Benutzer diese gelöst, indem sie Unsloth zwangsweise deinstalliert und neu installiert haben:

pip install --upgrade --force-reinstall --no-cache-dir --no-deps unsloth
pip install --upgrade --force-reinstall --no-cache-dir --no-deps unsloth_zoo

---

Erweiterte Pip-Installation

Verwenden Sie NICHT dies, wenn Sie Conda.

Pip ist etwas komplexer, da es Abhängigkeitsprobleme gibt. Der pip-Befehl ist unterschiedlich für torch 2.2,2.3,2.4,2.5 und CUDA-Versionen.

Für andere torch-Versionen unterstützen wir torch211, torch212, torch220, torch230, torch240 und für CUDA-Versionen unterstützen wir cu118 und cu121 und cu124. Für Ampere-Geräte (A100, H100, RTX3090) und höher verwenden Sie cu118-ampere oder cu121-ampere oder cu124-ampere.

Zum Beispiel, wenn Sie torch 2.4 und CUDA 12.1haben, verwenden Sie:

pip install --upgrade pip
pip install "unsloth[cu121-torch240] @ git+https://github.com/unslothai/unsloth.git"

Ein weiteres Beispiel: Wenn Sie torch 2.5 und CUDA 12.4haben, verwenden Sie:

pip install --upgrade pip
haben, verwenden Sie: pip install "unsloth[cu124-torch250] @ git+https://github.com/unslothai/unsloth.git"

Und weitere Beispiele:

pip install "unsloth[cu121-ampere-torch240] @ git+https://github.com/unslothai/unsloth.git"
pip install "unsloth[cu118-ampere-torch240] @ git+https://github.com/unslothai/unsloth.git"
pip install "unsloth[cu121-torch240] @ git+https://github.com/unslothai/unsloth.git"
pip install "unsloth[cu118-torch240] @ git+https://github.com/unslothai/unsloth.git"

pip install "unsloth[cu121-torch230] @ git+https://github.com/unslothai/unsloth.git"
pip install "unsloth[cu121-ampere-torch230] @ git+https://github.com/unslothai/unsloth.git"

pip install "unsloth[cu121-torch250] @ git+https://github.com/unslothai/unsloth.git"
pip install "unsloth[cu124-ampere-torch250] @ git+https://github.com/unslothai/unsloth.git"

Oder führen Sie das Folgende in einem Terminal aus, um den optimalen pip-Installationsbefehl zu erhalten:

wget -qO- https://raw.githubusercontent.com/unslothai/unsloth/main/unsloth/_auto_install.py | python -

Oder führen Sie das Folgende manuell in einer Python-REPL aus:

# Lizenziert unter der Apache License, Version 2.0 (die "License")
try: import torch
except: raise ImportError('Installieren Sie torch mit `pip install torch`')
from packaging.version import Version as V
import re
v = V(re.match(r"[0-9\.]{3,}", torch.__version__).group(0))
cuda = str(torch.version.cuda)
is_ampere = torch.cuda.get_device_capability()[0] >= 8
USE_ABI = torch._C._GLIBCXX_USE_CXX11_ABI
if cuda not in ("11.8", "12.1", "12.4", "12.6", "12.8", "13.0"): raise RuntimeError(f"CUDA = {cuda} wird nicht unterstützt!")
if   v <= V('2.1.0'): raise RuntimeError(f"Torch = {v} ist zu alt!")
elif v <= V('2.1.1'): x = 'cu{}{}-torch211'
elif v <= V('2.1.2'): x = 'cu{}{}-torch212'
elif v  < V('2.3.0'): x = 'cu{}{}-torch220'
elif v  < V('2.4.0'): x = 'cu{}{}-torch230'
elif v  < V('2.5.0'): x = 'cu{}{}-torch240'
elif v  < V('2.5.1'): x = 'cu{}{}-torch250'
elif v <= V('2.5.1'): x = 'cu{}{}-torch251'
elif v  < V('2.7.0'): x = 'cu{}{}-torch260'
elif v  < V('2.7.9'): x = 'cu{}{}-torch270'
elif v  < V('2.8.0'): x = 'cu{}{}-torch271'
elif v  < V('2.8.9'): x = 'cu{}{}-torch280'
elif v  < V('2.9.1'): x = 'cu{}{}-torch290'
elif v  < V('2.9.2'): x = 'cu{}{}-torch291'
else: raise RuntimeError(f"Torch = {v} ist zu neu!")
if v > V('2.6.9') and cuda not in ("11.8", "12.6", "12.8", "13.0"): raise RuntimeError(f"CUDA = {cuda} wird nicht unterstützt!")
x = x.format(cuda.replace(".", ""), "-ampere" if False else "") # is_ampere ist wegen flash-attn defekt
print(f'pip install --upgrade pip && pip install --no-deps git+https://github.com/unslothai/unsloth-zoo.git && pip install "unsloth[{x}] @ git+https://github.com/unslothai/unsloth.git" --no-build-isolation')