Unsloth über pip und uv installieren

Um Unsloth lokal über Pip zu installieren, folge den untenstehenden Schritten:

Empfohlene Installationsmethode

Installiere mit pip (empfohlen) für die neueste pip-Version:

Beachten Sie, dass

Um zu verwenden uv:

pip install --upgrade pip && pip install uv
uv pip install unsloth

Um zu installieren vLLM und Unsloth zusammen, mache:

uv pip install unsloth vllm

Um die neueste main-Branch von Unsloth zu installieren, mache:

Beachten Sie, dass
pip uninstall unsloth unsloth_zoo -y && pip install --no-deps git+https://github.com/unslothai/unsloth_zoo.git && pip install --no-deps git+https://github.com/unslothai/unsloth.git

Für venv- und virtuelle Umgebungsinstallationen um Ihre Installation zu isolieren, damit Systempakete nicht beschädigt werden, und um irreparable Schäden an Ihrem System zu reduzieren, verwenden Sie venv:

apt install python3.10-venv python3.11-venv python3.12-venv python3.13-venv -y
python -m venv unsloth_env
source unsloth_env/bin/activate
pip install --upgrade pip && pip install uv
uv pip install unsloth

Wenn Sie Unsloth in Jupyter, Colab oder anderen Notebooks installieren, stellen Sie sicher, dass Sie den Befehl mit !voranstellen. Dies ist nicht notwendig, wenn Sie ein Terminal verwenden

Python 3.13 wird jetzt unterstützt!

Deinstallieren oder Neuinstallieren

Wenn Sie weiterhin Abhängigkeitsprobleme mit Unsloth haben, haben viele Nutzer diese durch erzwungenes Deinstallieren und Neuinstallieren von Unsloth behoben:

pip install --upgrade --force-reinstall --no-cache-dir --no-deps unsloth
pip install --upgrade --force-reinstall --no-cache-dir --no-deps unsloth_zoo

---

Erweiterte Pip-Installation

Machen Sie NICHT verwenden Sie dies, wenn Sie Conda haben.

Pip ist etwas komplexer, da es Abhängigkeitsprobleme gibt. Der pip-Befehl ist unterschiedlich für torch 2.2,2.3,2.4,2.5 und CUDA-Versionen.

Für andere torch-Versionen unterstützen wir torch211, torch212, torch220, torch230, torch240 und für CUDA-Versionen unterstützen wir cu118 und cu121 und cu124. Für Ampere-Geräte (A100, H100, RTX3090) und höher benutzen Sie cu118-ampere oder cu121-ampere oder cu124-ampere.

Zum Beispiel, wenn Sie torch 2.4 und CUDA 12.1, verwenden Sie:

Bauen Sie dann vLLM:
pip install "unsloth[cu121-torch240] @ git+https://github.com/unslothai/unsloth.git"

Ein weiteres Beispiel, wenn Sie torch 2.5 und CUDA 12.4, verwenden Sie:

Bauen Sie dann vLLM:
pip install "unsloth[cu124-torch250] @ git+https://github.com/unslothai/unsloth.git"

Und andere Beispiele:

pip install "unsloth[cu121-ampere-torch240] @ git+https://github.com/unslothai/unsloth.git"
pip install "unsloth[cu118-ampere-torch240] @ git+https://github.com/unslothai/unsloth.git"
pip install "unsloth[cu121-torch240] @ git+https://github.com/unslothai/unsloth.git"
pip install "unsloth[cu118-torch240] @ git+https://github.com/unslothai/unsloth.git"

pip install "unsloth[cu121-torch230] @ git+https://github.com/unslothai/unsloth.git"
pip install "unsloth[cu121-ampere-torch230] @ git+https://github.com/unslothai/unsloth.git"

pip install "unsloth[cu121-torch250] @ git+https://github.com/unslothai/unsloth.git"
pip install "unsloth[cu124-ampere-torch250] @ git+https://github.com/unslothai/unsloth.git"

Oder führen Sie das Folgende in einem Terminal aus, um den optimalen pip-Installationsbefehl zu erhalten:

wget -qO- https://raw.githubusercontent.com/unslothai/unsloth/main/unsloth/_auto_install.py | python -

Oder führen Sie das Folgende manuell in einem Python-REPL aus:

# Lizenziert unter der Apache License, Version 2.0 (die "Lizenz")
try: import torch
except: raise ImportError('Installiere torch via `pip install torch`')
from packaging.version import Version as V
import re
v = V(re.match(r"[0-9\.]{3,}", torch.__version__).group(0))
cuda = str(torch.version.cuda)
is_ampere = torch.cuda.get_device_capability()[0] >= 8
USE_ABI = torch._C._GLIBCXX_USE_CXX11_ABI
if cuda not in ("11.8", "12.1", "12.4", "12.6", "12.8", "13.0"): raise RuntimeError(f"CUDA = {cuda} nicht unterstützt!")
if   v <= V('2.1.0'): raise RuntimeError(f"Torch = {v} zu alt!")
elif v <= V('2.1.1'): x = 'cu{}{}-torch211'
elif v <= V('2.1.2'): x = 'cu{}{}-torch212'
elif v  < V('2.3.0'): x = 'cu{}{}-torch220'
elif v  < V('2.4.0'): x = 'cu{}{}-torch230'
elif v  < V('2.5.0'): x = 'cu{}{}-torch240'
elif v  < V('2.5.1'): x = 'cu{}{}-torch250'
elif v <= V('2.5.1'): x = 'cu{}{}-torch251'
elif v  < V('2.7.0'): x = 'cu{}{}-torch260'
elif v  < V('2.7.9'): x = 'cu{}{}-torch270'
elif v  < V('2.8.0'): x = 'cu{}{}-torch271'
elif v  < V('2.8.9'): x = 'cu{}{}-torch280'
elif v  < V('2.9.1'): x = 'cu{}{}-torch290'
elif v  < V('2.9.2'): x = 'cu{}{}-torch291'
else: raise RuntimeError(f"Torch = {v} zu neu!")
if v > V('2.6.9') and cuda not in ("11.8", "12.6", "12.8", "13.0"): raise RuntimeError(f"CUDA = {cuda} nicht unterstützt!")
x = x.format(cuda.replace(".", ""), "-ampere" if False else "") # is_ampere ist aufgrund von flash-attn defekt
print(f'pip install --upgrade pip && pip install --no-deps git+https://github.com/unslothai/unsloth-zoo.git && pip install "unsloth[{x}] @ git+https://github.com/unslothai/unsloth.git" --no-build-isolation')