在 Windows 上安装 Unsloth

查看如何在 Windows 上安装 Unsloth 以开始在本地微调 LLM。

了解如何使用 Unsloth 在不使用 WSL 的情况下直接在您的 Windows 设备上微调大语言模型。对于 Windows， pip install unsloth 有效，但您必须事先安装 Pytorch。否则，您可以按照我们下面的指南：

Conda 教程 Docker 教程 WSL 教程

方法 #1 - 通过 Conda 在 Windows 上：

安装 Miniconda（或 Anaconda）

下载 Anaconda 在这里。我们建议使用 Miniconda。使用它前，先打开 Powershell - 在开始菜单搜索 “Windows Powershell”:

然后它会打开 Powershell：

然后复制粘贴下面内容：CTRL+C，然后在 Powershell 中粘贴 CTRL+V：

Invoke-WebRequest -Uri "https://repo.anaconda.com/miniconda/Miniconda3-latest-Windows-x86_64.exe" -OutFile ".\miniconda.exe"
Start-Process -FilePath ".\miniconda.exe" -ArgumentList "/S" -Wait
del .\miniconda.exe

接受警告并按“仍要粘贴”，然后等待。

它正在像下面这样下载安装程序：

安装完成后，打开 Anaconda Powershell 提示符 通过开始 -> 搜索来使用 Miniconda：

然后您会看到：

创建 conda 环境

conda create --name unsloth_env python==3.12 -y
conda activate unsloth_env

您将看到：

检查 nvidia-smi 以确认您有 GPU，并查看 CUDA 版本

在输入 nvidia-smi 到 Powershell 后，您应该会看到如下内容。如果您没有 nvidia-smi 或下面未弹出，则需要重新安装 NVIDIA 驱动程序.

安装 PyTorch

运行时 nvidia-smi 您将在右上角看到：“CUDA Version: 13.0”。在 PowerShell 中安装 PyTorch。将 130 更改为您的 CUDA 版本 - 确保版本存在并与您的 CUDA 驱动程序版本匹配。

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu130

您将看到：

在安装 PyTorch 后，尝试在 Python 中运行此命令： python ：

import torch
print(torch.cuda.is_available())
A = torch.ones((10, 10), device = "cuda")
B = torch.ones((10, 10), device = "cuda")
A @ B

您应该会看到一个全是 10 的矩阵。同时第一个应验证为 True。

安装 Unsloth（仅在 PyTorch 工作时！）

确认 PyTorch 正常工作并能运行 - 如果不能，说明 PyTorch 出现问题，这可能意味着您的 Windows 机器不幸需要重新安装 CUDA 驱动程序。

在 Powershell 中（在通过 exit() 退出 Python 之后），执行并等待：

pip install unsloth

验证 Unsloth 是否工作

现在在 Unsloth 笔记本中使用任何脚本（保存为 .py 文件），或者使用下面的基本脚本：

from unsloth import FastLanguageModel, FastModel
import torch
from trl import SFTTrainer, SFTConfig
from datasets import load_dataset
max_seq_length = 512
url = "https://huggingface.co/datasets/laion/OIG/resolve/main/unified_chip2.jsonl"
dataset = load_dataset("json", data_files = {"train" : url}, split = "train")

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/gemma-3-270m-it",
    max_seq_length = max_seq_length, # 选择任意以支持长上下文！
    load_in_4bit = True,  # 4 位量化。False = 16 位 LoRA。
    load_in_8bit = False, # 8 位量化
    load_in_16bit = False, # 16 位 LoRA
    full_finetuning = False, # 用于完整微调。
    trust_remote_code = False, # 启用以支持新模型
    # token = "hf_...", # 如果使用受限模型可使用令牌
)

# 对模型进行补丁并添加快速 LoRA 权重
model = FastLanguageModel.get_peft_model(
    model,
    r = 16,
    target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",
                      "gate_proj", "up_proj", "down_proj",],
    lora_alpha = 16,
    lora_dropout = 0, # 支持任意值，但 = 0 为优化设置
    bias = "none",    # 支持任意，但 = "none" 为优化设置
    # [新] "unsloth" 使用少 30% 的显存，支持 2 倍更大的批量！
    use_gradient_checkpointing = "unsloth", # 对于非常长的上下文可使用 True 或 "unsloth"
    random_state = 3407,
    max_seq_length = max_seq_length,
    use_rslora = False,  # 我们支持秩稳定化的 LoRA
    loftq_config = None, # 以及 LoftQ
)

trainer = SFTTrainer(
    model = model,
    train_dataset = dataset,
    tokenizer = tokenizer,
    args = SFTConfig(
        max_seq_length = max_seq_length,
        per_device_train_batch_size = 2,
        gradient_accumulation_steps = 4,
        warmup_steps = 10,
        max_steps = 60,
        logging_steps = 1,
        output_dir = "outputs",
        optim = "adamw_8bit",
        seed = 3407,
        dataset_num_proc = 1,
    ),
)
trainer.train()

您应该会看到：

🦥 Unsloth：将对您的计算机进行补丁以实现 2 倍更快的免费微调。
🦥 Unsloth Zoo 现在将补丁所有内容以加速训练！
==((====))==  Unsloth 2026.1.4：快速 Gemma3 补丁。Transformers：4.57.6。
   \\   /|    NVIDIA GeForce RTX 3060。GPU 数量 = 1。最大内存：12.0 GB。平台：Windows。
O^O/ \_/ \    Torch：2.10.0+cu130。CUDA：8.6。CUDA 工具包：13.0。Triton：3.6.0
\        /    Bfloat16 = TRUE。FA [Xformers = 0.0.34。FA2 = False]
 "-____-"     免费许可：https://github.com/unslothai/unsloth
Unsloth：已启用快速下载 - 忽略红色的下载条！
Unsloth：Gemma3 不支持 SDPA - 切换到快速 eager。
Unsloth：使 `model.base_model.model.model` 需要梯度
Unsloth：正在对 ["text"] 进行分词 (num_proc=1)：   0%|                 | 0/210289 [00:00<?, ? 示例/秒]�  Unsloth：将对您的计算机进行补丁以实现 2 倍更快的免费微调。
🦥 Unsloth：将对您的计算机进行补丁以实现 2 倍更快的免费微调。

并开始训练：

方法 #2 - Docker：

对于 Windows 用户来说，Docker 可能是开始使用 Unsloth 的最简单方式，因为无需设置或处理依赖问题。 unsloth/unsloth 是 Unsloth 唯一的 Docker 镜像。对于 Blackwell 和 50 系列 GPU，使用相同的镜像即可 - 无需单独镜像。

有关安装说明，请参阅我们的 Docker 指南，否则这里有一个快速入门指南：

安装 Docker 和 NVIDIA Container Toolkit。

通过以下方式安装 Docker Linux 或 Desktop （其他）。然后安装 NVIDIA Container Toolkit:

export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
sudo apt-get update && sudo apt-get install -y \
  nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

运行容器。

unsloth/unsloth 是 Unsloth 唯一的 Docker 镜像。

docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

访问 Jupyter Lab

前往 http://localhost:8888 并打开 Unsloth。访问 unsloth-notebooks 选项卡以查看 Unsloth 笔记本。

开始使用 Unsloth 进行训练

如果您是新手，请按照我们的逐步微调指南, RL 指南或者只需保存/复制我们任何预制的笔记本.

Docker 问题 - 未发现 GPU？

尝试通过 WSL： Windows

方法 #3 - WSL：

安装 WSL

打开命令提示符或终端并安装 Ubuntu。如有提示，设置密码。

wsl.exe --install Ubuntu-24.04
wsl.exe -d Ubuntu-24.04

如果您没有执行（1），即您已安装 WSL，通过输入以下命令进入 WSL： wsl 并在命令提示符中按回车

wsl

安装 Python

sudo apt update
sudo apt install python3 python3-full python3-pip python3-venv -y

安装 PyTorch

pip install torch torchvision --force-reinstall --index-url https://download.pytorch.org/whl/cu130

如果遇到权限问题，请使用 –break-system-packages 所以 pip install torch torchvision --force-reinstall --index-url https://download.pytorch.org/whl/cu130 –break-system-packages

安装 Unsloth 和 Jupyter Notebook

pip install unsloth jupyter

如果遇到权限问题，请使用 –-break-system-packages 所以 pip install unsloth jupyter –-break-system-packages

通过 Jupyter Notebook 启动 Unsloth

jupyter notebook

然后在其中打开我们的笔记本并加载！您也可以去 Colab 笔记本并下载 > 下载 .ipynb 然后加载它们。 Unsloth 笔记本如果您正在使用 GRPO 或计划使用 vLLM，目前 vLLM 不直接支持 Windows，只能通过 WSL 或 Linux 使用。

故障排除 /

高级对于

高级安装说明 或如果您在安装过程中看到奇怪的错误： 安装

torch 和 triton 。请前往 https://pytorch.org 进行安装。例如pip install torch torchvision torchaudio triton 确认 CUDA 是否正确安装。尝试
nvcc 。如果失败，您需要安装cudatoolkit 或 CUDA 驱动程序。 如果使用 Intel GPU，您需要按照我们的
Intel Windows 指南手动安装
torch xformers 。您可以尝试安装 vllm 并查看 vllm 是否成功。检查 xformers 是否已成功，使用 python -m xformers.info 前往 https://github.com/facebookresearch/xformers。另一种选择是为 Ampere GPU 安装 flash-attn 。
再次仔细检查您的 Python、CUDA、CUDNN、 和, 。请前往 https://pytorch.org 进行安装。例如，和 xformers 的版本是否彼此兼容。可以参阅 PyTorch 兼容性矩阵以获取帮助。
最后，安装 bitsandbytes 并通过以下命令检查它 python -m bitsandbytes

上一页uv, pip install & venv 下一页AMD

最后更新于4天前

这有帮助吗？

hashtag方法 #1 - 通过 Conda 在 Windows 上：

hashtag方法 #2 - Docker：

hashtag方法 #3 - WSL：

hashtag高级 对于

方法 #1 - 通过 Conda 在 Windows 上：

方法 #2 - Docker：

方法 #3 - WSL：

高级对于