在 Windows 上使用 Unsloth 微调 LLM（逐步指南）

查看如何在 Windows 上安装 Unsloth 以开始在本地微调大型语言模型。

您现在可以使用在本地 Windows 设备上直接微调模型，而无需 WSL，方法是使用 Unsloth。在本指南中，有 3 种主要方法可供使用（Conda, Docker 和 WSL）。如果您已经在 Windows 上安装了 PyTorch， pip install unsloth 应该可以工作。否则，请按照我们下面的指南操作：

Conda 教程 Docker 教程 WSL 教程

方法 #1 - 通过 Conda 在 Windows 上：

安装 Miniconda（或 Anaconda）

下载安装 Anaconda 此处。我们的建议是使用 Miniconda。要使用它，首先进入 Powershell——在开始菜单中搜索“Windows Powershell”：

然后它会打开 Powershell：

然后复制粘贴下面内容：CTRL+C，然后在 Powershell 中粘贴 CTRL+V：

Invoke-WebRequest -Uri "https://repo.anaconda.com/miniconda/Miniconda3-latest-Windows-x86_64.exe" -OutFile ".\miniconda.exe"
Start-Process -FilePath ".\miniconda.exe" -ArgumentList "/S" -Wait
del .\miniconda.exe

接受警告并按“仍要粘贴”，然后等待。

它正在下载安装程序，如下所示：

安装完成后，打开 Anaconda Powershell 提示符 通过开始 -> 搜索来使用 Miniconda：

然后您会看到：

创建 conda 环境

conda create --name unsloth_env python==3.12 -y
conda activate unsloth_env

您会看到：

检查 nvidia-smi 以确认您有 GPU，并查看 CUDA 版本

在 Powershell 中输入 nvidia-smi 后，您应该会看到类似下面的内容。如果您没有 nvidia-smi 或下面没有弹出，则需要重新安装 NVIDIA 驱动程序.

安装 PyTorch

运行时 nvidia-smi 您将在右上角看到：“CUDA Version: 13.0”。通过 PowerShell 安装 PyTorch。将 130 更改为您的 CUDA 版本——确保版本存在并与您的 CUDA 驱动版本匹配。

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu130

您会看到：

在安装 PyTorch 后，尝试在 Python 中运行以下命令： python ：

import torch
print(torch.cuda.is_available())
A = torch.ones((10, 10), device = "cuda")
B = torch.ones((10, 10), device = "cuda")
A @ B

您应该会看到一个全是 10 的矩阵。并且第一个应为 True。

安装 Unsloth（仅当 PyTorch 正常工作时！）

确认 PyTorch 正常工作并可运行——如果不是，则 PyTorch 出现问题，这意味着很不幸地可能需要重新安装 CUDA 驱动程序。

在 Powershell 中（在通过 exit() 退出 Python 之后），执行并等待：

pip install unsloth

验证 Unsloth 是否工作

现在在 Unsloth 笔记本中使用任何脚本（保存为 .py 文件），或使用下面的基本脚本：

from unsloth import FastLanguageModel, FastModel
import torch
from trl import SFTTrainer, SFTConfig
from datasets import load_dataset
max_seq_length = 512
url = "https://huggingface.co/datasets/laion/OIG/resolve/main/unified_chip2.jsonl"
dataset = load_dataset("json", data_files = {"train" : url}, split = "train")

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/gemma-3-270m-it",
    max_seq_length = max_seq_length, # 为长上下文选择任意值！
    load_in_4bit = True,  # 4 位量化。False = 16 位 LoRA。
    load_in_8bit = False, # 8 位量化
    load_in_16bit = False, # 16 位 LoRA
    full_finetuning = False, # 用于完整微调。
    trust_remote_code = False, # 启用以支持新模型
    # token = "hf_...", # 如果使用受限模型可使用令牌
)

# 对模型进行修补并添加快速 LoRA 权重
model = FastLanguageModel.get_peft_model(
    model,
    r = 16,
    target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",
                      "gate_proj", "up_proj", "down_proj",],
    lora_alpha = 16,
    lora_dropout = 0, # 支持任意值，但 = 0 是优化的
    bias = "none",    # 支持任意值，但 = "none" 是优化的
    # [新增] “unsloth” 可减少 30% 的显存，占用 2 倍更大的批量大小！
    use_gradient_checkpointing = "unsloth", # 对于非常长的上下文可使用 True 或 "unsloth"
    random_state = 3407,
    max_seq_length = max_seq_length,
    use_rslora = False,  # 我们支持秩稳定化 LoRA
    loftq_config = None, # 以及 LoftQ
)

trainer = SFTTrainer(
    model = model,
    train_dataset = dataset,
    tokenizer = tokenizer,
    args = SFTConfig(
        max_seq_length = max_seq_length,
        per_device_train_batch_size = 2,
        gradient_accumulation_steps = 4,
        warmup_steps = 10,
        max_steps = 60,
        logging_steps = 1,
        output_dir = "outputs",
        optim = "adamw_8bit",
        seed = 3407,
        dataset_num_proc = 1,
    ),
)
trainer.train()

您应该会看到：

🦥 Unsloth：将修补您的计算机以启用 2 倍更快的免费微调。
🦥 Unsloth Zoo 现在将修补所有内容以加快训练速度！
==((====))==  Unsloth 2026.1.4：快速 Gemma3 修补。Transformers: 4.57.6。
   \\   /|    NVIDIA GeForce RTX 3060。GPU 数量 = 1。最大内存：12.0 GB。平台：Windows。
O^O/ \_/ \    Torch: 2.10.0+cu130。CUDA: 8.6。CUDA 工具包：13.0。Triton: 3.6.0
\        /    Bfloat16 = TRUE。FA [Xformers = 0.0.34。FA2 = False]
 "-____-"     免费许可：http://github.com/unslothai/unsloth
Unsloth：已启用快速下载 - 忽略显示为红色的下载条！
Unsloth：Gemma3 不支持 SDPA - 正在切换到快速 eager。
Unsloth：使 `model.base_model.model.model` 需要梯度
Unsloth：正在对 ["text"] 进行分词 (num_proc=1)：   0%|                 | 0/210289 [00:00<?, ? examples/s]�  Unsloth：将修补您的计算机以启用 2 倍更快的免费微调。
🦥 Unsloth：将修补您的计算机以启用 2 倍更快的免费微调。

并开始训练：

方法 #2 - Docker：

对于 Windows 用户而言，Docker 可能是开始使用 Unsloth 的最简单方式，因为无需设置或担心依赖问题。 unsloth/unsloth 是 Unsloth 的唯一 Docker 镜像。对于 Blackwell 和 50 系列 GPU，也使用相同的镜像——无需单独镜像。

有关安装说明，请遵循我们的 Docker 指南，否则这里是快速入门指南：

安装 Docker 和 NVIDIA Container Toolkit。

通过以下方式安装 Docker Linux 或 Desktop （其他）。然后安装 NVIDIA Container Toolkit:

export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
sudo apt-get update && sudo apt-get install -y \
  nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

运行容器。

unsloth/unsloth 是 Unsloth 的唯一 Docker 镜像。

docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

访问 Jupyter Lab

前往 http://localhost:8888 并打开 Unsloth。访问 unsloth-notebooks 选项卡以查看 Unsloth 笔记本。

开始使用 Unsloth 训练

如果您是新手，请按照我们的逐步微调指南, 强化学习指南或只是保存/复制我们任何预制的笔记本.

Docker 问题 - 未发现 GPU？

尝试通过 WSL Windows

方法 #3 - WSL：

安装 WSL

打开命令提示符或终端，并安装 Ubuntu。如果出现提示，请设置密码。

wsl.exe --install Ubuntu-24.04
wsl.exe -d Ubuntu-24.04

如果您没有执行（1），即您已经安装了 WSL，在命令提示符中输入 wsl 并按回车进入 WSL

wsl

安装 Python

sudo apt update
sudo apt install python3 python3-full python3-pip python3-venv -y

安装 PyTorch

pip install torch torchvision --force-reinstall --index-url https://download.pytorch.org/whl/cu130

如果遇到权限问题，请使用 –break-system-packages 因此 pip install torch torchvision --force-reinstall --index-url https://download.pytorch.org/whl/cu130 –break-system-packages

安装 Unsloth 和 Jupyter Notebook

pip install unsloth jupyter

如果遇到权限问题，请使用 –-break-system-packages 因此 pip install unsloth jupyter –-break-system-packages

通过 Jupyter Notebook 启动 Unsloth

jupyter notebook

然后打开我们在其中的笔记本并加载它们！您也可以转到 Colab 笔记本并下载 > 下载 .ipynb 并加载它们。 Unsloth 笔记本如果您正在使用 GRPO 或计划使用 vLLM，目前 vLLM 不直接支持 Windows，而仅通过 WSL 或 Linux 支持。

疑难解答 /

高级对于

高级安装说明 或如果您在安装过程中看到奇怪的错误： 安装

torch triton 和 。请访问 https://pytorch.org 以安装。例如pip install torch torchvision torchaudio triton 确认 CUDA 是否已正确安装。尝试
nvcc 。如果失败，则需要安装cudatoolkit 或 CUDA 驱动程序。 如果使用 Intel GPU，您需要遵循我们的
Intel Windows 指南手动安装
torch xformers 。您可以尝试安装 vllm 并查看 vllm 是否成功。检查是否 xformers 已成功，方法为 python -m xformers.info 请访问 https://github.com/facebookresearch/xformers。另一个选项是为 Ampere GPU 安装 flash-attn 。
再次确认您的 Python、CUDA、CUDNN、 triton, 。请访问 https://pytorch.org 以安装。例如和 xformers 版本彼此兼容。可参考 PyTorch 兼容矩阵，这可能会很有用。
最后，安装 bitsandbytes 并使用以下命令检查它： python -m bitsandbytes

上一页uv, pip install & venv 下一页AMD

最后更新于1天前

这有帮助吗？

hashtag方法 #1 - 通过 Conda 在 Windows 上：

hashtag方法 #2 - Docker：

hashtag方法 #3 - WSL：

hashtag高级 对于

方法 #1 - 通过 Conda 在 Windows 上：

方法 #2 - Docker：

方法 #3 - WSL：

高级对于