如何在 Windows 上使用 Unsloth 对 LLM 进行微调（分步指南）

现在你可以直接在本地 Windows 设备上微调模型，而无需使用 WSL，方法是使用 Unsloth。本指南中有 3 种主要方法可供使用（Conda, Docker 和 WSL）。 如果你已经在 Windows 上安装了 PyTorch， pip install unsloth 应该可以工作。否则，请按照下面的指南：

Conda 教程Docker 教程WSL 教程

Unsloth Studio

我们推出了一个新的 Web UI，名为 Unsloth Studio ，开箱即用，支持 Windows：

irm https://unsloth.ai/install.ps1 | iex

使用相同命令进行更新，或者使用 unsloth studio update.

然后每次启动时使用：

unsloth studio -H 0.0.0.0 -p 8888

有关 Unsloth Studio 的详细安装说明和要求， 请查看我们的指南.

下面是原始版本的安装说明 Unsloth Core:

方法 #1 - 通过 Conda 在 Windows 上安装：

1

安装 Miniconda（或 Anaconda）

在此处 下载 Anaconda。我们的建议是使用 Miniconda。要使用它，首先打开 Powershell——在开始菜单中搜索“Windows Powershell”：

然后它会打开 Powershell：

接着复制粘贴下面的内容：CTRL+C，然后在 Powershell 中粘贴：CTRL+V：

复制

Invoke-WebRequest -Uri "https://repo.anaconda.com/miniconda/Miniconda3-latest-Windows-x86_64.exe" -OutFile ".\miniconda.exe"
Start-Process -FilePath ".\miniconda.exe" -ArgumentList "/S" -Wait
del .\miniconda.exe

接受警告并点击“仍然粘贴”，然后等待。

它会像下面这样下载安装程序：

安装完成后，打开 Anaconda Powershell Prompt ，通过开始菜单 -> 搜索它来使用 Miniconda：

然后你会看到：

2

创建 conda 环境

复制

conda create --name unsloth_env python==3.12 -y
conda activate unsloth_env

你会看到：

3

检查 nvidia-smi 以确认你有 GPU，并查看 CUDA 版本

输入后 nvidia-smi 在 Powershell 中，你应该会看到如下内容。如果你没有 nvidia-smi ，或者下面内容没有弹出，你需要重新安装 NVIDIA 驱动程序.

4

安装 PyTorch

运行 nvidia-smi 时，你会在右上角看到：“CUDA Version: 13.0”。通过 PowerShell 安装 PyTorch。将 130 更改为你的 CUDA 版本——确保 版本存在 并且与你的 CUDA 驱动版本匹配。

复制

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu130

你会看到：

在 Python 中尝试运行这个命令，使用 python 在安装 PyTorch 后：

复制

import torch
print(torch.cuda.is_available())
A = torch.ones((10, 10), device = "cuda")
B = torch.ones((10, 10), device = "cuda")
A @ B

你应该会看到一个全为 10 的矩阵。并且第一个结果应为 True。

5

安装 Unsloth（仅当 PyTorch 正常工作时！）

确认 PyTorch 工作正常并能运行——如果不行，说明 PyTorch 有问题，这意味着你的 Windows 机器可能不幸需要重新安装 CUDA 驱动程序。

在 Powershell 中（退出 Python 后使用 exit() ，执行并等待：

复制

pip install unsloth

6

验证 Unsloth 是否可用

现在使用中的任何脚本 Unsloth 笔记本 （保存为 .py 文件），或者使用下面的基础脚本：

你应该会看到：

复制

🦥 Unsloth：将为你的电脑打补丁，以支持快 2 倍的免费微调。
🦥 Unsloth Zoo 现在会打补丁以让训练更快！
==((====))==  Unsloth 2026.1.4：快速 Gemma3 打补丁。Transformers: 4.57.6.
   \\   /|    NVIDIA GeForce RTX 3060. GPU 数量 = 1. 最大显存：12.0 GB。平台：Windows.
O^O/ \_/ \    Torch: 2.10.0+cu130. CUDA: 8.6. CUDA Toolkit: 13.0. Triton: 3.6.0
\        /    Bfloat16 = TRUE. FA [Xformers = 0.0.34. FA2 = False]
 "-____-"     免费许可证：http://github.com/unslothai/unsloth
Unsloth：已启用快速下载——请忽略那些显示为红色的下载进度条！
Unsloth：Gemma3 不支持 SDPA——切换到 fast eager。
Unsloth：使 `model.base_model.model.model` 需要梯度
Unsloth：对 ["text"] 进行分词（num_proc=1）：   0%|                 | 0/210289 [00:00<?, ? examples/s]�  Unsloth：将为你的电脑打补丁，以支持快 2 倍的免费微调。
🦥 Unsloth：将为你的电脑打补丁，以支持快 2 倍的免费微调。

并且训练：

方法 #2 - Docker：

对 Windows 用户来说，Docker 可能是开始使用 Unsloth 最简单的方式，因为无需额外设置，也没有依赖问题。 unsloth/unsloth 是 Unsloth 唯一的 Docker 镜像。对于 Blackwell 和 50 系列 GPU，请使用同一个镜像——无需单独的镜像。

有关安装说明，请按照我们的 Docker 指南，否则这里是快速入门指南：

export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
sudo apt-get update && sudo apt-get install -y \
  nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

方法 #3 - WSL：

故障排查 / 高级

对于 高级安装说明 ，或者如果你在安装过程中看到奇怪的错误：

1. 安装 torch 和 triton。前往 https://pytorch.org 进行安装。例如 pip install torch torchvision torchaudio triton

2. 确认 CUDA 是否已正确安装。尝试 nvcc。如果失败，你需要安装 cudatoolkit 或 CUDA 驱动程序。

3. 如果使用 Intel GPU，你需要按照我们的 Intel Windows 指南

4. 安装 xformers 手动安装。你可以尝试安装 vllm 并查看 vllm 是否成功。检查是否 xformers 已通过以下命令成功： python -m xformers.info 前往 https://github.com/facebookresearch/xformers。另一个选项是安装 flash-attn 适用于 Ampere GPU。

5. 请再次确认你的 Python、CUDA、CUDNN、 torch, triton以及 xformers 的版本彼此兼容。 PyTorch 兼容性矩阵 可能会有帮助。

6. 最后，安装 bitsandbytes 并使用以下命令检查： python -m bitsandbytes

7. 如果 Unsloth 没有检测到或使用你的 GPU，并且你在 Windows 上使用我们的 Docker 容器，那么你的 CUDA toolkit 版本 nvcc --version 应该与主机上 nvidia-smi 显示的 CUDA 版本一致。Windows 上对 Docker 容器的 GPU 支持并不是自动的。 你需要遵循 Docker 的指南.

卸载 Unsloth Studio

要在 Windows 上卸载 Unsloth Studio，请按照以下 4 个步骤：

1. 删除应用程序

• WSL： rm -rf ~/.unsloth/studio/unsloth_studio

• Windows（PowerShell）： Remove-Item -Recurse -Force "$HOME\.unsloth\studio\unsloth_studio"

这会删除应用程序，但会保留你的模型检查点、导出、历史记录、缓存和聊天内容。

2. 删除快捷方式和符号链接

WSL / Windows（PowerShell）：

3. 删除 CLI 命令

WSL：

Windows（PowerShell）： 安装程序已将 venv 的 Scripts 目录添加到你的用户 PATH 中。要将其移除，请打开 设置 → 系统 → 关于 → 高级系统设置 → 环境变量，找到 Path （位于用户变量下），并删除指向 .unsloth\studio\...\Scripts.

4. 删除全部内容（可选）

如果还想删除历史记录、缓存、聊天内容、模型检查点和模型导出，请删除整个 Unsloth 文件夹：

• WSL, Linux： rm -rf ~/.unsloth

• Windows（PowerShell）： Remove-Item -Recurse -Force "$HOME\.unsloth"

请注意，已下载的 HF 模型文件会单独存储在 Hugging Face 缓存中——以上步骤都不会删除它们。若你想释放那部分磁盘空间，请参阅下面的 删除模型文件 。