# 在 NVIDIA DGX Station 上使用 Unsloth 微调 LLM
现在，您可以在 NVIDIA DGX Station 上使用本地训练 LLM，使用 [Unsloth](https://github.com/unslothai/unsloth)。DGX Station 拥有超过 **\~200GB 显存** 以及超过 **700GB 的统一 GPU/CPU 内存** 并将 Grace CPU 与 Blackwell GPU 结合在一个紧密互连的系统中，专为大规模 AI 工作负载设计。通过 NVLink-C2C 连接，CPU 与 GPU 虽然仍然各自独立，但协同工作比传统的 CPU-GPU 配置高效得多。
在本指南中，我们将使用 Unsloth 笔记本训练 [Qwen3.5](#qwen3.5-35b-a3b-fine-tuning) 和 [gpt-oss-120b](#gpt-oss-120b-fine-tuning) 在 DGX Station 上。感谢 NVIDIA 提供部分早期访问的 DGX Station 硬件以测试 Unsloth！
### 快速开始
您将需要 `python3` 已安装，特别是需要开发头文件。在我们的系统上，我们有 `python 3.12` 因此我们将安装 3.12 的开发头文件。
```bash
sudo apt update
sudo apt install python3.12-dev
```
然后创建一个新的虚拟环境来安装 [Unsloth](https://github.com/unslothai/unsloth)。这样我们可以最小化依赖冲突并保留当前工作环境的状态。
{% code overflow="wrap" %}
```bash
python3 -m venv .unsloth
source .unsloth/bin/activate
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu130
```
{% endcode %}
{% hint style="warning" %}
首先从 `torch` 安装 `cuda 13` 索引，否则我们可能会得到 CPU 版本或体系结构与功能不匹配的版本！
{% endhint %}
现在我们可以安装 Unsloth：
```bash
pip install unsloth
```
现在让我们安装 `xformers` 并（可选地）从源码构建 `flash-attention` 这两个包都需要时间，因此在构建时请耐心等待。
{% code overflow="wrap" expandable="true" %}
```bash
pip install --no-deps --no-build-isolation xformers==0.0.33.post1
# 可选的 flash-attn
# 克隆并构建（针对 B300 的 sm_100）
git clone https://github.com/Dao-AILab/flash-attention
cd flash-attention
# B300 = sm_100，显式设置架构
TORCH_CUDA_ARCH_LIST="10.0" MAX_JOBS=8 pip install . --no-build-isolation
cd ..
```
{% endcode %}
{% columns %}
{% column %}
对于 Qwen 3.5 MoE，我们需要下载两个内核包 `flash-linear-attention` 和 `causal-conv1d` 以提高速度。
{% code overflow="wrap" expandable="true" %}
```bash
pip install --no-build-isolation flash-linear-attention causal_conv1d==1.6.0
```
{% endcode %}
{% endcolumn %}
{% column %}
{% endcolumn %}
{% endcolumns %}
如果您还没有笔记本客户端，请安装一个。对于本指南，我们将使用 Jupyter Notebook：
{% code overflow="wrap" expandable="true" %}
```bash
cd ..
pip install notebook
pip install ipywidgets
```
{% endcode %}
最后我们下载实际用于运行的 Unsloth 笔记本。共有 250 多个用于 LLM 训练的笔记本以及 Python 脚本。
{% code overflow="wrap" expandable="true" %}
```bash
git clone https://github.com/unslothai/notebooks.git
cd notebooks
```
{% endcode %}
### 训练教程
{% columns %}
{% column %}
现在我们可以启动 Jupyter Notebook 并在浏览器中导航到 UI。
{% code overflow="wrap" expandable="true" %}
```bash
jupyter notebook
```
{% endcode %}
{% endcolumn %}
{% column %}
{% endcolumn %}
{% endcolumns %}
{% columns %}
{% column %}
复制并粘贴 `localhost` 站点带有 token 参数并将其粘贴到浏览器中。您应看到类似于：
该 `nb` 文件夹包含所有可运行的笔记本。
{% endcolumn %}
{% column %}
{% endcolumn %}
{% endcolumns %}
#### Qwen3.5-35B-A3B 训练
{% columns %}
{% column %}
打开文件 `nb/Qwen3_5_MoE.ipynb`。跳过安装部分，因为我们之前已经安装了所有需要的内容。导航到 Unsloth 部分并从那里开始执行单元。
{% endcolumn %}
{% column %}
{% endcolumn %}
{% endcolumns %}
{% columns %}
{% column %}
该笔记本涵盖模型设置、数据集准备和训练器配置。每一步可能都需要一些时间，因为我们正在下载非常大的模型、初始化数十亿个权重，并进一步优化以提高运行速度。
{% endcolumn %}
{% column %}
{% endcolumn %}
{% endcolumns %}
使用默认设置训练非常快。在 DGX Station 上内存充足，因此您可以调整默认训练超参数以真正挑战内存和计算。一旦训练完成，您可以保存模型以备后用，将模型推送到 Hugging Face Hub 与他人共享，或导出为量化格式。
#### gpt-oss-120b 训练
{% columns %}
{% column %}
打开文件 `nb/gpt-oss-(120B)_A100-Fine-tuning.ipynb`。跳过安装部分，因为我们已经安装了先决条件，并导航到 Unsloth 部分。我们可以从那里开始运行笔记本。该笔记本将使用大约 72 GB 的 GPU 内存，运行大约 10 分钟。
{% endcolumn %}
{% column %}
{% endcolumn %}
{% endcolumns %}
{% columns %}
{% column %}
每个单元格可能需要一些时间来运行，因为我们需要下载模型、初始化权重，并进一步优化以获得更快的体验。笔记本涵盖数据集预处理和训练器设置。一旦我们到达 `trainer.train()` 单元并执行，训练就会开始。
{% endcolumn %}
{% column %}
{% endcolumn %}
{% endcolumns %}
现在完成后，我们可以保存模型以备后用，推送到 Hugging Face Hub 与全世界共享，或将其导出为 GGUF 格式。
在以下链接阅读有关 NVIDIA DGX Station 的更多信息：
---
# Agent Instructions: Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter:
```
GET https://unsloth.ai/docs/zh/bo-ke/dgx-station.md?ask=
```
The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.