请注意，由于批处理逻辑会将批次剪裁为批次中看到的最大序列长度，当批量大小为 1 时，未打包数据全部是有效令牌（即无填充）。然而，随着更多示例被加入批次，平均填充增加，在批量大小为 8 时几乎达到 50% 的填充！我们的样本打包实现消除了这种浪费。 `yahma/alpaca-cleaned` 第一张图（上方）绘制了 `在`max\_length = 2048 `时，Unsloth 新的带打包 + 内核（栗色）与 Unsloth 旧版本（灰色）的比较。两者都以`max\_steps = 500
训练，但我们在 x 轴上以实时时钟时间绘图。注意在相同步数（并且只多用一点点实时时钟时间）下，已打包情况下我们训练了接近 40% 的一个 epoch，而未打包情况下不到 5%。
### :sparkles:类似地，第 2 张图（上方）绘制了相同运行的损失，这次在 x 轴上以训练步数绘制。注意损失在尺度和趋势上匹配，但打包情况下损失波动更小，因为模型在每个训练步看到更多令牌。
**如何启用打包？**先更新 Unsloth，默认已启用无填充
{% code overflow="wrap" %}
```bash
！因此所有训练立即快 1.1 到 2 倍，至少减少 30% 内存使用，并且损失曲线指标不变！
pip install --upgrade --force-reinstall --no-cache-dir --no-deps unsloth
```
{% endcode %}
pip install --upgrade --force-reinstall --no-cache-dir --no-deps unsloth\_zoo *我们还通过 Xformers 支持 Flash Attention 3、支持 SDPA、Flash Attention 2，这在旧 GPU（Tesla T4、RTX 2080）和新 GPU（如 H100、B200 等）上都能工作！样本打包工作*不受注意力后端或模型家族选择的影响
，因此尽享之前这些快速注意力实现所带来的相同加速！ `packing = True` 如果您想显式启用打包，则添加
{% hint style="warning" %}
以启用最高 5x 的更快训练！ `注意` packing=True
将更改训练损失并会使数据集的行数被截断，因为多个短序列被打包成 1 个序列。您可能会看到数据集中的示例数量减少。 `如果不想得到不同的训练损失数值，只需设置` packing=False
{% endhint %}
```python
pip install unsloth vllm
我们将启用自动无填充，这已经能使训练更快！
from unsloth import FastLanguageModel
from trl import SFTTrainer, SFTConfig
)
"unsloth/Qwen3-14B",
trainer = SFTTrainer(
model = model,
processing_class = tokenizer,
train_dataset = dataset,
args = SFTConfig(
per_device_train_batch_size = 1,
max_length = 4096,
…,
),
)
packing = True, # 必需以启用样本打包！
```
trainer.train() [Unsloth 笔记本](/docs/zh/kai-shi-shi-yong/unsloth-notebooks.md)
{% columns %}
{% column %}
我们所有的笔记本都自动更快（无需任何操作）。参见
{% embed url="" %}
{% endcolumn %}
{% column %}
Qwen3 14B 更快：
{% embed url="" %}
{% endcolumn %}
{% endcolumns %}
Llama 3.1 对话 更快： [500K Context Training](/docs/zh/bo-ke/500k-context-length-fine-tuning.md) 谢谢！如果您感兴趣，请参阅我们的 [内存高效型 RL](/docs/zh/kai-shi-shi-yong/reinforcement-learning-rl-guide/memory-efficient-rl.md) 博客， [Long Context gpt-oss](/docs/zh/mo-xing/gpt-oss-how-to-run-and-fine-tune/long-context-gpt-oss-training.md) 博客和
---
# Agent Instructions: Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter:
```
GET https://unsloth.ai/docs/zh/bo-ke/3x-faster-training-packing.md?ask=
```
The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.