最初のグラフ（上）は、次の条件での進捗をプロットしています `yahma/alpaca-cleaned` を `max_length = 2048`、packing + kernels を備えた新しい Unsloth（えんじ色）と古い Unsloth（灰色）の比較です。どちらも次で学習されています `max_steps = 500`ただし、x 軸は実時間でプロットしています。パックされた場合、同じステップ数（そして実時間も少しだけ長い程度）でエポックの約40%を学習できる一方、パックされていない場合はエポックの5%未満しか学習できないことに注目してください。
同様に、2番目のグラフ（上）は同じ実行の損失を示しており、今度は x 軸に学習ステップを取っています。損失のスケールと傾向は一致していますが、packing した場合の損失は、1学習ステップあたりにモデルがより多くのトークンを見るため、ばらつきが小さくなっています。
### :sparkles:packing を有効にするには？
**まず Unsloth を更新してください。padding-free はデフォルトで有効です**！そのため、すべての学習が直ちに 1.1〜2倍高速になり、少なくともメモリ使用量は 30% 減少し、損失曲線の指標はまったく変わりません！
{% code overflow="wrap" %}
```bash
pip install --upgrade --force-reinstall --no-cache-dir --no-deps unsloth
pip install --upgrade --force-reinstall --no-cache-dir --no-deps unsloth_zoo
```
{% endcode %}
また、Xformers 経由の Flash Attention 3、SDPA 対応、Flash Attention 2 もサポートしており、Tesla T4、RTX 2080 などの古い GPU や、H100、B200 などの新しい GPU でも動作します！サンプルパッキングは *アテンションバックエンドやモデルファミリーの選択に関係なく*そのため、これらの高速アテンション実装で以前得られたのと同じ高速化を楽しめます！
明示的に packing を有効にしたい場合は、次を追加してください `packing = True` 最大で 5倍高速な学習を有効にします！
{% hint style="warning" %}
注意 `packing=True` 複数の短い系列が 1 つの系列にパックされるため、学習損失が変わり、データセットの行数も切り詰められます。データセット内の例の数が減って見えるかもしれません。
学習損失の値を変えたくない場合は、単に次を設定してください `packing=False` そうすると、自動 padding-free が有効になり、それだけで学習がすでに高速になります！
{% endhint %}
```python
from unsloth import FastLanguageModel
from trl import SFTTrainer, SFTConfig
model, tokenizer = FastLanguageModel.from_pretrained(
"unsloth/Qwen3-14B",
)
trainer = SFTTrainer(
model = model,
processing_class = tokenizer,
train_dataset = dataset,
args = SFTConfig(
per_device_train_batch_size = 1,
max_length = 4096,
…,
packing = True, # サンプルパッキングを有効にするために必要です！
),
)
trainer.train()
```
私たちのノートブックはすべて自動的に高速化されています（何もする必要はありません）。参照: [Unslothノートブック](/docs/jp/meru/unsloth-notebooks.md)
{% columns %}
{% column %}
Qwen3 14B が高速化:
{% embed url="" %}
{% endcolumn %}
{% column %}
Llama 3.1 Conversational が高速化:
{% embed url="" %}
{% endcolumn %}
{% endcolumns %}
ありがとうございます！興味があれば、次を参照してください: [500K Context Training](/docs/jp/burogu/500k-context-length-fine-tuning.md) ブログ、 [メモリ効率の高いRL](/docs/jp/meru/reinforcement-learning-rl-guide/memory-efficient-rl.md) ブログ、 [Long Context gpt-oss](/docs/jp/moderu/gpt-oss-how-to-run-and-fine-tune/long-context-gpt-oss-training.md) ブログでは、カーネルや性能向上に関するさらに多くのトピックを紹介しています！
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.
Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:
```
GET https://unsloth.ai/docs/jp/burogu/3x-faster-training-packing.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
