最初のグラフ（上）は、 `yahma/alpaca-cleaned` を `max_length = 2048`での進捗をプロットしています。Unslothの新しい（パッキング+カーネル、マルーン）とUnslothの旧バージョン（灰色）を比較しています。どちらも `max_steps = 500`で訓練されていますが、x軸は実時間でプロットしています。パックされたケースでは、同じステップ数（かつ少し多めの実時間）でアンパックされたケースがエポックの5%未満を訓練する間に、ほぼ40%のエポックを訓練している点に注目してください。
同様に2番目のグラフ（上）は同じ実行からの損失をプロットしており、今回はx軸がトレーニングステップです。損失の尺度と傾向は一致しますが、パッキングケースではモデルが1ステップあたりより多くのトークンを見ているため損失の変動が少ないことに注意してください。
### :sparkles:パッキングを有効にするには？
**まずUnslothをアップデートすると、パディング不要はデフォルトで有効になります**！したがってすべてのトレーニングは直ちに1.1～2倍速くなり、少なくとも30%少ないメモリ使用で、損失曲線指標に変化はありません！
{% code overflow="wrap" %}
```bash
pip install --upgrade --force-reinstall --no-cache-dir --no-deps unsloth
pip install --upgrade --force-reinstall --no-cache-dir --no-deps unsloth_zoo
```
{% endcode %}
我々はまた、Xformers経由のFlash Attention 3、SDPAサポート、Flash Attention 2をサポートしており、これは古いGPU（Tesla T4、RTX 2080）やH100、B200などの新しいGPUでも動作します！サンプルパッキングは *アテンションバックエンドやモデルファミリーの選択に関係なく*動作するので、これらの高速アテンション実装で以前得られたのと同じ速度向上をお楽しみください！
明示的なパッキングを有効にしたい場合は、次を追加してください `packing = True` で最大5倍速の学習を有効にできます！
{% hint style="warning" %}
注意 `packing=True` はトレーニング損失を変え、複数の短いシーケンスが1つにパックされるためデータセットの行数が切り詰められることになります。データセットの例数が減るのを確認するかもしれません。
異なるトレーニング損失値を得たくない場合は、単に `packing=False` に設定してください。そうすれば自動のパディングフリーが有効になり、既に学習を高速化します！
{% endhint %}
```python
from unsloth import FastLanguageModel
from trl import SFTTrainer, SFTConfig
model, tokenizer = FastLanguageModel.from_pretrained(
"unsloth/Qwen3-14B",
)
trainer = SFTTrainer(
model = model,
processing_class = tokenizer,
train_dataset = dataset,
args = SFTConfig(
per_device_train_batch_size = 1,
max_length = 4096,
…,
packing = True, # サンプルパッキングを有効にするために必須！
),
)
trainer.train()
```
当社のすべてのノートブックは自動的に高速化されます（何かをする必要はありません）。詳細は [Unslothノートブック](/docs/jp/meru/unsloth-notebooks.md)
{% columns %}
{% column %}
Qwen3 14B の高速化：
{% embed url="" %}
{% endcolumn %}
{% column %}
Llama 3.1 Conversational の高速化：
{% embed url="" %}
{% endcolumn %}
{% endcolumns %}
ありがとうございます！興味があれば、我々の [500K Context Training](/docs/jp/burogu/500k-context-length-fine-tuning.md) ブログ、 [メモリ効率の高いRL](/docs/jp/meru/reinforcement-learning-rl-guide/memory-efficient-rl.md) ブログおよび [Long Context gpt-oss](/docs/jp/moderu/gpt-oss-how-to-run-and-fine-tune/long-context-gpt-oss-training.md) ブログでカーネルや性能向上に関するその他のトピックをご覧ください！
---
# Agent Instructions: Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter:
```
GET https://unsloth.ai/docs/jp/burogu/3x-faster-training-packing.md?ask=
```
The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.