> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/meru/fine-tuning-llms-guide/datasets-guide.md).
# データセットガイド
## データセットとは？
LLMにとって、データセットとはモデルの訓練に使えるデータの集まりです。学習に役立てるには、テキストデータはトークナイズできる形式である必要があります。また、あなたはどのように [Unsloth内でデータセットを使うか](#applying-chat-templates-with-unsloth).
データセットを作成するうえで重要な要素の1つは、あなたの [チャットテンプレート](/docs/jp/ji-ben/chat-templates.md) と、それをどのように設計するかです。トークナイゼーションも重要です。なぜなら、テキストをトークンに分割するからです。トークンは単語、サブワード、文字などであり、LLMが効果的に処理できるようになります。これらのトークンはその後埋め込み（embeddings）に変換され、モデルが意味や文脈を理解するのを助けるよう調整されます。
### データ形式
トークナイズのプロセスを可能にするために、データセットはトークナイザーで読み取れる形式である必要があります。
形式 説明 学習タイプ 生コーパス ウェブサイト、本、記事などのソースから得られた生のテキスト。 継続事前学習（CPT） Instruct モデルに従わせたい指示と、目指す出力の例。 教師ありファインチューニング（SFT） 会話 ユーザーとAIアシスタントの複数ターンの会話。 教師ありファインチューニング（SFT） RLHF ユーザーとAIアシスタントの会話で、アシスタントの応答がスクリプト、別のモデル、または人間の評価者によって順位付けされます。 強化学習（RL）
{% hint style="info" %}
これらの各タイプには、異なる形式のスタイルが存在することに注意する価値があります。
{% endhint %}
## はじめに
データを整形する前に、次の点を特定しておきたいです。
{% stepper %}
{% step %} データセットの目的
データセットの目的を知ることで、どのデータが必要か、どの形式を使うべきかを判断しやすくなります。
目的としては、要約のような新しいタスクに合わせてモデルを適応させることや、特定のキャラクターになりきる能力を高めることなどがあります。例えば：
* チャットベースの対話（Q\&A、新しい言語の学習、カスタマーサポート、会話）。
* 構造化タスク（[分類](https://colab.research.google.com/github/timothelaborie/text_classification_scripts/blob/main/unsloth_classification.ipynb)、要約、生成タスク）。
* ドメイン特化データ（医療、金融、技術）。
{% endstep %}
{% step %} 出力のスタイル
出力のスタイルによって、望む出力を実現するためにどのデータソースを使うべきかが分かります。
例えば、目指す出力の種類はJSON、HTML、テキスト、コードなどかもしれません。あるいはスペイン語、英語、ドイツ語などにしたいのかもしれません。
{% endstep %}
{% step %} データソース
必要なデータの目的とスタイルが分かったら、データの品質と [量](#how-big-should-my-dataset-be) を分析する必要があります。Hugging Face と Wikipedia はデータセットの優れたソースであり、特に言語を学習するモデルを訓練したい場合は Wikipedia が有用です。
データのソースはCSVファイル、PDF、あるいはウェブサイトでも構いません。また [合成生成する](#synthetic-data-generation) こともできますが、各例が高品質で関連性があることを নিশ্চিতするために、より慎重な対応が必要です。
{% endstep %}
{% endstepper %}
{% hint style="success" %}
より良いデータセットを作る最善の方法の1つは、ShareGPTのようなHugging Faceのより汎用的なデータセットと組み合わせて、モデルをより賢く、多様にすることです。さらに [合成生成されたデータ](#synthetic-data-generation).
{% endhint %}
## 🦥 Unsloth データレシピ
[Unsloth Data Recipes](/docs/jp/shii/studio/data-recipe.md) は、PDF や CSV ファイルなどの文書をアップロードし、使用可能なデータセットに変換できます。グラフノードのワークフローを通じて、データセットを視覚的に作成・編集します。
レシピページは主な प्रवेश点です。レシピはブラウザ内にローカル保存されるため、保存した作業に後で戻れます。ここから、空のレシピを作成するか、ガイド付き学習レシピを開けます。
Data Recipes も同じ基本的な流れです。レシピページを開き、レシピを作成または選択し、エディタでワークフローを作成し、検証してプレビューを実行し、出力が正しければフルデータセットを実行します。シードデータと生成ブロックを追加し、ワークフローを検証し、サンプル出力をプレビューしてから、フルデータセットの構築を実行します。
一見すると、通常のワークフローは次のようになります:
1. レシピページを開きます。
2. 新しいレシピを作成するか、既存のものを開きます。
3. ブロックを追加して、データセットのワークフローを定義します。
4. クリック **検証** して、設定の問題を早めに見つけます。
5. プレビューを実行して、サンプル行をすばやく確認します。
6. レシピの準備ができたら、フルデータセットのビルドを実行します。
7. 進捗と出力をグラフ上または **実行** ビューで詳細を確認します。
8. Unslothで結果のデータセットを選択し、モデルをファインチューニングします。詳細はこちら：
{% content-ref url="/pages/1efc27ff794b527bf40ca1399ab10a6c28cc4b61" %}
[Data Recipes](/docs/jp/shii/studio/data-recipe.md)
{% endcontent-ref %}
## データの整形
関連する条件を特定し、必要なデータを収集したら、そのデータを学習可能な機械可読形式に整形できます。
### LLM学習でよく使われるデータ形式
損失なしの [**継続事前学習**](/docs/jp/ji-ben/continued-pretraining.md)では、特定の構造を持たない生テキスト形式を使います：
```json
"text": "カルボナーラはローマの伝統的なパスタ料理です。ソースは、生卵にすりおろしたペコリーノ・ロマーノチーズと黒コショウを混ぜて作ります。その後、熱いパスタをカリカリにしたグアンチャーレ（豚の頬肉の塩漬け）と卵の混合物に和え、残った熱でクリーミーなソースを作ります。一般に信じられていることに反して、本場のカルボナーラにクリームやニンニクは入りません。この料理は20世紀半ばのローマで生まれた可能性が高いですが、正確な起源については議論があります..."
```
この形式は自然な言語の流れを保ち、モデルが連続したテキストから学習できるようにします。
モデルを新しいタスクに適応させ、特定の一連の指示に基づいて1ターンでテキストを出力させたい場合は、 **Instruction** 形式を [Alpacaスタイルで](https://docs.unsloth.ai/basics/tutorial-how-to-finetune-llama-3-and-use-in-ollama#id-6.-alpaca-dataset)
```json
"Instruction": "モデルに実行させたいタスク。"
"Input": "任意ですが有用で、本質的にはユーザーのクエリになります。"
"Output": "タスクの期待される結果と、モデルの出力。"
```
複数ターンの会話を行いたい場合は、ShareGPT形式を使えます：
```json
{
"conversations": [
{
"from": "human",
"value": "カルボナーラの作り方を手伝ってくれますか？"
},
{
"from": "gpt",
"value": "伝統的なローマ式レシピがよいですか、それとも簡単な版がよいですか？"
},
{
"from": "human",
"value": "伝統的な版でお願いします"
},
{
"from": "gpt",
"value": "本場のローマ風カルボナーラは、パスタ、グアンチャーレ、卵、ペコリーノ・ロマーノ、黒コショウのわずか数種類の材料だけで作られます。詳しいレシピはいかがですか？"
}
]
}
```
テンプレート形式では "from"/"value" 属性キーを使い、メッセージは `human`と `gpt`の間で交互になります。これにより自然な対話の流れが可能になります。
もう1つの一般的な形式はOpenAIのChatML形式で、Hugging Face のデフォルトでもあります。おそらく最も使われている形式で、 `user` と `assistant`
```
{
"messages": [
{
"role": "user",
"content": "1+1は？"
},
{
"role": "assistant",
"content": "2です！"
},
]
}
```
### UnslothでChatテンプレートを適用する
通常のChatML形式に従うデータセットでは、学習やファインチューニングのためにデータセットを準備するプロセスは、次の4つの簡単なステップで構成されます：
* Unslothが現在サポートしているChatテンプレートを確認してください：\\
```
from unsloth.chat_templates import CHAT_TEMPLATES
print(list(CHAT_TEMPLATES.keys()))
```
\
これにより、Unslothで現在サポートされているテンプレートの一覧が表示されます。以下は出力例です：\\
```
['unsloth', 'zephyr', 'chatml', 'mistral', 'llama', 'vicuna', 'vicuna_old', 'vicuna old', 'alpaca', 'gemma', 'gemma_chatml', 'gemma2', 'gemma2_chatml', 'llama-3', 'llama3', 'phi-3', 'phi-35', 'phi-3.5', 'llama-3.1', 'llama-31', 'llama-3.2', 'llama-3.3', 'llama-32', 'llama-33', 'qwen-2.5', 'qwen-25', 'qwen25', 'qwen2.5', 'phi-4', 'gemma-3', 'gemma3']
```
\\
* 使用 `get_chat_template` トークナイザーに正しいChatテンプレートを適用するには：\\
```
from unsloth.chat_templates import get_chat_template
tokenizer = get_chat_template(
tokenizer,
chat_template = "gemma-3", # これを正しい chat_template 名に変更してください
)
```
\\
* フォーマット関数を定義します。以下は例です：\\
```
def formatting_prompts_func(examples):
convos = examples["conversations"]
texts = [tokenizer.apply_chat_template(convo, tokenize = False, add_generation_prompt = False) for convo in convos]
return { "text" : texts, }
```
\
\
この関数はデータセット全体をループし、定義したChatテンプレートを各サンプルに適用します。\\
* 最後に、データセットを読み込み、必要な変更を適用しましょう： \\
```
# データセットをインポートして読み込む
from datasets import load_dataset
dataset = load_dataset("repo_name/dataset_name", split = "train")
# mapメソッドを使ってデータセットにフォーマット関数を適用する
dataset = dataset.map(formatting_prompts_func, batched = True,)
```
\
データセットがChatMLの "role"/"content" 形式ではなく、ShareGPTの "from"/"value" キーを使っている場合は、 `standardize_sharegpt` 関数を使って最初に変換できます。修正版のコードは次のようになります：\
\\
```
# データセットをインポート
from datasets import load_dataset
dataset = load_dataset("mlabonne/FineTome-100k", split = "train")
# 必要に応じてデータセットを "role"/"content" 形式に変換する
from unsloth.chat_templates import standardize_sharegpt
dataset = standardize_sharegpt(dataset)
# mapメソッドを使ってデータセットにフォーマット関数を適用する
dataset = dataset.map(formatting_prompts_func, batched = True,)
```
### データ整形のQ\&A
**Q:** Alpacaのinstruct形式はどう使えばいいですか？
**A:** データセットがすでにAlpaca形式で整形されている場合は、Llama3.1で示したように整形手順に従ってください [ノートブック ](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Llama3.1_\(8B\)-Alpaca.ipynb#scrollTo=LjY75GoYUCB8)。データをAlpaca形式に変換する必要がある場合は、生データを処理するPythonスクリプトを作成する方法があります。要約タスクに取り組んでいるなら、ローカルLLMを使って各例の指示と出力を生成できます。
**Q:** standardize\_sharegptメソッドは常に使うべきですか？
**A:** targetのデータセットがsharegpt形式で、モデルが代わりにChatML形式を期待している場合にのみ、standardize\_sharegptメソッドを使ってください。
\ **Q:** トークナイザーに付属のapply\_chat\_template関数を使わないのはなぜですか。
**A:** この `chat_template` モデルが最初に元のモデル作成者によってアップロードされたときの属性には、誤りが含まれていることがあり、更新に時間がかかる場合があります。一方、Unslothでは、 `chat_template` 量子化バージョンをリポジトリにアップロードする際、各モデルの `get_chat_template` と `apply_chat_template` メソッドを徹底的に確認し、必要な修正を行っています。また、私たちのメソッドは高度なデータ操作機能を提供しており、Chat Templatesのドキュメントに完全に記載されています [ページ](https://docs.unsloth.ai/basics/chat-templates).
**Q:** Unslothが今のところサポートしていないテンプレートだったらどうすればいいですか？
**A:** unslothのGitHub issueフォーラムに機能要望を投稿してください [フォーラム](https://github.com/unslothai/unsloth)。一時的な回避策として、機能要望が承認されて統合されるまで、トークナイザー本来のapply\_chat\_template関数を使うこともできます。
## 合成データ生成
Llama 3.3 (70B) のようなローカルLLMや OpenAI の GPT 4.5 を使って合成データを生成することもできます。一般的には、最高品質の出力を確保するために Llama 3.3 (70B) のようなより大きなモデルを使う方がよいです。vLLM、Ollama、llama.cpp のような推論エンジンを直接使って合成データを生成することもできますが、それを収集し、さらに多くのデータを促すための手作業が必要になります。合成データには3つの目的があります：
* まったく新しいデータを作る - ゼロから、または既存のデータセットから
* データセットを多様化して、モデルが [過学習](/docs/jp/meru/fine-tuning-llms-guide/lora-hyperparameters-guide.md#avoiding-overfitting-and-underfitting) しすぎて、特定化されすぎないようにする
* 既存データの拡張 例：データセットを自動的に選んだ正しい形式に構造化する
### 合成データにUnslothを使う
Unsloth Studioの [データレシピ](/docs/jp/shii/studio/data-recipe.md) に、構造化されていないデータや構造化データを簡単にアップロードでき、 [自動的に使える / 合成データセットに変換してくれます。詳細は](/docs/jp/shii/studio/data-recipe.md).
### ローカルLLMまたはChatGPTを合成データに使う
目的は、指定した形式のQAデータをモデルに生成・処理させるようプロンプトを与えることです。モデルは、与えられた構造と文脈を学習する必要があるため、少なくとも10個の既存のデータ例を用意してください。プロンプト例：
* **既存データセットに対してさらに対話を生成するプロンプト**:
私が提供したデータセットの例を使って、構造に従い、例に基づいた会話を生成してください。
}]},
{'role': 'assistant',
'content': [{'type': 'text',
'text': 'パノラマX線写真は、右後方上顎に骨の吸収を伴う溶骨性病変を示しています（矢印）。'}]}]}
```
{% endcode %}
ファインチューニングを行う前に、もしかするとVisionモデルはすでに画像の分析方法を知っているかもしれません。これが本当か確認してみましょう！
```notebook-python
FastVisionModel.for_inference(model) # 推論を有効化！
image = dataset[0]["image"]
instruction = "あなたは専門の放射線技師です。この画像に何が写っているかを正確に説明してください。"
messages = [
{"role": "user", "content": [
{"type": "image"},
{"type": "text", "text": instruction}
]}
]
input_text = tokenizer.apply_chat_template(messages, add_generation_prompt = True)
inputs = tokenizer(
image,
input_text,
add_special_tokens = False,
return_tensors = "pt",
).to("cuda")
from transformers import TextStreamer
text_streamer = TextStreamer(tokenizer, skip_prompt = True)
_ = model.generate(**inputs, streamer = text_streamer, max_new_tokens = 128,
use_cache = True, temperature = 1.5, min_p = 0.1)
```
そして結果は次のとおりです：
```
このX線写真は、上顎と下顎の歯列を示すパノラマ画像、具体的にはオルソパントモグラム（OPG）に見えます。
* パノラマX線写真は正常な歯科構造を示しています。
* 右上に異常な領域があり、X線透過性の骨領域として表されており、上顎洞に対応しています。
**主な観察点**
* 左上の歯の間の骨は比較的X線不透過です。
* 画像の上部には2本の大きな矢印があり、この領域をより詳しく調べる必要があることを示しています。1本は左側の位置に、もう1本は右側の位置にあります。ただし、
```
詳細は、 [ノートブックのデータセットセクションをご覧ください](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Llama3.2_\(11B\)-Vision.ipynb#scrollTo=vITh0KVJ10qX).
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:
```
GET https://unsloth.ai/docs/jp/meru/fine-tuning-llms-guide/datasets-guide.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.