| パノラマX線写真は、右上顎後方部の骨溶解性病変と、上顎洞底の吸収を示しています（矢印）。 |
データセットを整形するには、すべてのVisionファインチューニングタスクを以下のように整形する必要があります：
```python
[
{ "role": "user",
"content": [{"type": "text", "text": instruction}, {"type": "image", "image": image} ]
},
{ "role": "assistant",
"content": [{"type": "text", "text": answer} ]
},
]
```
VLMが放射線診断の専門家であるようにするカスタム指示を作成します。1つの指示だけでなく、複数ターンを追加して動的な会話にできることにも注目してください。
{% code expandable="true" %}
```notebook-python
instruction = "あなたは放射線診断の専門家です。この画像に見えるものを正確に説明してください。"
def convert_to_conversation(sample):
conversation = [
{ "role": "user",
"content" : [
{"type" : "text", "text" : instruction},
{"type" : "image", "image" : sample["image"]} ]
},
{ "role" : "assistant",
"content" : [
{"type" : "text", "text" : sample["caption"]} ]
},
]
return { "messages" : conversation }
pass
```
{% endcode %}
データセットをファインチューニング用の「正しい」形式に変換しましょう：
```notebook-python
converted_dataset = [convert_to_conversation(sample) for sample in dataset]
```
最初の例は次のように構造化されます：
```notebook-python
converted_dataset[0]
```
{% code overflow="wrap" %}
```
{'messages': [{'role': 'user',
'content': [{'type': 'text',
'text': 'あなたは放射線診断の専門家です。この画像に見えるものを正確に説明してください。'},
{'type': 'image',
'image': }]},
{'role': 'assistant',
'content': [{'type': 'text',
'text': 'パノラマX線写真は、右上顎後方部の骨溶解性病変と、上顎洞底の吸収を示しています（矢印）。'}]}]}
```
{% endcode %}
ファインチューニングを行う前に、もしかするとVisionモデルはすでに画像の分析方法を知っているかもしれません。これが当てはまるか確認しましょう！
{% code expandable="true" %}
```notebook-python
FastVisionModel.for_inference(model) # 推論を有効化！
image = dataset[0]["image"]
instruction = "あなたは放射線診断の専門家です。この画像に見えるものを正確に説明してください。"
messages = [
{"role": "user", "content": [
{"type": "image"},
{"type": "text", "text": instruction}
]}
]
input_text = tokenizer.apply_chat_template(messages, add_generation_prompt = True)
inputs = tokenizer(
image,
input_text,
add_special_tokens = False,
return_tensors = "pt",
).to("cuda")
from transformers import TextStreamer
text_streamer = TextStreamer(tokenizer, skip_prompt = True)
_ = model.generate(**inputs, streamer = text_streamer, max_new_tokens = 128,
use_cache = True, temperature = 1.5, min_p = 0.1)
```
{% endcode %}
そして結果は：
```
このX線写真は、上顎と下顎の歯列全体のパノラマ画像、具体的にはオルソパントモグラム（OPG）と思われます。
* パノラマX線写真は正常な歯科構造を示しています。
* 右上に異常領域があり、これは透過像を示す骨領域として表され、上顎洞に対応しています。
**主な観察点**
* 左上の歯の間の骨は比較的X線不透過性です。
* 画像の上に2本の大きな矢印があり、この領域をより詳しく調べる必要があることを示唆しています。矢印の1本は左側に、もう1本は右側にあります。ただし、
```
詳細については、のデータセットセクションをご覧ください [ノートブックはこちら](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Llama3.2_\(11B\)-Vision.ipynb#scrollTo=vITh0KVJ10qX).
### :mag\_right:視覚モデル、VLMでアシスタント応答のみに学習する
言語モデルでは、 `from unsloth.chat_templates import train_on_responses_only` を前述のとおり使えます。視覚モデルでは、 `UnslothVisionDataCollator` 前と同じです！参照してください [#vision-data-collator](#vision-data-collator "mention") Visionデータコレータの使い方の詳細は
{% code overflow="wrap" %}
```python
class UnslothVisionDataCollator:
def __init__(
self,
...
# from unsloth.chat_templates import train_on_responses_only
# trainer = train_on_responses_only(
# trainer,
# instruction_part = "<|start_header_id|>user<|end_header_id|>\n\n",
# response_part = "<|start_header_id|>assistant<|end_header_id|>\n\n",
# )
train_on_responses_only = False, # LLMではtrain_on_responses_onlyに相当
instruction_part = None, # train_on_responses_only(instruction_part = ...)に相当
response_part = None, # train_on_responses_only(response_part = ...)に相当
force_match = True, # 改行も一致させる！
)
```
{% endcode %}
たとえば Llama 3.2 Vision の場合：
```python
UnslothVisionDataCollator(
model, tokenizer,
...
train_on_responses_only = True,
instruction_part = "<|start_header_id|>user<|end_header_id|>\n\n",
response_part = "<|start_header_id|>assistant<|end_header_id|>\n\n",
...
)
```
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.
Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:
```
GET https://unsloth.ai/docs/jp/ji-chu/vision-fine-tuning.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
