👁️ビジョン ファインチューニング

Unsloth を使ってビジョン/マルチモーダル LLM をファインチューニングする方法を学びます

視覚モデルのファインチューニングにより、物体検出や動きの検出など、通常のLLMでは得意でない特定のタスクでモデルが優れるようになります。 また訓練することもできます 強化学習を用いたVLM. 視覚ファインチューニング用の無料ノートブックを多数用意しています：

• 。 （8B）ビジョン： ノートブック

• Ministral 3：一般的なQ&A向けのビジョンファインチューニング： ノートブック ファインチューニングでベースモデルの能力を忘れさせないように、一般的なQ&Aデータセットをよりニッチなデータセットと連結することができます。

• Gemma 3（4B）ビジョン： ノートブック

• Llama 3.2 Vision レントゲン撮影向けのファインチューニング： ノートブック X線、CTスキャン、超音波の解析を医療専門家がより速く行えるように支援するにはどうすればよいか。

• Qwen2.5 VL 手書き文字をLaTeXに変換するためのファインチューニング： ノートブック これにより複雑な数式を手作業で書くことなく簡単にLaTeXとして書き起こすことができます。

データセットの画像はすべて同じサイズ／寸法に揃えておくのが最適です。学習時間やリソースを過度に消費しないよう、300～1000pxの寸法を使用してください。

ビジョン／テキストのみのファインチューニングの無効化

視覚モデルをファインチューニングする際、どの部分を微調整するか選択できるようになりました。ビジョン層のみ、言語層のみ、またはアテンション／MLP層のみを選択できます！デフォルトではすべて有効になっています！

model = FastVisionModel.get_peft_model(
    model,
    finetune_vision_layers     = True, # ビジョン層をファインチューニングしない場合はFalse
    finetune_language_layers   = True, # 言語層を微調整しない場合は False
    finetune_attention_modules = True, # 注意層を微調整しない場合は False
    finetune_mlp_modules       = True, # MLP 層を微調整しない場合は False

    r = 16,                           # 値が大きいほど精度は上がるが過学習する可能性がある
    lora_alpha = 16,                  # 推奨されるalphaは少なくともrと同じ
    lora_dropout = 0,
    bias = "none",
    random_state = 3407,
    use_rslora = False,               # ランク安定化LoRAをサポートしています
    loftq_config = None,               # およびLoftQ
    target_modules = "all-linear",    # 現在はオプション！必要に応じてリストを指定できます
    modules_to_save=[
        "lm_head",
        "embed_tokens",
    ],
)

ビジョン用データコラレータ

視覚データセット専用の特別なデータコラレータを用意しています：

from unsloth.trainer import UnslothVisionDataCollator
from trl import SFTTrainer, SFTConfig
trainer = SFTTrainer(
    model = model,
    tokenizer = tokenizer,
    data_collator = UnslothVisionDataCollator(model, tokenizer),
    train_dataset = dataset,
    args = SFTConfig(...),
)

そしてデータコラレータの引数は以下の通りです：

def __init__(
self,
# from unsloth.chat_templates import train_on_responses_only
model,
processor,
max_seq_length  = None, # [オプション] これは`FastVisionModel.from_pretrained(max_seq_length = ...)`から自動取得します
formatting_func = None, # テキストを変換するための関数
resize = "min", # (10, 10) や モデルのデフォルト image_size に合わせてリサイズする "min" または "max" を指定できます
                # リサイズを行わず画像をそのままにする場合
ignore_index = -100, # [オプション] デフォルトは -100

# trainer = train_on_responses_only(
#     trainer,
#     instruction_part = "<|start_header_id|>user<|end_header_id|>\n\n",
#     response_part = "<|start_header_id|>assistant<|end_header_id|>\n\n",
train_on_responses_only = False, # LLM 用の train_on_responses_only と同等
# )
instruction_part = None, # train_on_responses_only(instruction_part = ...) と同等
response_part    = None, # train_on_responses_only(response_part = ...) と同等
force_match      = True, # 改行もマッチさせる！
例えば Llama 3.2 Vision の場合：

num_proc         = None, # [オプション] GPU数を自動選択します
completion_only_loss = True, # [オプション] ビジョントークンのパディングを無視します - 常にTrueにすべきです！
pad_to_multiple_of = None, # [オプション] データコラレータのパディング用
resize_dimension = 0, # 0, 1, 'max' または 'min' を指定できます
                      # (max は高さと幅の最大値に基づいてリサイズ、min は最小値、0 は最初の次元など)
snap_to_patch_size = False, # [オプション] 画像をパッチサイズの倍数に強制する
)

ビジョンファインチューニング用データセット

視覚またはマルチモーダルモデルのファインチューニング用データセットは、標準的な質問と回答のペアに似ています datasets 、しかし今回は画像入力も含まれます。例えば、 Llama 3.2 Vision ノートブック では放射線画像のケースを使用して、AIがX線、CTスキャン、超音波検査をより効率的に分析するのにどのように役立てるかを示しています。

ROCO放射線データセットのサンプリング版を使用します。データセットにアクセスできます ここ。データセットには医療状態や疾患を示すX線、CTスキャン、超音波画像が含まれており、各画像には専門家が記述したキャプションがあります。目標はVLMをファインチューニングして医療専門家にとって有用な分析ツールにすることです。

データセットを見て、最初の例が何を示しているか確認しましょう：

Dataset({
    features: ['image', 'image_id', 'caption', 'cui'],
    num_rows: 1978
})

画像	キャプション
	パノラマX線は右後方上顎に骨融解性病変を示し、上顎洞底の吸収を伴います（矢印）。

データセットをフォーマットするには、すべてのビジョンファインチューニングタスクは次のようにフォーマットする必要があります：

[
{ "role": "user",
  "content": [{"type": "text",  "text": instruction}, {"type": "image", "image": image} ]
},
{ "role": "assistant",
  "content": [{"type": "text",  "text": answer} ]
},
]

VLMに専門の放射線技師であるように求めるカスタム指示を作成します。また、単一の指示だけでなく、複数ターンを追加して動的な会話にすることもできます。

instruction = "あなたは専門の放射線技師です。この画像で見えるものを正確に記述してください。"

def convert_to_conversation(sample):
    conversation = [
        { "role": "user",
          "content" : [
            {"type" : "text",  "text"  : instruction},
            {"type" : "image", "image" : sample["image"]} ]
        },
        { "role" : "assistant",
          "content" : [
            {"type" : "text",  "text"  : sample["caption"]} ]
        },
    ]
    return { "messages" : conversation }
pass

データセットをファインチューニングの「正しい」形式に変換しましょう：

converted_dataset = [convert_to_conversation(sample) for sample in dataset]

最初の例は今や以下のように構造化されています：

converted_dataset[0]

{'messages': [{'role': 'user',
   'content': [{'type': 'text',
     'text': 'あなたは専門の放射線技師です。この画像で見えるものを正確に記述してください。'},
    {'type': 'image',
     'image': <PIL.PngImagePlugin.PngImageFile image mode=L size=657x442>}]},
  {'role': 'assistant',
   'content': [{'type': 'text',
     'text': 'パノラマX線は右後方上顎に骨融解性病変を示し、上顎洞底の吸収を伴います（矢印）。'}]}]}

ファインチューニングを行う前に、ビジョンモデルは既に画像の解析方法を知っているかもしれません。それが当てはまるか確認しましょう！

FastVisionModel.for_inference(model) # 推論用に有効化！

image = dataset[0]["image"]
instruction = "あなたは専門の放射線技師です。この画像で見えるものを正確に記述してください。"

messages = [
    {"role": "user", "content": [
        {"type": "image"},
        {"type": "text", "text": instruction}
    ]}
]
input_text = tokenizer.apply_chat_template(messages, add_generation_prompt = True)
inputs = tokenizer(
    image,
    input_text,
    add_special_tokens = False,
    return_tensors = "pt",
).to("cuda")

from transformers import TextStreamer
text_streamer = TextStreamer(tokenizer, skip_prompt = True)
_ = model.generate(**inputs, streamer = text_streamer, max_new_tokens = 128,
                   use_cache = True, temperature = 1.5, min_p = 0.1)

そして結果：

この放射線写真は上下の歯列のパノラマビュー、具体的にはオルソパントモグラム（OPG）のように見えます。

* パノラマX線は正常な歯構造を示しています。
* 右上に放射線透過性の骨領域として表される異常領域があり、それは上顎洞に対応します。

**主な観察点**

* 左上歯間の骨は比較的放射線不透過性です。
* 画像の上部に二つの大きな矢印があり、この領域をより精査する必要があることを示唆しています。矢印の一つは左側に位置し、もう一つは右側に位置しています。ただし、

詳細については、データセットセクションを ノートブックはこちら.

マルチ画像トレーニング

Qwen3-VL のようなVLMをマルチ画像でファインチューニングまたは訓練するために最も簡単な変更は、交換することです

ds_converted = ds.map(
    convert_to_conversation,
)

を次のように：

ds_converted = [convert_to_converation(sample) for sample in dataset]

mapを使用するとデータセットの標準化とArrow処理ルールが適用されますが、これらは厳密で定義がより複雑になる可能性があります。

🔎言語モデルの場合、前述のように

を使用できます。視覚モデルでは、追加の引数を from unsloth.chat_templates import train_on_responses_only UnslothVisionDataCollator の一部として使用してください、以前と同様に！ ちょうど以前と同じように！参照： ビジョン ファインチューニング ビジョン用データコラレータの使用方法の詳細については。

def __init__(
self,
    # from unsloth.chat_templates import train_on_responses_only
    ...
    # trainer = train_on_responses_only(
    #     trainer,
    #     instruction_part = "<|start_header_id|>user<|end_header_id|>\n\n",
    #     response_part = "<|start_header_id|>assistant<|end_header_id|>\n\n",
    train_on_responses_only = False, # LLM 用の train_on_responses_only と同等
    # )
    instruction_part = None, # train_on_responses_only(instruction_part = ...) と同等
    response_part    = None, # train_on_responses_only(response_part = ...) と同等
    force_match      = True, # 改行もマッチさせる！
    例えば Llama 3.2 Vision の場合：
)

UnslothVisionDataCollator(

model, tokenizer,
    train_on_responses_only = True,
    ...
    過学習と過少適合の回避
    instruction_part = "<|start_header_id|>user<|end_header_id|>\n\n",
    response_part = "<|start_header_id|>assistant<|end_header_id|>\n\n",
    ...
)