👁️视觉微调

了解如何使用 Unsloth 微调视觉/多模态 LLM

对视觉模型进行微调可以使模型在某些任务上表现出色，而普通大型语言模型在这些任务（如物体/运动检测）上可能不如视觉模型。 你也可以训练 带有强化学习的视觉-语言模型（VLMs）. 我们有许多用于视觉微调的免费笔记本：

• Qwen3-VL （8B）视觉： 笔记本

• Ministral 3：用于通用问答的视觉微调： 笔记本 可以将通用问答数据集与更小众的数据集合并，以使微调时不忘记基础模型的技能。

• Gemma 3（4B）视觉： 笔记本

• Llama 3.2 视觉 ：用于放射影像学的微调： 笔记本 我们如何帮助医疗专业人员更快地分析X光、CT扫描和超声图像。

• Qwen2.5 VL ：用于将手写转换为LaTeX的微调： 笔记本 这使得复杂的数学公式可以轻松转录为LaTeX，而无需手动书写。

最好确保你的数据集中的所有图像具有相同的大小/尺寸。使用300-1000像素的尺寸可确保训练不会花费过多时间或消耗过多资源。

禁用视觉/仅文本微调

为了微调视觉模型，我们现在允许你选择要微调的模型部分。你可以选择仅微调视觉层，或语言层，或注意力/MLP层！默认我们全部开启！

model = FastVisionModel.get_peft_model(
    model,
    finetune_vision_layers     = True, # 如果不微调视觉层则为 False
    finetune_language_layers   = True, # 如果不微调语言层则为 False
    finetune_attention_modules = True, # 如果不微调注意力层则为 False
    finetune_mlp_modules       = True, # 如果不微调 MLP 层则为 False

    r = 16,                           # 值越大，准确度越高，但可能过拟合
    lora_alpha = 16,                  # 建议的 alpha 至少等于 r
    lora_dropout = 0,
    bias = "none",
    random_state = 3407,
    use_rslora = False,               # 我们支持秩稳定的 LoRA
    loftq_config = None,               # 以及 LoftQ
    target_modules = "all-linear",    # 现在可选！如有需要可指定列表
    modules_to_save=[
        "lm_head",
        "embed_tokens",
    ],
)

视觉数据整理器

我们为视觉数据集准备了一个特殊的数据整理器：

from unsloth.trainer import UnslothVisionDataCollator
from trl import SFTTrainer, SFTConfig
trainer = SFTTrainer(
    model = model,
    tokenizer = tokenizer,
    data_collator = UnslothVisionDataCollator(model, tokenizer),
    train_dataset = dataset,
    args = SFTConfig(...),
)

数据整理器的参数如下：

class UnslothVisionDataCollator:
def __init__(
self,
model,
processor,
max_seq_length  = None, # [可选] 我们会从 `FastVisionModel.from_pretrained(max_seq_length = ...)` 自动获取
formatting_func = None, # 用于转换文本的函数
resize = "min", # 可以是 (10, 10) 或 "min"（调整以适配模型默认的 image_size）或 "max"
                # 表示不调整大小并保持图像完整
ignore_index = -100, # [可选] 默认是 -100

# from unsloth.chat_templates import train_on_responses_only
# trainer = train_on_responses_only(
#     trainer,
#     instruction_part = "<|start_header_id|>user<|end_header_id|>\n\n",
#     response_part = "<|start_header_id|>assistant<|end_header_id|>\n\n",
# )
train_on_responses_only = False, # 等同于 LLM 的 train_on_responses_only
instruction_part = None, # 等同于 train_on_responses_only(instruction_part = ...)
response_part    = None, # 等同于 train_on_responses_only(response_part = ...)
force_match      = True, # 也匹配换行！

num_proc         = None, # [可选] 将自动选择 GPU 数量
completion_only_loss = True, # [可选] 忽略视觉填充令牌 - 应始终为 True！
pad_to_multiple_of = None, # [可选] 用于数据整理器的填充
resize_dimension = 0, # 可以是 0、1、'max' 或 'min'
                      # （max 根据高宽的最大值调整，min 根据最小值调整，0 表示第一个维度，等等）
snap_to_patch_size = False, # [可选] 强制图像为补丁大小的倍数
)

视觉微调数据集

用于微调视觉或多模态模型的数据集类似于标准的问题与答案对 数据集 ，但这一次，它们还包含图像输入。例如， Llama 3.2 视觉 笔记本 使用了一个放射影像案例来展示 AI 如何帮助医疗专业人员更高效地分析 X 光、CT 扫描和超声图像。

我们将使用 ROCO 放射影像数据集的抽样版本。你可以访问该数据集 这里。该数据集包含展示医疗状况和疾病的 X 光、CT 扫描和超声图像。每张图像都有专家撰写的描述性标题。目标是微调一个视觉-语言模型，使其成为医疗专业人员有用的分析工具。

让我们看看数据集，并检查第一个示例显示了什么：

Dataset({
    features: ['image', 'image_id', 'caption', 'cui'],
    num_rows: 1978
})

图像	标题
	全景放射影像显示右后上颌存在溶骨性病变，并伴有上颌窦底的吸收（箭头）。

要格式化数据集，所有视觉微调任务应按如下方式格式化：

[
{ "role": "user",
  "content": [{"type": "text",  "text": instruction}, {"type": "image", "image": image} ]
},
{ "role": "assistant",
  "content": [{"type": "text",  "text": answer} ]
},
]

我们将制定一个自定义指令，要求视觉-语言模型成为专家放射技师。注意，除了只使用一条指令外，你还可以添加多轮对话，使其成为动态对话。

instruction = "你是一名专家放射技师。请准确描述你在这张图像中看到的内容。"

def convert_to_conversation(sample):
    conversation = [
        { "role": "user",
          "content" : [
            {"type" : "text",  "text"  : instruction},
            {"type" : "image", "image" : sample["image"]} ]
        },
        { "role" : "assistant",
          "content" : [
            {"type" : "text",  "text"  : sample["caption"]} ]
        },
    ]
    return { "messages" : conversation }
pass

让我们将数据集转换为微调的“正确”格式：

converted_dataset = [convert_to_conversation(sample) for sample in dataset]

第一个示例现在的结构如下：

converted_dataset[0]

{'messages': [{'role': 'user',
   'content': [{'type': 'text',
     'text': 'You are an expert radiographer. Describe accurately what you see in this image.'},
    {'type': 'image',
     'image': <PIL.PngImagePlugin.PngImageFile image mode=L size=657x442>}]},
  {'role': 'assistant',
   'content': [{'type': 'text',
     'text': 'Panoramic radiography shows an osteolytic lesion in the right posterior maxilla with resorption of the floor of the maxillary sinus (arrows).'}]}]}

在我们进行任何微调之前，也许视觉模型已经知道如何分析这些图像？让我们检查是否是这种情况！

FastVisionModel.for_inference(model) # 启用推理模式！

image = dataset[0]["image"]
instruction = "你是一名专家放射技师。请准确描述你在这张图像中看到的内容。"

messages = [
    {"role": "user", "content": [
        {"type": "image"},
        {"type": "text", "text": instruction}
    ]}
]
input_text = tokenizer.apply_chat_template(messages, add_generation_prompt = True)
inputs = tokenizer(
    image,
    input_text,
    add_special_tokens = False,
    return_tensors = "pt",
).to("cuda")

from transformers import TextStreamer
text_streamer = TextStreamer(tokenizer, skip_prompt = True)
_ = model.generate(**inputs, streamer = text_streamer, max_new_tokens = 128,
                   use_cache = True, temperature = 1.5, min_p = 0.1)

结果：

这张放射影像似乎是上下牙列的全景视图，具体为口腔全景片（OPG）。

* 全景放射影像显示正常的牙齿结构。
* 在右上方存在一处异常区域，以一处透亮的骨区表示，对应于上颌窦。

**主要观察**

* 左上牙之间的骨质相对致密（放射性较高）。
* 图像上方有两个大箭头，提示需要对该区域进行更仔细的检查。一个箭头位于左侧，另一个位于右侧。然而，仅有

更多细节请查看我们在 笔记本中的数据集部分.

多图像训练

为了对像 Qwen3-VL 这样的 VLM 进行多图像微调或训练，最直接的更改是替换

ds_converted = ds.map(
    convert_to_conversation,
)

为：

ds_converted = [convert_to_converation(sample) for sample in dataset]

使用 map 会触发数据集标准化和 Arrow 处理规则，这些规则可能更严格且更难定义。

🔎仅在视觉模型（VLMs）上对助理回复进行训练

对于语言模型，我们可以使用 from unsloth.chat_templates import train_on_responses_only 如前所述。对于视觉模型，请在 UnslothVisionDataCollator 中使用额外参数，就像之前一样！参见 视觉微调 以获取有关如何使用视觉数据整理器的更多细节。

class UnslothVisionDataCollator:
def __init__(
    self,
    ...
    # from unsloth.chat_templates import train_on_responses_only
    # trainer = train_on_responses_only(
    #     trainer,
    #     instruction_part = "<|start_header_id|>user<|end_header_id|>\n\n",
    #     response_part = "<|start_header_id|>assistant<|end_header_id|>\n\n",
    # )
    train_on_responses_only = False, # 等同于 LLM 的 train_on_responses_only
    instruction_part = None, # 等同于 train_on_responses_only(instruction_part = ...)
    response_part    = None, # 等同于 train_on_responses_only(response_part = ...)
    force_match      = True, # 也匹配换行！
)

例如对于 Llama 3.2 视觉：

UnslothVisionDataCollator(
    model, tokenizer,
    ...
    train_on_responses_only = True,
    instruction_part = "<|start_header_id|>user<|end_header_id|>\n\n",
    response_part = "<|start_header_id|>assistant<|end_header_id|>\n\n",
    ...
)