💧Liquid LFM2.5：如何运行和微调

在你的设备上本地运行并微调 LFM2.5 Instruct 和 Vision！

Liquid AI 发布 LFM2.5，包括其 指令 以及 视觉 模型。LFM2.5-1.2B-Instruct 是一个 11.7 亿参数的混合推理模型，基于 28T 词元 和 RL 训练，在 10 亿参数规模上为指令跟随、工具使用和 agentic 任务提供同类最佳性能。见 Hugging Face Jobs 关于使用 Codex 训练 LFM！

LFM2.5 可在低于 1GB 内存 的环境下运行，并实现 239 tok/s 在 AMD CPU 上解码。你也可以 微调 它本地运行 使用 Unsloth。

文本 LFM2.5-Instruct视觉 LFM2.5-VL

动态 GGUF	16 位 Instruct
LFM2.5-1.2B-Instruct-GGUF	LFM2.5-1.2B-Instruct

模型规格：

• 参数：11.7 亿

• 架构：16 层（10 个双门控 LIV 卷积块 + 6 个 GQA 块）

• 训练预算：28T 词元

• 上下文长度：32,768 词元

• 词汇表大小: 65,536

• 语言：英语、阿拉伯语、中文、法语、德语、日语、韩语、西班牙语

⚙️ 使用指南

Liquid AI 为推理推荐以下设置：

• temperature = 0.1

• top_k = 50

• top_p = 0.1

• repetition_penalty = 1.05

• 最大上下文长度： 32,768

聊天模板格式

LFM2.5 使用类似 ChatML 的格式：

tokenizer.apply_chat_template([
    {"role": "system", "content": "You are a helpful assistant trained by Liquid AI."},
    {"role": "user", "content": "What is C. elegans?"},
], add_generation_prompt=True, tokenize=False)

LFM2.5 聊天模板：

<|startoftext|><|im_start|>system
You are a helpful assistant trained by Liquid AI.<|im_end|>
<|im_start|>user
What is C. elegans?<|im_end|>
<|im_start|>assistant

工具使用

LFM2.5 支持使用特殊词元进行函数调用 <|tool_call_start|> 以及 <|tool_call_end|>。在系统提示中将工具以 JSON 对象形式提供：

<|startoftext|><|im_start|>system
工具列表：[{"name": "get_weather", "description": "Gets the current weather", "parameters": {"type": "object", "properties": {"city": {"type": "string"}}}}]<|im_end|>
<|im_start|>user
巴黎的天气怎么样？<|im_end|>
<|im_start|>assistant
<|tool_call_start|>[get_weather(city="Paris")]<|tool_call_end|>

🖥️ 运行 LFM2.5-1.2B-Instruct

📖 llama.cpp 教程（GGUF）

1. 构建 llama.cpp

获取最新的 llama.cpp 从 GitHub。更改 -DGGML_CUDA=ON 改为 -DGGML_CUDA=OFF 如果你没有 GPU。 对于 Apple Mac / Metal 设备，设置 -DGGML_CUDA=OFF 然后像平常一样继续——Metal 支持默认开启。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-server
cp llama.cpp/build/bin/llama-* llama.cpp

2. 直接从 Hugging Face 运行

./llama.cpp/llama-cli \
    -hf LiquidAI/LFM2.5-1.2B-Instruct-GGUF:Q4_K_M \\
    --jinja --ctx-size 32768 \\
    --temp 0.1 --top-k 50 --top-p 0.1 --repeat-penalty 1.05

3. 或者先下载模型

import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id="LiquidAI/LFM2.5-1.2B-Instruct-GGUF",
    local_dir="LiquidAI/LFM2.5-1.2B-Instruct-GGUF",
    allow_patterns=["*Q4_K_M*"],
)

4. 在对话模式下运行

./llama.cpp/llama-cli \
    --model LiquidAI/LFM2.5-1.2B-Instruct-GGUF/LFM2.5-1.2B-Instruct-Q4_K_M.gguf \\
    --ctx-size 32768 \\
    --n-gpu-layers 99 \\
    --seed 3407 \\
    --prio 2 \\
    --temp 0.1 \\
    --top-k 50 \\
    --top-p 0.1 \\
    --repeat-penalty 1.05 \\
    --jinja

🦥 使用 Unsloth 微调 LFM2.5

Unsloth 支持对 LFM2.5 模型进行微调。1.2B 模型可以轻松在免费的 Colab T4 GPU 上运行。训练速度快 2 倍，显存占用减少 50%。

免费 Colab 笔记本：

• LFM2.5-1.2B-Instruct SFT LoRA 笔记本

• LFM2.5-1.2B-Instruct GRPO LoRA 笔记本

• LFM2.5-1.2B-Base 继续预训练（文本补全）笔记本

• LFM2.5-1.2B-Base 继续预训练（翻译）笔记本

建议将 LFM2.5 用于 agentic 任务、数据提取、RAG 和工具使用。不建议用于知识密集型任务或编程。

LFM2.5 的 Unsloth 配置

from unsloth import FastLanguageModel
import torch

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="LiquidAI/LFM2.5-1.2B-Instruct",
    max_seq_length=4096,
    load_in_4bit=False,
)

model = FastLanguageModel.get_peft_model(
    model,
    r=16,
    target_modules = ["q_proj", "k_proj", "v_proj", "out_proj", "in_proj",
                      "w1", "w2", "w3"],
    lora_alpha=16,
    lora_dropout=0,
    bias="none",
    use_gradient_checkpointing="unsloth",
    random_state=3407,
)

训练设置

from trl import SFTTrainer
from transformers import TrainingArguments
from unsloth import is_bfloat16_supported

trainer = SFTTrainer(
    model=model,
    tokenizer=tokenizer,
    train_dataset=dataset,
    dataset_text_field="text",
    max_seq_length=4096,
    dataset_num_proc=2,
    packing=False,
    args=TrainingArguments(
        per_device_train_batch_size=2,
        gradient_accumulation_steps=4,
        warmup_steps=5,
        max_steps=60,
        learning_rate=2e-4,
        fp16=not is_bfloat16_supported(),
        bf16=is_bfloat16_supported(),
        logging_steps=1,
        optim="adamw_8bit",
        weight_decay=0.01,
        lr_scheduler_type="linear",
        seed=3407,
        output_dir="outputs",
    ),
)

trainer.train()

保存与导出

# 保存 LoRA 适配器
model.save_pretrained("lfm25_lora")
tokenizer.save_pretrained("lfm25_lora")

# 合并并保存为 16 位
model.save_pretrained_merged("lfm25_merged", tokenizer, save_method="merged_16bit")

# 导出为 GGUF
model.save_pretrained_gguf("lfm25_gguf", tokenizer, quantization_method="q4_k_m")

🎉 llama-server 提供服务与部署

要使用兼容 OpenAI 的 API 将 LFM2.5 部署到生产环境：

./llama.cpp/llama-server \
    --model LiquidAI/LFM2.5-1.2B-Instruct-GGUF/LFM2.5-1.2B-Instruct-Q4_K_M.gguf \\
    --alias "LiquidAI/LFM2.5-1.2B-Instruct" \\
    --threads -1 \\
    --n-gpu-layers 99 \\
    --ctx-size 32768 \\
    --port 8001 \
    --temp 0.1 \\
    --top-k 50 \\
    --top-p 0.1 \\
    --repeat-penalty 1.05 \\
    --jinja

使用 OpenAI 客户端测试：

from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:8001/v1",
    api_key="sk-no-key-required",
)

completion = client.chat.completions.create(
    model="LiquidAI/LFM2.5-1.2B-Instruct",
    messages=[{"role": "user", "content": "What is 2+2?"}],
)
print(completion.choices[0].message.content)

📊 基准测试

LFM2.5-1.2B-Instruct 在 10 亿参数规模上提供同类最佳性能，并以低内存占用提供快速 CPU 推理：

💧 Liquid LFM2.5-1.2B-VL 指南

LFM2.5-VL-1.6B 是建立在其上的视觉 LLM LFM2.5-1.2B-Base 并针对更强的真实世界性能进行了调优。你现在可以 微调 它本地运行，使用 Unsloth。

运行教程微调教程

动态 GGUF	16 位 Instruct
LFM2.5-VL-1.6B-GGUF	LFM2.5-VL-1.6B

模型规格：

• LM 主干：LFM2.5-1.2B-Base

• 视觉编码器：SigLIP2 NaFlex 形状优化版 400M

• 上下文长度：32,768 词元

• 词汇表大小: 65,536

• 语言：英语、阿拉伯语、中文、法语、德语、日语、韩语和西班牙语

• 原生分辨率处理：可处理最高 512×512 像素的图像而无需放大，并在不失真的情况下保留非标准宽高比

• 切块策略：将大图像拆分为不重叠的 512×512 图块，并包含用于全局上下文的缩略图编码

• 推理时灵活性：用户可调节最大图像词元和图块数量，在无需重新训练的情况下权衡速度与质量

⚙️ 使用指南

Liquid AI 为推理推荐以下设置：

• 文本: temperature=0.1, min_p=0.15, repetition_penalty=1.05

• 视觉：min_image_tokens=64, max_image_tokens=256, do_image_splitting=True

聊天模板格式

LFM2.5-VL 使用类似 ChatML 的格式：

tokenizer.apply_chat_template([
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "What's in this image?"}
        ]
    },
    {"role": "assistant", "content": "我可以看到一只猫坐在沙发上。"}
], tokenize=False)

LFM2.5-VL 聊天模板：

<|startoftext|><|im_start|>system
你是 Liquid AI 提供的一个有帮助的多模态助手。<|im_end|>
<|im_start|>user
<image>描述这张图片。<|im_end|>
<|im_start|>assistant
这张图片显示了一条秀丽隐杆线虫（C. elegans）线虫。<|im_end|>

🖥️ 运行 LFM2.5-VL-1.6B

📖 llama.cpp 教程（GGUF）

1. 构建 llama.cpp

从以下位置获取最新的 llama.cpp GitHub。更改 -DGGML_CUDA=ON 改为 -DGGML_CUDA=OFF 如果你没有 GPU。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-server
cp llama.cpp/build/bin/llama-* llama.cpp

2. 直接从 Hugging Face 运行

./llama.cpp/llama-cli \
  -hf LiquidAI/LFM2.5-VL-1.6B-GGUF:Q4_0 \\
  --image test_image.jpg \\
  --image-max-tokens 64 \\
  -p "图片里有什么？" \\
  -n 128

🦥 使用 Unsloth 微调 LFM2.5-VL

Unsloth 支持对 LFM2.5 模型进行微调。1.6B 模型可以轻松在免费的 Colab T4 GPU 上运行。训练速度快 2 倍，显存占用减少 50%。

免费 Colab 笔记本：

• LFM2.5-VL-1.6B SFT LoRA 笔记本

LFM2.5 的 Unsloth 配置

from unsloth import FastVisionModel
import torch

model, tokenizer = FastVisionModel.from_pretrained(
    model_name = "LiquidAI/LFM2.5-VL-1.6B",
    max_seq_length = 4096, 
    load_in_4bit = False, 
)

model = FastVisionModel.get_peft_model(
    model,
    finetune_vision_layers     = False, # 目前先设为 False
    finetune_language_layers   = True, # 如果不微调语言层则为 False
    finetune_attention_modules = True, # 如果不微调注意力层则为 False
    finetune_mlp_modules       = True, # 如果不微调 MLP 层则为 False
    r = 16,         
    lora_alpha = 16,
    lora_dropout = 0,
    bias = "none",
)

训练设置

from unsloth.trainer import UnslothVisionDataCollator
from trl import SFTTrainer, SFTConfig

FastVisionModel.for_training(model) # 启用训练！

trainer = SFTTrainer(
    model = model,
    tokenizer = tokenizer,
    data_collator = UnslothVisionDataCollator(model, tokenizer), # 必须使用！
    train_dataset = converted_dataset,
    args = SFTConfig(
        per_device_train_batch_size = 2,
        gradient_accumulation_steps = 4,
        warmup_steps = 5,
        max_steps = 30,# num_train_epochs = 1, # 全量训练时改用这个而不是 max_steps
        learning_rate = 2e-4,
        logging_steps = 1,
        optim = "adamw_8bit",
        weight_decay = 0.001,
        lr_scheduler_type = "linear",
        seed = 3407,
        output_dir = "outputs",
        report_to = "none",     # 用于 Weights and Biases
        remove_unused_columns = False,
        dataset_text_field = "",
        dataset_kwargs = {"skip_prepare_dataset": True},
        max_length = 2048,
    ),
)

trainer.train()

保存与导出

# 保存 LoRA 适配器
model.save_pretrained("lfm25_lora")
tokenizer.save_pretrained("lfm25_lora")

# 合并并保存为 16 位
model.save_pretrained_merged("lfm25_merged", tokenizer, save_method="merged_16bit")

# 导出为 GGUF
model.save_pretrained_gguf("lfm25_gguf", tokenizer, quantization_method="q4_k_m")

📊 基准测试

LFM2.5-VL-1.6B 提供同类最佳性能：

模型	MMStar	MM-IFEval	BLINK	InfoVQA（验证集）	OCRBench（v2）	RealWorldQA	MMMU（验证集）	MMMB（平均）	多语言 MMBench（平均）
LFM2.5-VL-1.6B	50.67	52.29	48.82	62.71	41.44	64.84	40.56	76.96	65.90
LFM2-VL-1.6B	49.87	46.35	44.50	58.35	35.11	65.75	39.67	72.13	60.57
InternVL3.5-1B	50.27	36.17	44.19	60.99	33.53	57.12	41.89	68.93	58.32
FastVLM-1.5B	53.13	24.99	43.29	23.92	26.61	61.56	38.78	64.84	50.89

📚 资源

• Liquid AI 博客文章

• LFM2 技术报告（arXiv）

• Liquid AI 文档

• Liquid Playground