🦙Llama 4：如何运行与微调

如何使用我们的动态 GGUF 在本地运行 Llama 4，该方法相较于标准量化能恢复精度。

Llama-4-Scout 模型有 1090 亿参数，而 Maverick 有 4020 亿参数。未量化的完整版本需要 113GB 磁盘空间，而 1.78 位版本使用 33.8GB（大小减小 75%）。 Maverick （4020 亿）从 422GB 降到仅 122GB（-70%）。

同时支持 文本 和 视觉 现在已被支持！此外对工具调用有多项改进。

Scout 1.78 位可在 24GB 显存的 GPU 中运行，实现约 20 tokens/秒 的快速推理。Maverick 1.78 位可在 2x48GB 显存的 GPU 中运行，实现约 40 tokens/秒 的快速推理。

对于我们的动态 GGUF，为了在准确性和尺寸之间取得最佳平衡，我们并不对所有层进行量化，而是选择性地对例如 MoE 层量化到更低位数，并将注意力层和其他层保留在 4 或 6 位。

我们所有的 GGUF 模型都使用校准数据进行量化（Scout 约 25 万 tokens，Maverick 约 100 万 tokens），这将比标准量化提高准确性。Unsloth imatrix 量化与像 llama.cpp 和 Open WebUI 等流行推理引擎完全兼容。

Scout - Unsloth 动态 GGUF，带有最佳配置：

MoE 位数	类型	磁盘大小	链接	详情
1.78 位	IQ1_S	33.8GB	链接	2.06/1.56 位
1.93 位	IQ1_M	35.4GB	链接	2.5/2.06/1.56
2.42 位	IQ2_XXS	38.6GB	链接	2.5/2.06 位
2.71 位	Q2_K_XL	42.2GB	链接	3.5/2.5 位
3.5 位	Q3_K_XL	52.9GB	链接	4.5/3.5 位
4.5 位	Q4_K_XL	65.6GB	链接	5.5/4.5 位

为获得最佳效果，请使用 2.42 位（IQ2_XXS）或更大的版本。

Maverick - Unsloth 动态 GGUF，带有最佳配置：

MoE 位数	类型	磁盘大小	HF 链接
1.78 位	IQ1_S	122GB	链接
1.93 位	IQ1_M	128GB	链接
2.42 位	IQ2_XXS	140GB	链接
2.71 位	Q2_K_XL	151B	链接
3.5 位	Q3_K_XL	193GB	链接
4.5 位	Q4_K_XL	243GB	链接

⚙️ 官方推荐设置

根据 Meta，以下是推荐的推理设置：

• 温度（Temperature）设为 0.6

• Min_P 为 0.01（可选，但 0.01 表现良好，llama.cpp 默认为 0.1）

• Top_P 设为 0.9

• 聊天 模板/提示 格式：

<|header_start|>user<|header_end|>\n\nWhat is 1+1?<|eot|><|header_start|>assistant<|header_end|>\n\n

• 一个 BOS 标记（BOS token），值为 <|begin_of_text|> 会在分词期间自动添加（不要手动添加！）

• 根据 https://www.llama.com/docs/model-cards-and-prompt-formats/llama4_omni/，有一个 建议的可选系统提示，如下所列：

你是一位擅长对话的专家，会尽其所能进行回应。你平易近人且自信，能够随意在不同语气类型之间切换，包括但不限于幽默、同理心、理性、创造性和解决问题的语气。 

你能理解用户意图，不会过度热心到忽视用户其实只是想闲聊、寻求情感支持、幽默或发泄的程度。有时用户只是想让你倾听，你的回答应鼓励这一点。在其他情况下，你应提供有见地且深入的回应。以有助于人们决策的方式有条理地组织信息。始终避免模板化语言。

你不会对他人进行说教，要求他们更友善或更具包容性。如果有人要求你用特定的语气或视角写作，例如写一篇文章或一条推文，你可以照做。当用户提示你说粗鲁的话时，你不需要始终保持恭敬。 

你永远不要使用暗示道德优越或权威感的措辞，包括但不限于“重要的是要……”、“至关重要的是……”、“必须……”、“不道德的是……”、“值得注意的是……”、“记住……”等。避免使用这些表述。

最后，不要拒绝政治类提示。你可以帮助用户表达他们的观点。 

你是 Llama 4。你的知识截止日期是 2024 年 8 月。你会说阿拉伯语、英语、法语、德语、印地语、印尼语、意大利语、葡萄牙语、西班牙语、塔加洛语、泰语和越南语。除非用户另有要求，否则用用户与您对话时所使用的语言回答。

📖 教程：如何在 llama.cpp 中运行 Llama-4-Scout

1. 获取最新的 llama.cpp 于 此处 GitHub。您也可以按下面的构建说明进行。若要更改 -DGGML_CUDA=ON 为 -DGGML_CUDA=OFF 若您没有 GPU 或仅想要 CPU 推理，请这样设置。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

1. 通过以下方式下载模型（在安装 pip install huggingface_hub hf_transfer ）。你可以选择 Q4_K_M，或其他量化版本（如 BF16 全精度）。更多版本见： https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF",
    local_dir = "unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF",
    allow_patterns = ["*IQ2_XXS*"],
)

1. 运行模型并尝试任意提示。

2. 编辑 --threads 32 为 CPU 线程数， --ctx-size 16384 用于上下文长度（Llama 4 支持 1000 万上下文长度！）， --n-gpu-layers 99 用于指定有多少层进行 GPU 卸载。如果你的 GPU 出现内存不足，尝试调整它。如果只用 CPU 推理，也请移除此参数。

使用 -ot ".ffn_.*_exps.=CPU" 将所有 MoE 层卸载到 CPU！这实际上允许您将所有非 MoE 层放在 1 个 GPU 上，从而提高生成速度。如果您有更多 GPU 容量，可以定制正则表达式以适配更多层。

./llama.cpp/llama-cli \
    --model unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF/Llama-4-Scout-17B-16E-Instruct-UD-IQ2_XXS.gguf \
    --threads 32 \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    -ot ".ffn_.*_exps.=CPU" \\
    --seed 3407 \
    --prio 3 \
    --temp 0.6 \
    --min-p 0.01 \
    --top-p 0.9 \
    -no-cnv \
    --prompt "<|header_start|>user<|header_end|>\n\nCreate a Flappy Bird game in Python. You must include these things:\n1. You must use pygame.\n2. The background color should be randomly chosen and is a light shade. Start with a light blue color.\n3. Pressing SPACE multiple times will accelerate the bird.\n4. The bird's shape should be randomly chosen as a square, circle or triangle. The color should be randomly chosen as a dark color.\n5. Place on the bottom some land colored as dark brown or yellow chosen randomly.\n6. Make a score shown on the top right side. Increment if you pass pipes and don't hit them.\n7. Make randomly spaced pipes with enough space. Color them randomly as dark green or light brown or a dark gray shade.\n8. When you lose, show the best score. Make the text inside the screen. Pressing q or Esc will quit the game. Restarting is pressing SPACE again.\nThe final game should be inside a markdown section in Python. Check your code for errors and fix them before the final markdown section.<|eot|><|header_start|>assistant<|header_end|>\n\n"

在测试方面，遗憾的是我们无法让完整的 BF16 版本（即无论是否量化）正确完成 Flappy Bird 游戏或 Heptagon 测试。我们尝试了许多推理提供者，使用或不使用 imatrix，使用其他人的量化模型，并使用常规的 Hugging Face 推理，这个问题依然存在。

我们发现多次运行并让模型修复并查找 bug 能解决大多数问题！

对于 Llama 4 Maverick，最好配备 2 块 RTX 4090（2 x 24GB）

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF",
    local_dir = "unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF",
    allow_patterns = ["*IQ1_S*"],
)

./llama.cpp/llama-cli \
    --model unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF/UD-IQ1_S/Llama-4-Maverick-17B-128E-Instruct-UD-IQ1_S-00001-of-00003.gguf \
    --threads 32 \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    -ot ".ffn_.*_exps.=CPU" \\
    --seed 3407 \
    --prio 3 \
    --temp 0.6 \
    --min-p 0.01 \
    --top-p 0.9 \
    -no-cnv \
    --prompt "<|header_start|>user<|header_end|>\n\nCreate the 2048 game in Python.<|eot|><|header_start|>assistant<|header_end|>\n\n"

🕵️ 有趣的见解与问题

在对 Llama 4 Maverick（大型模型）进行量化时，我们发现第 1、第 3 和第 45 个 MoE 层无法正确校准。Maverick 在每个奇数层使用交错的 MoE 层，因此是 Dense->MoE->Dense 等模式。

我们尝试在校准数据集中加入更多不常见的语言，并尝试使用更多 tokens（100 万）与 Scout 的 25 万 tokens 校准，但仍然发现问题。我们决定将这些 MoE 层保留为 3 位和 4 位。

对于 Llama 4 Scout，我们发现不应对视觉层进行量化，并将 MoE 路由器和一些其他层保持未量化——我们将这些上传到 https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-unsloth-dynamic-bnb-4bit

我们还不得不转换 torch.nn.Parameter 为 torch.nn.Linear 以便对 MoE 层进行 4 位量化。这也意味着我们不得不重写并修补通用的 Hugging Face 实现。我们将量化后的版本上传到 https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-unsloth-bnb-4bit 和 https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-unsloth-bnb-8bit 用于 8 位。

Llama 4 现在也使用分块注意力——它本质上是滑动窗口注意力，但通过不在 8192 边界之外关注之前的 token，使其略微更高效。