Phi-4 推理：如何运行与微调

学习如何使用 Unsloth 与我们的 Dynamic 2.0 量化在本地运行与微调 Phi-4 推理模型

Microsoft 的新 Phi-4 推理模型现在在 Unsloth 中受支持。“plus” 变体的表现与 OpenAI 的 o1-mini、o3-mini 和 Sonnet 3.7 不相上下。“plus”和标准推理模型为 14B 参数，而“mini”为 4B 参数。 所有 Phi-4 推理上传都使用我们的 Unsloth Dynamic 2.0 方法论。

Phi-4 推理 - Unsloth Dynamic 2.0 上传：

Dynamic 2.0 GGUF（用于运行）	动态 4-bit Safetensor（用于微调/部署）
Reasoning-plus （14B） Reasoning （14B） Mini-reasoning （4B）	Reasoning-plus Reasoning Mini-reasoning

🖥️ 运行 Phi-4 推理

⚙️ 官方推荐设置

根据 Microsoft，以下是推理的推荐设置：

• Temperature = 0.8

• Top_P = 0.95

Phi-4 推理 聊天模板

请确保使用正确的聊天模板，因为“mini” 变体使用不同的模板。

Phi-4-mini：

<|system|>你的名字是 Phi，一位由 Microsoft 开发的 AI 数学专家。<|end|><|user|>如何解 3*x^2+4*x+5=1？<|end|><|assistant|>

Phi-4-reasoning 和 Phi-4-reasoning-plus：

此格式用于一般对话和指令：

<|im_start|>system<|im_sep|>你是 Phi，一种由 Microsoft 训练的语言模型，用于帮助用户。作为助理，你的角色是在提供最终精确准确解答之前，通过系统化的思考过程彻底探讨问题。这需要通过分析、总结、探索、重新评估、反思、回溯和迭代的全面循环来开展周详的思维过程。请将你的回答结构化为两个主要部分：Thought 和 Solution，使用指定格式：<think> {Thought 部分} </think> {Solution 部分}。在 Thought 部分，按步骤详述你的推理过程。每一步应包含详细考虑，例如分析问题、总结相关发现、头脑风暴新想法、核实当前步骤的准确性、修正任何错误以及回顾先前步骤。在 Solution 部分，基于 Thought 部分中的各种尝试、探索和反思，系统地呈现你认为正确的最终解答。Solution 部分应逻辑清晰、准确简明，并详细说明达到结论所需的必要步骤。现在，请按照上述指南尝试解决以下问题：<|im_end|><|im_start|>user<|im_sep|>1+1 等于多少？<|im_end|><|im_start|>assistant<|im_sep|>

是的，聊天模板/提示格式就是这么长！

🦙 Ollama：运行 Phi-4 推理 教程

1. 安装 ollama 如果你还没有安装！

apt-get update
apt-get install pciutils -y
curl -fsSL https://ollama.com/install.sh | sh

1. 运行模型！注意如果失败你可以在另一个终端调用 ollama serve如果失败，请在另一个终端中重试。我们在 params 我们的 Hugging Face 上传中包含了所有修复和建议的参数（温度等）。

ollama run hf.co/unsloth/Phi-4-mini-reasoning-GGUF:Q4_K_XL

📖 Llama.cpp：运行 Phi-4 推理 教程

您必须使用 --jinja 在 llama.cpp 中为这些模型启用推理，除了“mini” 变体外。否则不会提供任何令牌。

1. 获取最新的 llama.cpp 于 此处 GitHub。您也可以按下面的构建说明进行。若要更改 -DGGML_CUDA=ON 为 -DGGML_CUDA=OFF 若您没有 GPU 或仅想要 CPU 推理，请这样设置。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

1. 通过以下方式下载模型（在安装 pip install huggingface_hub hf_transfer ）。您可以选择 Q4_K_M 或其他量化版本。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Phi-4-mini-reasoning-GGUF",
    local_dir = "unsloth/Phi-4-mini-reasoning-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

1. 在 llama.cpp 中以对话模式运行模型。你必须使用 --jinja 在 llama.cpp 中为这些模型启用推理。但是如果你使用的是“mini” 变体，则不需要此操作。

./llama.cpp/llama-cli \
    --model unsloth/Phi-4-mini-reasoning-GGUF/Phi-4-mini-reasoning-UD-Q4_K_XL.gguf \
    --threads -1 \
    --n-gpu-layers 99 \
    --prio 3 \
    --temp 0.8 \
    --top-p 0.95 \\
    --jinja \
    --min_p 0.00 \
    --ctx-size 32768 \
    --seed 3407

🦥 使用 Unsloth 对 Phi-4 进行微调

Phi-4 微调 这些模型的微调现在也在 Unsloth 中受支持。要在 Google Colab 上免费微调，只需更改 model_name 将 'unsloth/Phi-4' 更改为 'unsloth/Phi-4-mini-reasoning' 等即可。

• Phi-4（14B）微调笔记本