Phi-4 推論：実行＆ファインチューニング

Unsloth と当社の Dynamic 2.0 量子化を使って Phi-4 推論モデルをローカルで実行およびファインチューニングする方法を学びます。

Microsoft の新しい Phi-4 リーズニングモデルは現在 Unsloth でサポートされています。「plus」バリアントは OpenAI の o1-mini、o3-mini、および Sonnet 3.7 と同等の性能を発揮します。「plus」と標準のリーズニングモデルは 14B パラメータで、「mini」は 4B パラメータです。 すべての Phi-4 リーズニングのアップロードは当社の Unsloth Dynamic 2.0 手法を使用しています。

Phi-4 リーズニング - Unsloth Dynamic 2.0 アップロード:

Dynamic 2.0 GGUF（実行用）	Dynamic 4-bit Safetensor（ファインチューニング/デプロイ用）
Reasoning-plus （14B） 推論（Reasoning） （14B） ミニ・リーズニング （4B）	Reasoning-plus 推論（Reasoning） ミニ・リーズニング

🖥️ Phi-4 リーズニングを実行する

⚙️ 公式推奨設定

Microsoft によると、推論の推奨設定は次のとおりです：

• Temperature = 0.8

• Top_P = 0.95

Phi-4 リーズニング チャットテンプレート

「mini」バリアントは異なるテンプレートを持っているため、正しいチャットテンプレートを使用していることを確認してください。

Phi-4-mini：

<|system|>あなたの名前は Phi、Microsoft によって開発された AI 数学専門家です。<|end|><|user|>3*x^2+4*x+5=1 をどのように解きますか？<|end|><|assistant|>

Phi-4-reasoning および Phi-4-reasoning-plus：

この形式は一般的な会話や指示に使用されます：

<|im_start|>system<|im_sep|>あなたは Phi であり、Microsoft によって訓練された言語モデルとしてユーザーを支援します。アシスタントとしてのあなたの役割は、最終的な正確で精密な解答を提供する前に、体系的な思考プロセスを通じて質問を徹底的に検討することです。これには、分析、要約、探索、再評価、反省、追跡、反復といった包括的なサイクルに従って思考プロセスを展開することが必要です。応答は指定された形式で「Thought」と「Solution」の二つの主要なセクションに構成してください：<think> {Thought セクション} </think> {Solution セクション}。Thought セクションでは、ステップごとにあなたの推論過程を詳細に記述してください。各ステップには、質問の分析、関連する発見の要約、新しいアイデアのブレインストーミング、現在のステップの正確性の検証、誤りの修正、過去のステップの見直しなどの詳細な考慮事項を含めてください。Solution セクションでは、Thought セクションでの様々な試行、探索、反省に基づき、最終的に正しいと判断した解答を体系的に提示してください。Solution セクションは論理的で正確かつ簡潔であり、結論に至るために必要な手順を詳述してください。では、上記のガイドラインに従って以下の質問を解いてください：<|im_end|><|im_start|>user<|im_sep|>1+1 はいくつですか？<|im_end|><|im_start|>assistant<|im_sep|>

はい、このチャットテンプレート／プロンプト形式はこれほど長いです！

🦙 Ollama: Phi-4 リーズニング チュートリアルを実行

1. インストールしてください ollama まだの場合はぜひ！

apt-get update
apt-get install pciutils -y
curl -fsSL https://ollama.com/install.sh | sh

1. モデルを実行してください！失敗した場合は別の端末で ollama serve失敗した場合は別のターミナルで実行してください。私たちのすべての修正と推奨パラメータ（temperature など）は params 私たちの Hugging Face アップロードに含まれています。

ollama run hf.co/unsloth/Phi-4-mini-reasoning-GGUF:Q4_K_XL

📖 Llama.cpp: Phi-4 リーズニング チュートリアルを実行

次を使用する必要があります --jinja llama.cpp でモデルのリーズニングを有効にするには、'mini' バリアントを除きトークンが提供されることを期待してください。さもなければトークンは提供されません。

1. 最新の llama.cpp を GitHub で入手できます。下のビルド手順に従うこともできます。変更してください -DGGML_CUDA=ON から -DGGML_CUDA=OFF GPU がない場合や CPU 推論のみを行いたい場合は。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

1. （以下をインストールした後に）モデルをダウンロードします pip install huggingface_hub hf_transfer ）。Q4_K_M やその他の量子化バージョンを選択できます。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Phi-4-mini-reasoning-GGUF",
    local_dir = "unsloth/Phi-4-mini-reasoning-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

1. llama.cpp で会話モードでモデルを実行します。必ず次を使用してください --jinja llama.cpp でモデルのリーズニングを有効にするにはこれを使用してください。これは 'mini' バリアントを使用している場合は必要ありません。

./llama.cpp/llama-cli \
    --model unsloth/Phi-4-mini-reasoning-GGUF/Phi-4-mini-reasoning-UD-Q4_K_XL.gguf \
    --threads -1 \\
    --n-gpu-layers 99 \
    --prio 3 \
    --temp 0.8 \
    --top-p 0.95 \
    --jinja \
    --min_p 0.00 \
    --ctx-size 32768 \\
    --seed 3407

🦥 Unsloth での Phi-4 ファインチューニング

Phi-4 ファインチューニング モデルのファインチューニングも現在 Unsloth でサポートされています。Google Colab で無料でファインチューニングするには、単に model_name を 'unsloth/Phi-4' から 'unsloth/Phi-4-mini-reasoning' などに変更してください。

• Phi-4（14B）ファインチューニング ノートブック