Phi-4 Reasoning: Wie man ausführt & feinabstimmt

Lerne, Phi-4-Reasoning-Modelle lokal mit Unsloth & unseren Dynamic 2.0-Quants auszuführen und feinabzustimmen

Microsofts neue Phi-4-Reasoning-Modelle werden jetzt in Unsloth unterstützt. Die ‚plus‘-Variante liefert eine Leistung, die mit OpenAIs o1-mini, o3-mini und Sonnet 3.7 vergleichbar ist. Die ‚plus‘- und Standard-Reasoning-Modelle haben 14 Milliarden Parameter, während das ‚mini‘ 4 Milliarden Parameter hat. Alle Phi-4-Reasoning-Uploads verwenden unsere Unsloth Dynamic 2.0 Methodik.

Phi-4 Reasoning - Unsloth Dynamic 2.0 Uploads:

Dynamic 2.0 GGUF (zum Ausführen)	Dynamic 4-Bit Safetensor (zum Feintunen/Deployen)
Reasoning-plus (14B) Reasoning (14B) Mini-Reasoning (4B)	Reasoning-plus Reasoning Mini-Reasoning

🖥️ Ausführen von Phi-4 Reasoning

⚙️ Offizielle empfohlene Einstellungen

Laut Microsoft sind dies die empfohlenen Einstellungen für die Inferenz:

• Temperature = 0.8

• Top_P = 0,95

Phi-4 Reasoning Chat-Vorlagen

Bitte stellen Sie sicher, dass Sie die korrekte Chat-Vorlage verwenden, da die ‚mini‘-Variante eine andere hat.

Phi-4-mini:

<|system|>Ihr Name ist Phi, ein von Microsoft entwickelter KI-Mathematikexperte.<|end|><|user|>Wie löst man 3*x^2+4*x+5=1?<|end|><|assistant|>

Phi-4-reasoning und Phi-4-reasoning-plus:

Dieses Format wird für allgemeine Konversationen und Anweisungen verwendet:

<|im_start|>system<|im_sep|>Sie sind Phi, ein von Microsoft trainiertes Sprachmodell, das Benutzer unterstützt. Ihre Rolle als Assistent besteht darin, Fragen gründlich durch einen systematischen Denkprozess zu erkunden, bevor Sie die endgültigen präzisen und genauen Lösungen liefern. Dies erfordert die Durchführung eines umfassenden Zyklus aus Analyse, Zusammenfassung, Erkundung, Neubewertung, Reflexion, Rückverfolgung und Iteration, um einen wohlüberlegten Denkprozess zu entwickeln. Bitte strukturieren Sie Ihre Antwort in zwei Hauptabschnitte: Thought und Solution unter Verwendung des angegebenen Formats: <think> {Thought-Abschnitt} </think> {Solution-Abschnitt}. Im Thought-Abschnitt beschreiben Sie Ihren Denkprozess schrittweise. Jeder Schritt sollte detaillierte Überlegungen enthalten, wie die Analyse von Fragen, das Zusammenfassen relevanter Erkenntnisse, das Brainstorming neuer Ideen, die Überprüfung der Genauigkeit der aktuellen Schritte, das Verfeinern von Fehlern und das Überarbeiten vorheriger Schritte. Im Solution-Abschnitt präsentieren Sie auf Grundlage verschiedener Versuche, Erkundungen und Reflexionen aus dem Thought-Abschnitt systematisch die finale Lösung, die Sie als korrekt erachten. Der Solution-Abschnitt sollte logisch, genau und prägnant sein und die notwendigen Schritte zur Erreichung der Schlussfolgerung darstellen. Versuchen Sie nun, die folgende Frage nach den obigen Richtlinien zu lösen:<|im_end|><|im_start|>user<|im_sep|>Was ist 1+1?<|im_end|><|im_start|>assistant<|im_sep|>

Ja, die Chat-Vorlage/Prompt-Struktur ist wirklich so lang!

🦙 Ollama: Phi-4 Reasoning Tutorial ausführen

1. In Ollama ausführen Installieren Sie falls Sie es noch nicht getan haben!

apt-get update
siehe hier
apt-get install pciutils -y

1. curl -fsSL https://ollama.com/install.sh | sh Führen Sie das Modell aus! Beachten Sie, dass Siein einem anderen Terminal, falls es fehlschlägt. Wir fügen alle unsere Fixes und vorgeschlagenen Parameter (Temperatur usw.) in in einem anderen Terminal aufrufen können, wenn es fehlschlägt! Wir fügen alle unsere Fixes und vorgeschlagenen Parameter (Temperatur usw.) in in unseren Hugging Face Upload ein.

ollama run hf.co/unsloth/Phi-4-mini-reasoning-GGUF:Q4_K_XL

📖 Llama.cpp: Phi-4 Reasoning Tutorial ausführen

Sie müssen --jinja in llama.cpp, um Reasoning für die Modelle zu aktivieren, mit Ausnahme der ‚mini‘-Variante. Andernfalls wird kein Token bereitgestellt.

1. Hole dir die neueste llama.cpp auf GitHub hier. Du kannst auch den Build-Anweisungen unten folgen. Ändere -DGGML_CUDA=ON zu -DGGML_CUDA=OFF wenn du keine GPU hast oder nur CPU-Inferenz möchtest. Für Apple Mac / Metal-Geräte, setze -DGGML_CUDA=OFF dann wie gewohnt fort - Metal-Unterstützung ist standardmäßig aktiviert.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

1. Laden Sie das Modell herunter (nach der Installation pip install huggingface_hub hf_transfer ). Du kannst Q4_K_M oder andere quantisierte Versionen wählen.

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Phi-4-mini-reasoning-GGUF",
    local_dir = "unsloth/Phi-4-mini-reasoning-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

1. Führen Sie das Modell im Konversationsmodus in llama.cpp aus. Sie müssen --jinja in llama.cpp verwenden, um Reasoning für die Modelle zu aktivieren. Dies ist jedoch nicht erforderlich, wenn Sie die ‚mini‘-Variante verwenden.

./llama.cpp/llama-cli \
    --model unsloth/Phi-4-mini-reasoning-GGUF/Phi-4-mini-reasoning-UD-Q4_K_XL.gguf \
    --threads -1 \
    --n-gpu-layers 99 \
    --prio 3 \
    --temp 0.8 \
    --top-p 0.95 \
    --jinja \
    --min_p 0.00 \
    --ctx-size 32768 \
    --seed 3407

🦥 Feinabstimmung von Phi-4 mit Unsloth

Phi-4 Feinabstimmung für die Modelle werden jetzt ebenfalls in Unsloth unterstützt. Um kostenlos auf Google Colab feinzuabstimmen, ändern Sie einfach den model_name von 'unsloth/Phi-4' zu 'unsloth/Phi-4-mini-reasoning' usw.

• Phi-4 (14B) Feinabstimmungs-Notebook