Phi-4 Reasoning: Ausführen & Finetunen

Lerne, Phi-4 Reasoning-Modelle lokal mit Unsloth & unseren Dynamic 2.0-Quants auszuführen und zu finetunen

Microsofts neue Phi-4-Reasoning-Modelle werden jetzt in Unsloth unterstützt. Die 'plus'-Variante liefert Leistung auf Augenhöhe mit OpenAIs o1-mini, o3-mini und Sonnet 3.7. Die 'plus' und Standard-Reasoning-Modelle haben 14B Parameter, während das 'mini' 4B Parameter hat. Alle Phi-4-Reasoning-Uploads verwenden unsere Unsloth Dynamic 2.0 Methodik.

Phi-4 Reasoning - Unsloth Dynamic 2.0 Uploads:

Dynamic 2.0 GGUF (zum Ausführen)	Dynamic 4-bit Safetensor (zum Feinabstimmen/Deployen)
Reasoning-plus (14B) Reasoning (14B) Mini-Reasoning (4B)	Reasoning-plus Reasoning Mini-Reasoning

🖥️ Phi-4 Reasoning ausführen

⚙️ Offiziell empfohlene Einstellungen

Laut Microsoft sind dies die empfohlenen Einstellungen für die Inferenz:

• Temperature = 0.8

• Top_P = 0,95

Phi-4-Reasoning Chat-Vorlagen

Bitte stellen Sie sicher, dass Sie die richtige Chat-Vorlage verwenden, da die 'mini'-Variante eine andere hat.

Phi-4-mini:

<|system|>Ihr Name ist Phi, ein von Microsoft entwickelter KI-Mathematikexperte.<|end|><|user|>Wie löst man 3*x^2+4*x+5=1?<|end|><|assistant|>

Phi-4-reasoning und Phi-4-reasoning-plus:

Dieses Format wird für allgemeine Konversation und Anweisungen verwendet:

<|im_start|>system<|im_sep|>Sie sind Phi, ein von Microsoft trainiertes Sprachmodell, das Nutzern hilft. Ihre Rolle als Assistent beinhaltet das gründliche Erforschen von Fragen durch einen systematischen Denkprozess, bevor Sie die endgültigen präzisen und genauen Lösungen liefern. Dies erfordert die Durchführung eines umfassenden Zyklus aus Analyse, Zusammenfassung, Erkundung, Neubewertung, Reflexion, Rückverfolgung und Iteration, um einen gut durchdachten Denkprozess zu entwickeln. Bitte strukturieren Sie Ihre Antwort in zwei Hauptabschnitte: Thought und Solution unter Verwendung des angegebenen Formats: <think> {Thought-Abschnitt} </think> {Solution-Abschnitt}. Im Thought-Abschnitt beschreiben Sie Ihren Denkprozess schrittweise. Jeder Schritt sollte detaillierte Überlegungen enthalten, wie die Analyse von Fragen, das Zusammenfassen relevanter Befunde, das Entwickeln neuer Ideen, das Überprüfen der Genauigkeit der aktuellen Schritte, das Korrigieren von Fehlern und das Wiederaufnehmen vorheriger Schritte. Im Solution-Abschnitt präsentieren Sie basierend auf verschiedenen Versuchen, Erkundungen und Reflexionen aus dem Thought-Abschnitt systematisch die endgültige Lösung, die Sie für korrekt halten. Der Solution-Abschnitt sollte logisch, genau und prägnant sein und die notwendigen Schritte zur Erreichung der Schlussfolgerung detailliert darstellen. Versuchen Sie nun, die folgende Frage nach den obigen Richtlinien zu lösen:<|im_end|><|im_start|>user<|im_sep|>Was ist 1+1?<|im_end|><|im_start|>assistant<|im_sep|>

Ja, die Chat-Vorlage/Prompt-Format ist wirklich so lang!

🦙 Ollama: Phi-4-Reasoning-Tutorial ausführen

1. Installieren Sie ollama falls du es noch nicht getan hast!

apt-get update
apt-get install pciutils -y
curl -fsSL https://ollama.com/install.sh | sh

1. Führen Sie das Modell aus! Beachten Sie, dass Sie aufrufen können ollama servein einem anderen Terminal, falls es fehlschlägt. Wir fügen alle unsere Fixes und vorgeschlagenen Parameter (Temperatur usw.) hinzu in params in unserem Hugging Face Upload.

ollama run hf.co/unsloth/Phi-4-mini-reasoning-GGUF:Q4_K_XL

📖 Llama.cpp: Phi-4-Reasoning-Tutorial ausführen

Sie müssen --jinja in llama.cpp, um Reasoning für die Modelle zu aktivieren, außer für die 'mini'-Variante. Andernfalls wird kein Token bereitgestellt.

1. Holen Sie sich die neueste llama.cpp auf GitHub hier. Sie können auch den unten stehenden Build-Anweisungen folgen. Ändern Sie -DGGML_CUDA=ON zu -DGGML_CUDA=OFF wenn Sie keine GPU haben oder nur CPU-Inferenz wünschen.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

1. Laden Sie das Modell herunter über (nach Installation von pip install huggingface_hub hf_transfer ). Sie können Q4_K_M oder andere quantisierte Versionen wählen.

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Phi-4-mini-reasoning-GGUF",
    local_dir = "unsloth/Phi-4-mini-reasoning-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

1. Führen Sie das Modell im Konversationsmodus in llama.cpp aus. Sie müssen --jinja in llama.cpp verwenden, um Reasoning für die Modelle zu aktivieren. Dies ist jedoch nicht erforderlich, wenn Sie die 'mini'-Variante verwenden.

./llama.cpp/llama-cli \
    --model unsloth/Phi-4-mini-reasoning-GGUF/Phi-4-mini-reasoning-UD-Q4_K_XL.gguf \
    --threads -1 \
    --n-gpu-layers 99 \
    --prio 3 \
    --temp 0.8 \
    --top-p 0.95 \
    --jinja \
    --min_p 0.00 \
    --ctx-size 32768 \
    --seed 3407

🦥 Feinabstimmung von Phi-4 mit Unsloth

Phi-4 Feinabstimmung für die Modelle werden jetzt ebenfalls in Unsloth unterstützt. Um kostenlos in Google Colab feinzujustieren, ändern Sie einfach den model_name von 'unsloth/Phi-4' zu 'unsloth/Phi-4-mini-reasoning' usw.

• Phi-4 (14B) Feinabstimmungs-Notebook