IBM Granite 4.0

Wie man IBM Granite-4.0 mit Unsloth-GGUFs in llama.cpp und Ollama ausführt und wie man feinabstimmt!

IBM veröffentlicht Granite-4.0-Modelle mit 3 Größen, darunter Nano (350M & 1B), Micro (3B), Tiny (7B/1B aktiv) und Small (32B/9B aktiv). Auf 15T Tokens trainiert, ermöglicht IBMs neue Hybrid-(H)-Mamba-Architektur, dass Granite-4.0-Modelle schneller und mit geringerem Speicherverbrauch laufen.

Erfahren Sie wie man Unsloth Granite-4.0 Dynamic GGUFs ausführt oder das Modell feinabstimmt/RL. Sie können Granite-4.0 feinabstimmen mit unserem kostenlosen Colab-Notebook für einen Anwendungsfall als Support-Agent.

AusführungstutorialFeinabstimmungstutorial

Unsloth Granite-4.0 Uploads:

Dynamische GGUFs	Dynamisch 4-Bit + FP8	16-Bit-Instruct
H-350M 350M H-1B 1B H-Small H-Tiny H-Micro Micro	Dynamisches 4-Bit-Instruct: H-Micro Micro FP8 dynamisch: H-Small FP8 H-Tiny FP8	H-350M 350M H-1B 1B H-Small H-Tiny H-Micro Micro

Sie können auch unsere Granite-4.0-Sammlung für alle Uploads einschließlich Dynamic Float8 Quants usw. ansehen.

Erklärungen zu Granite-4.0-Modellen:

• Nano und H-Nano: Die Modelle 350M und 1B bieten starke Fähigkeiten zur Befolgung von Anweisungen und ermöglichen fortgeschrittene On-Device- und Edge-KI sowie Forschungs-/Feinabstimmungsanwendungen.

• H-Small (MoE): Arbeitstier für Unternehmen für tägliche Aufgaben, unterstützt mehrere Long-Context-Sitzungen auf Einstiegs-GPUs wie L40S (insgesamt 32B, 9B aktiv).

• H-Tiny (MoE): Schnell, kosteneffizient für Aufgaben mit hohem Volumen und geringer Komplexität; optimiert für lokale und Edge-Nutzung (insgesamt 7B, 1B aktiv).

• H-Micro (Dense): Leichtgewichtig, effizient für Workloads mit hohem Volumen und geringer Komplexität; ideal für lokale und Edge-Bereitstellung (insgesamt 3B).

• Micro (Dense): Alternative dichte Option, wenn Mamba2 nicht vollständig unterstützt wird (insgesamt 3B).

Granite-4.0-Tutorials ausführen

⚙️ Empfohlene Inferenz-Einstellungen

IBM empfiehlt diese Einstellungen:

temperature=0.0, top_p=1.0, top_k=0

• Temperatur von 0,0

• Top_K = 0

• Top_P = 1,0

• Empfohlenes Mindest-Kontextfenster: 16.384

• Maximale Kontextfensterlänge: 131.072 (128K Kontext)

Chat-Vorlage:

<|start_of_role|>system<|end_of_role|>Sie sind ein hilfreicher Assistent. Bitte stellen Sie sicher, dass die Antworten professionell, präzise und sicher sind.<|end_of_text|>
<|start_of_role|>user<|end_of_role|>Bitte nennen Sie ein IBM Research-Labor in den Vereinigten Staaten. Geben Sie nur den Namen und den Standort aus.<|end_of_text|>
<|start_of_role|>assistant<|end_of_role|>Almaden Research Center, San Jose, Kalifornien<|end_of_text|>

🦙 Ollama: Granite-4.0-Tutorial ausführen

1. Installieren Sie ollama falls Sie es noch nicht getan haben!

apt-get update
apt-get install pciutils -y
curl -fsSL https://ollama.com/install.sh | sh

1. Führen Sie das Modell aus! Beachten Sie, dass Sie ollama servein einem anderen Terminal aufrufen können, falls es fehlschlägt! Wir enthalten alle unsere Korrekturen und vorgeschlagenen Parameter (Temperatur usw.) in params in unserem Hugging-Face-Upload! Sie können den Modellnamen 'granite-4.0-h-small-GGUF' in jedes Granite-Modell ändern, z. B. 'granite-4.0-h-micro:Q8_K_XL'.

ollama run hf.co/unsloth/granite-4.0-h-small-GGUF:UD-Q4_K_XL

📖 llama.cpp: Granite-4.0-Tutorial ausführen

1. Holen Sie sich die neueste Version von llama.cpp auf GitHub hier. Sie können auch den untenstehenden Build-Anweisungen folgen. Ändern Sie -DGGML_CUDA=ON in -DGGML_CUDA=OFF wenn Sie keine GPU haben oder einfach nur CPU-Inferenz möchten. Für Apple Mac / Metal-Geräte, setzen Sie -DGGML_CUDA=OFF und fahren Sie dann wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

1. Wenn Sie llama.cpp direkt zum Laden von Modellen verwenden möchten, können Sie Folgendes tun: (:Q4_K_XL) ist der Quantisierungstyp. Sie können auch über Hugging Face herunterladen (Punkt 3). Das ist ähnlich wie ollama run

./llama.cpp/llama-cli \
    -hf unsloth/granite-4.0-h-small-GGUF:UD-Q4_K_XL

1. ODER laden Sie das Modell über herunter (nachdem Sie pip install huggingface_hub hf_transfer installiert haben). Sie können Q4_K_M oder andere quantisierte Versionen wählen (z. B. BF16 Vollpräzision).

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/granite-4.0-h-small-GGUF",
    local_dir = "unsloth/granite-4.0-h-small-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"], # Für Q4_K_M
)

1. Unsloths Flappy-Bird-Test ausführen

2. Bearbeiten Sie --threads 32 für die Anzahl der CPU-Threads, --ctx-size 16384 für die Kontextlänge (Granite-4.0 unterstützt eine Kontextlänge von 128K!), --n-gpu-layers 99 für GPU-Auslagerung auf wie vielen Layern. Versuchen Sie, dies anzupassen, wenn Ihrer GPU der Speicher ausgeht. Entfernen Sie es auch, wenn Sie nur CPU-Inferenz haben.

3. Für den Gesprächsmodus:

./llama.cpp/llama-mtmd-cli \
    --model unsloth/granite-4.0-h-small-GGUF/granite-4.0-h-small-UD-Q4_K_XL.gguf \
    --jinja \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    --seed 3407 \
    --prio 2 \
    --temp 0.0 \
    --top-k 0 \
    --top-p 1.0

🐋 Docker: Granite-4.0-Tutorial ausführen

Wenn Sie bereits Docker Desktop haben, müssen Sie nur den folgenden Befehl ausführen, und dann sind Sie fertig:

docker model pull hf.co/unsloth/granite-4.0-h-small-GGUF:UD-Q4_K_XL

🦥 Granite-4.0 in Unsloth feinabstimmen

Unsloth unterstützt jetzt alle Granite-4.0-Modelle, einschließlich nano, micro, tiny und small, für die Feinabstimmung. Das Training ist 2x schneller, verbraucht 50 % weniger VRAM und unterstützt 6x längere Kontextfenster. Granite-4.0 micro und tiny passen bequem in eine 15-GB-VRAM-T4-GPU.

• Granite-4.0 kostenloses Feinabstimmungs-Notebook

• Granite-4.0-350M Feinabstimmungs-Notebook

Dieses Notebook trainiert ein Modell, damit es ein Support-Agent wird, der Kundeninteraktionen versteht, inklusive Analyse und Empfehlungen. Dieses Setup ermöglicht es Ihnen, einen Bot zu trainieren, der Support-Mitarbeitern Hilfe in Echtzeit bietet.

Wir zeigen Ihnen auch, wie Sie ein Modell mit in einem Google Sheet gespeicherten Daten trainieren.

Unsloth-Konfiguration für Granite-4.0:

!pip install --upgrade unsloth
from unsloth import FastLanguageModel
import torch
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/granite-4.0-h-micro",
    max_seq_length = 2048,   # Kontextlänge – kann länger sein, verwendet aber mehr Speicher
    load_in_4bit = True,     # 4bit benötigt deutlich weniger Speicher
    load_in_8bit = False,    # Etwas genauer, benötigt 2x Speicher
    full_finetuning = False, # Wir haben jetzt vollständiges Finetuning!
    # token = "hf_...",      # verwenden Sie eines, wenn Sie gesperrte Modelle nutzen
)

Wenn Sie eine alte Version von Unsloth haben und/oder lokal feinabstimmen, installieren Sie die neueste Version von Unsloth:

pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo