IBM Granite 4.0

Wie man IBM Granite-4.0 mit Unsloth GGUFs auf llama.cpp, Ollama betreibt und wie man es finetunt!

IBM veröffentlicht Granite-4.0-Modelle in 3 Größen einschließlich Nano (350M & 1B), Micro (3B), Tiny (7B/1B aktiv) und Small (32B/9B aktiv). Auf 15T Token trainiert, ermöglicht IBMs neue Hybrid-(H) Mamba-Architektur, dass Granite-4.0-Modelle schneller mit geringerem Speicherverbrauch laufen.

Erfahren wie man ausführt Unsloth Granite-4.0 Dynamic GGUFs oder das Modell feinabstimmt/RL. Sie können Granite-4.0 feinabstimmen mit unserem kostenlosen Colab-Notebook für einen Support-Agent-Anwendungsfall.

AusführungsanleitungFeinabstimmungsanleitung

Unsloth Granite-4.0 Uploads:

Dynamische GGUFs	Dynamisch 4-Bit + FP8	16-Bit Instruct
H-350M 350M H-1B 1B H-Small H-Tiny H-Micro Micro	Dynamisch 4-Bit Instruct: H-Micro Micro FP8 Dynamisch: H-Small FP8 H-Tiny FP8	H-350M 350M H-1B 1B H-Small H-Tiny H-Micro Micro

Sie können auch unsere Granite-4.0-Sammlung für alle Uploads einschließlich Dynamic Float8-Quants usw. ansehen.

Erklärungen zu Granite-4.0-Modellen:

• Nano und H-Nano: Die 350M- und 1B-Modelle bieten starke Fähigkeit zur Befolgung von Anweisungen und ermöglichen fortgeschrittene On-Device- und Edge-AI sowie Forschungs-/Feinabstimmungsanwendungen.

• H-Small (MoE): Unternehmensarbeitspferd für tägliche Aufgaben, unterstützt mehrere Langkontext-Sitzungen auf Einstiegs-GPUs wie L40S (32B gesamt, 9B aktiv).

• H-Tiny (MoE): Schnell, kosteneffizient für Aufgaben mit hohem Volumen und geringer Komplexität; optimiert für lokale und Edge-Nutzung (7B gesamt, 1B aktiv).

• H-Micro (Dense): Leichtgewichtig, effizient für Arbeitslasten mit hohem Volumen und geringer Komplexität; ideal für lokale und Edge-Bereitstellung (3B gesamt).

• Micro (Dense): Alternative dichte Option, wenn Mamba2 nicht voll unterstützt wird (3B gesamt).

Granite-4.0-Anleitungen ausführen

⚙️ Empfohlene Inferenz-Einstellungen

IBM empfiehlt diese Einstellungen:

temperature=0.0, top_p=1.0, top_k=0

• Temperatur von 0,0

• Top_K = 0

• Top_P = 1,0

• Empfohlener Mindestkontext: 16.384

• Maximale Kontextlänge Fenster: 131.072 (128K Kontext)

Chat-Vorlage:

<|start_of_role|>system<|end_of_role|>Sie sind ein hilfreicher Assistent. Bitte stellen Sie sicher, dass die Antworten professionell, genau und sicher sind.<|end_of_text|>
<|start_of_role|>user<|end_of_role|>Bitte nennen Sie ein IBM-Forschungslabor in den Vereinigten Staaten. Sie sollen nur dessen Namen und Standort ausgeben.<|end_of_text|>
<|start_of_role|>assistant<|end_of_role|>Almaden Research Center, San Jose, Kalifornien<|end_of_text|>

🦙 Ollama: Granite-4.0-Anleitung ausführen

1. Installieren ollama falls Sie es noch nicht getan haben!

apt-get update
apt-get install pciutils -y
curl -fsSL https://ollama.com/install.sh | sh

1. Führen Sie das Modell aus! Beachten Sie, dass Sie aufrufen können ollama servein einem anderen Terminal, wenn es fehlschlägt! Wir fügen alle unsere Fixes und vorgeschlagenen Parameter (Temperatur usw.) in params in unserem Hugging Face-Upload ein! Sie können den Modellnamen 'granite-4.0-h-small-GGUF' in jeden Granite-Modellnamen wie 'granite-4.0-h-micro:Q8_K_XL' ändern.

ollama run hf.co/unsloth/granite-4.0-h-small-GGUF:UD-Q4_K_XL

📖 llama.cpp: Granite-4.0-Anleitung ausführen

1. Beschaffen Sie sich das neueste llama.cpp auf GitHub hier. Sie können auch den unten stehenden Build-Anweisungen folgen. Ändern Sie -DGGML_CUDA=ON zu -DGGML_CUDA=OFF wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. Für Apple Mac / Metal-Geräte, setzen Sie -DGGML_CUDA=OFF und fahren dann wie gewohnt fort - Metal-Unterstützung ist standardmäßig aktiviert.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

1. Wenn Sie llama.cpp direkt zum Laden von Modellen verwenden möchten, können Sie Folgendes tun: (:Q4_K_XL) ist der Quantisierungstyp. Sie können auch über Hugging Face herunterladen (Punkt 3). Dies ähnelt ollama run

./llama.cpp/llama-cli \
    -hf unsloth/granite-4.0-h-small-GGUF:UD-Q4_K_XL

1. ODER laden Sie das Modell herunter via (nach Installation von pip install huggingface_hub hf_transfer ). Sie können Q4_K_M oder andere quantisierte Versionen wählen (wie BF16 Vollpräzision).

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/granite-4.0-h-small-GGUF",
    local_dir = "unsloth/granite-4.0-h-small-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"], # Für Q4_K_M
)

1. Führen Sie Unsloths Flappy Bird-Test aus

2. Bearbeiten --threads 32 für die Anzahl der CPU-Threads, --ctx-size 16384 für die Kontextlänge (Granite-4.0 unterstützt 128K Kontextlänge!), --n-gpu-layers 99 für GPU-Offloading, wie viele Schichten. Versuchen Sie, es anzupassen, wenn Ihre GPU keinen Speicher mehr hat. Entfernen Sie es auch, wenn Sie nur CPU-Inferenz haben.

3. Für den Konversationsmodus:

./llama.cpp/llama-mtmd-cli \
    --model unsloth/granite-4.0-h-small-GGUF/granite-4.0-h-small-UD-Q4_K_XL.gguf \
    --jinja \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    --seed 3407 \
    --prio 2 \
    --temp 0.0 \
    --top-k 0 \
    --top-p 1.0

🐋 Docker: Granite-4.0-Anleitung ausführen

Wenn Sie bereits Docker Desktop haben, müssen Sie nur den folgenden Befehl ausführen und sind fertig:

docker model pull hf.co/unsloth/granite-4.0-h-small-GGUF:UD-Q4_K_XL

🦥 Feinabstimmung von Granite-4.0 in Unsloth

Unsloth unterstützt jetzt alle Granite-4.0-Modelle einschließlich nano, micro, tiny und small für Feinabstimmung. Das Training ist 2x schneller, verwendet 50 % weniger VRAM und unterstützt 6x längere Kontextlängen. Granite-4.0 micro und tiny passen bequem in eine 15GB-VRAM-T4-GPU.

• Granite-4.0 kostenloses Feinabstimmungs-Notebook

• Granite-4.0-350M Feinabstimmungs-Notebook

Dieses Notebook trainiert ein Modell, um ein Support-Agent zu werden, der Kundeninteraktionen versteht, inklusive Analyse und Empfehlungen. Diese Einrichtung ermöglicht es Ihnen, einen Bot zu trainieren, der Support-Agenten in Echtzeit unterstützt.

Wir zeigen Ihnen auch, wie man ein Modell mit Daten trainiert, die in einem Google Sheet gespeichert sind.

Unsloth-Konfiguration für Granite-4.0:

!pip install --upgrade unsloth
from unsloth import FastLanguageModel
import torch
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/granite-4.0-h-micro",
    max_seq_length = 2048,   # Kontextlänge - kann länger sein, verbraucht aber mehr Speicher
    load_in_4bit = True,     # 4bit verbraucht deutlich weniger Speicher
    load_in_8bit = False,    # Etwas genauer, verwendet 2x Speicher
    full_finetuning = False, # Wir haben jetzt Full-Finetuning!
    # token = "hf_...",      # nutzen Sie einen, wenn Sie gated Modelle verwenden
)

Wenn Sie eine alte Version von Unsloth haben und/oder lokal feinabstimmen, installieren Sie die neueste Version von Unsloth:

pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo