IBM Granite 4.1 - So lokal ausführen

Führe IBM Granite-4.1 mit Unsloth GGUFs aus und erfahre, wie man feinabstimmt!

IBM veröffentlicht Granite-4.1-Modelle in 3 Größen: 3B, 8B und 30B. Granite-4.1 ist eine dichte Modellfamilie mit langem Kontext, entwickelt für Anweisungsbefolgung, Tool-Aufrufe, Chat-, RAG- und Coding-Anwendungsfälle. Die Modelle sind für ihre Größen sehr konkurrenzfähig und wurden mit 15T Tokens trainiert.

Erfahren Sie, wie Sie Unsloth Granite-4.1 Dynamic GGUFs ausführen oder das Modell feinabstimmen/RL trainieren. Sie können Granite-4.1 mit unserem kostenlosen Notebook für einen Support-Agenten-Anwendungsfall feinabstimmen.

Modellfamilie Granite-4.1:

• Granite-4.1-3B Dense: Leichtgewichtig und effizient für lokale, Edge- und Aufgaben mit hohem Volumen. Großartig für schnelle Klassifizierung, Extraktion, einfaches RAG, Funktionsaufrufe und Fine-Tuning auf kleineren GPUs.

• Granite-4.1-8B Dense: Ein ausgewogenes Modell für lokale Assistenten, RAG, Coding, mehrsprachigen Chat und Tool-Nutzungs-Workflows. Dies ist eine großartige Standardwahl, wenn Sie eine höhere Qualität wünschen und gleichzeitig die Speichernutzung praktikabel halten wollen.

• Granite-4.1-30B Dense: Das stärkste Granite-4.1-Modell. Am besten für anspruchsvollere Enterprise-Assistenten, Aufgaben mit langem Kontext, komplexes RAG, Coding, mehrsprachige Workflows und agentische Tool-Calling-Anwendungsfälle.

⚙️ Nutzungsanleitung

Verwenden Sie diese Einstellungen für deterministische, den Anweisungen folgende Antworten:

temperature=0.0, top_p=1.0, top_k=0

• Temperatur von 0.0

• Top_K = 0

• Top_P = 1.0

• Empfohlener Mindestkontext: 16,384

• Maximales Kontextlängenfenster: 131,072 Tokens

Unsloth Granite-4.1-Uploads

• unsloth/granite-4.1-3b-GGUF

• unsloth/granite-4.1-8b-GGUF

• unsloth/granite-4.1-30b-GGUF

Granite-4.1-Tutorials ausführen

In Unsloth Studio ausführenIn llama.cpp ausführen

Verwenden Sie NICHT CUDA 13.2 da Sie sonst Kauderwelsch-Ausgaben erhalten könnten. NVIDIA arbeitet an einer Lösung.

🦥 Unsloth Studio-Anleitung

Für dieses Tutorial verwenden wir Unsloth Studio, unsere neue Web-UI zum Ausführen und Trainieren von LLMs. Mit Unsloth Studio können Sie Modelle ausführen und Audio, Bild und Text lokal auf Mac, Windows, und Linux und:

• Suchen, herunterladen, GGUFs ausführen und Safetensor-Modelle

• Modelle vergleichen nebeneinander

• Selbstheilende Tool-Aufrufe + Websuche

• Code-Ausführung (Python, Bash)

• Automatische Inferenz Parametertuning (Temp, Top-P usw.)

• LLMs trainieren 2x schneller mit 70 % weniger VRAM

1

Unsloth installieren

macOS, Linux, WSL:

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell:

irm https://unsloth.ai/install.ps1 | iex

2

Unsloth Studio einrichten (einmalig)

Das Setup installiert automatisch Node.js (über nvm), baut das Frontend, installiert alle Python-Abhängigkeiten und baut llama.cpp mit CUDA-Unterstützung.

WSL-Benutzer: Sie werden zur Eingabe Ihres sudo Passworts aufgefordert, um Build-Abhängigkeiten zu installieren (cmake, git, libcurl4-openssl-dev).

3

Unsloth starten

macOS, Linux, WSL:

source unsloth_studio/bin/activate
unsloth studio -H 0.0.0.0 -p 8888

Windows PowerShell:

& .\unsloth_studio\Scripts\unsloth.exe studio -H 0.0.0.0 -p 8888

Dann öffnen Sie http://localhost:8888 in Ihrem Browser.

4

Granite 4.1 suchen und herunterladen

Beim ersten Start müssen Sie ein Passwort erstellen, um Ihr Konto zu sichern, und sich später erneut anmelden. Gehen Sie dann zum Unsloth Chat Tab und suchen Sie in der Suchleiste nach Granite 4.1 und laden Sie das gewünschte Modell und die gewünschte Quantisierung herunter.

5

Granite 4.1 ausführen

Die Inferenzparameter sollten bei Verwendung von Unsloth Studio automatisch gesetzt werden, Sie können sie jedoch weiterhin manuell ändern. Sie können auch die Kontextlänge, das Chat-Template und andere Einstellungen bearbeiten.

Weitere Informationen finden Sie in unserer Unsloth-Studio-Inferenzanleitung.

🦙 Llama.cpp-Tutorial

1. Holen Sie sich die neueste llama.cpp. Sie können auch den folgenden Build-Anweisungen folgen. Ändern Sie -DGGML_CUDA=ON zu -DGGML_CUDA=OFF wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. Für Apple-Mac-/Metal-Geräte setzen Sie -DGGML_CUDA=OFF und dann wie gewohnt fortfahren — Metal-Unterstützung ist standardmäßig aktiviert.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

1. Wenn Sie llama.cpp um Modelle direkt zu laden, können Sie Folgendes tun. UD-Q4_K_XL ist der Quantisierungstyp. Sie können ihn auch auf andere quantisierte Versionen ändern, wie z. B. Q4_K_M, Q5_K_M, Q8_0 oder BF16-Vollpräzision, falls verfügbar.

./llama.cpp/llama-cli \\
    -hf unsloth/granite-4.1-30b-GGUF:UD-Q4_K_XL

1. ODER laden Sie das Modell über Hugging Face herunter, nachdem Sie huggingface_hub und hf_transfer.

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"

from huggingface_hub import snapshot_download

snapshot_download(
    repo_id = "unsloth/granite-4.1-30b-GGUF",
    local_dir = "unsloth/granite-4.1-30b-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

1. Führen Sie Unsloths Flappy-Bird-Test aus.

./llama.cpp/llama-cli \\
    --model unsloth/granite-4.1-30b-GGUF/granite-4.1-30b-UD-Q4_K_XL.gguf \\
    --n-gpu-layers 99 \
    --seed 3407 \\
    --prio 2 \\
    --temp 0.0 \\
    --top-k 0 \
    --top-p 1.0 \\
    -p "Erstelle eine ein-Datei-Python-Pygame-Implementierung von Flappy Bird."

Bearbeiten --threads 32 für die Anzahl der CPU-Threads, --ctx-size 16384 für die Kontextlänge, und --n-gpu-layers 99 für GPU-Offloading. Versuchen Sie, die GPU-Layer anzupassen, falls Ihrer GPU der Speicher ausgeht. Entfernen Sie --n-gpu-layers wenn Sie nur CPU-Inferenz verwenden.

1. Für den Konversationsmodus:

./llama.cpp/llama-cli \\
    --model unsloth/granite-4.1-30b-GGUF/granite-4.1-30b-UD-Q4_K_XL.gguf \\
    --conversation \\
    --n-gpu-layers 99 \
    --seed 3407 \\
    --prio 2 \\
    --temp 0.0 \\
    --top-k 0 \
    --top-p 1.0

Fine-Tuning von Granite-4.1 in Unsloth

Unsloth unterstützt Granite-4.1-Modelle einschließlich 3B, 8B und 30B für Fine-Tuning. Das Training ist 2x schneller, benötigt weniger VRAM und unterstützt längere Kontextlängen. Granite-4.1-3B und Granite-4.1-8B sind die besten Ausgangspunkte für lokales Fine-Tuning, während Granite-4.1-30B das stärkste Modell für Enterprise-Workflows mit höherer Genauigkeit ist.

• Granite-4.0 kostenloses Fine-Tuning-Notebook (Modellnamen in Granite-4.1 ändern)

Dieses Notebook trainiert ein Modell so, dass es ein Support-Agent wird, der Kundeninteraktionen versteht, einschließlich Analyse und Empfehlungen. Dieses Setup ermöglicht es Ihnen, einen Bot zu trainieren, der Support-Agenten in Echtzeit unterstützt. Wir zeigen Ihnen auch, wie Sie ein Modell mit Daten trainieren, die in einem Google Sheet gespeichert sind.

Unsloth-Konfiguration für Granite-4.1

Wenn Sie eine alte Version von Unsloth haben und/oder lokal feinabstimmen, installieren Sie die neueste Version von Unsloth:

!pip install --upgrade unsloth

from unsloth import FastLanguageModel
import torch

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/granite-4.1-8b",
    max_seq_length = 2048,   # Kontextlänge - kann länger sein, benötigt aber mehr Speicher
    dtype = None,            # None für automatische Erkennung
    load_in_4bit = True,     # 4bit benötigt deutlich weniger Speicher
    load_in_8bit = False,    # Etwas genauer, benötigt 2x Speicher
    full_finetuning = False, # Wir haben jetzt vollständiges Fine-Tuning!
    # token = "hf_...",      # verwenden Sie einen, wenn Sie abgesicherte Modelle verwenden
)

Um die neueste Version von Unsloth und Unsloth Zoo zwangsweise neu zu installieren:

pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo

Sie können den Modellnamen in jedes Granite-4.1-Modell ändern:

model_name = "unsloth/granite-4.1-3b"
model_name = "unsloth/granite-4.1-8b"
model_name = "unsloth/granite-4.1-30b"

Für das 30B-Modell verwenden Sie eine größere GPU oder ein Multi-GPU-Setup und reduzieren Sie max_seq_length oder erhöhen Sie die Quantisierung, wenn Ihnen der Speicher ausgeht.