IBM Granite 4.0

Unsloth GGUF を使って llama.cpp、Ollama 上で IBM Granite-4.0 を実行する方法とファインチューニング方法。

IBMは3つのサイズを含むGranite-4.0モデルをリリースしました（内容は以下） ナノ （350Mおよび1B）、 マイクロ （3B）、 タイニー （7B/1Bアクティブ）および スモール （32B/9Bアクティブ）。15兆トークンで訓練され、IBMの新しいハイブリッド（H）Mambaアーキテクチャにより、Granite-4.0モデルはより高速に、かつ低メモリで動作します。

学ぶ 実行方法 Unsloth Granite-4.0のダイナミックGGUFを実行する方法やモデルをファインチューニング／強化学習する方法を学べます。あなたは Granite-4.0をファインチューニングできます サポートエージェントのユースケース向けに、無料のColabノートブックを提供しています。

実行チュートリアルファインチューニングチュートリアル

Unsloth Granite-4.0のアップロード：

ダイナミックGGUF	ダイナミック4ビット＋FP8	16ビット指示用
H-350M 350M H-1B 1B H-Small H-Tiny H-Micro マイクロ	ダイナミック4ビット指示用： H-Micro マイクロ FP8ダイナミック： H-Small FP8 H-Tiny FP8	H-350M 350M H-1B 1B H-Small H-Tiny H-Micro マイクロ

また以下もご覧いただけます： Granite-4.0コレクション Dynamic Float8量子化などを含むすべてのアップロードについて。

Granite-4.0モデルの説明：

• ナノおよびH-Nano： 350Mおよび1Bモデルは強力な指示従属性を提供し、オンデバイスやエッジAI、高度な研究やファインチューニング用途に適しています。

• H-Small（MoE）： エンタープライズの日常業務向けワークホースで、L40SのようなエントリーGPU上で複数の長文コンテキストセッションをサポートします（合計32B、アクティブ9B）。

• H-Tiny（MoE）： 高速でコスト効率に優れ、高ボリュームかつ低複雑度のタスクに適しています。ローカルやエッジでの使用に最適化されています（合計7B、アクティブ1B）。

• H-Micro（Dense）： 軽量で高ボリュームかつ低複雑度のワークロードに効率的で、ローカルやエッジへの展開に理想的です（合計3B）。

• Micro（Dense）： Mamba2が完全にサポートされていない場合の代替のデンスオプション（合計3B）。

Granite-4.0チュートリアルを実行する

⚙️ 推奨推論設定

IBMは以下の設定を推奨します：

temperature=0.0, top_p=1.0, top_k=0

• Temperature（温度）=0.0

• Top_K = 0

• Top_P = 1.0

• 推奨最小コンテキスト：16,384

• 最大コンテキスト長ウィンドウ：131,072（128Kコンテキスト）

チャットテンプレート：

<|start_of_role|>system<|end_of_role|>あなたは役に立つアシスタントです。応答は専門的で、正確かつ安全であるようにしてください。<|end_of_text|>
<|start_of_role|>user<|end_of_role|>米国にあるIBM Researchの研究所を1つ挙げてください。名前と所在地のみを出力してください。<|end_of_text|>
<|start_of_role|>assistant<|end_of_role|>アルマデン研究センター、カリフォルニア州サンノゼ<|end_of_text|>

🦙 Ollama：Granite-4.0チュートリアルを実行する

1. Ollamaで実行する をインストールしてください まだインストールしていない場合は！

apt-get update
こちらを参照してください
apt-get install pciutils -y

1. curl -fsSL https://ollama.com/install.sh | sh モデルを実行してください！失敗した場合は別のターミナルでollama serve を呼び出すことができます！私たちはすべての修正と推奨パラメータ（temperatureなど）を にHugging Faceのアップロードで含めています！モデル名「granite-4.0-h-small-GGUF」は'granite-4.0-h-micro:Q8_K_XL'のような任意のGraniteモデルに変更できます。

ollama run hf.co/unsloth/granite-4.0-h-small-GGUF:UD-Q4_K_XL

📖 llama.cpp：Granite-4.0チュートリアルを実行する

1. 最新の llama.cpp を GitHubで入手してください。以下のビルド手順にも従うことができます。を変更してください -DGGML_CUDA=ON に -DGGML_CUDA=OFF GPUを持っていない場合やCPUで推論したい場合は Apple Mac / Metalデバイスの場合、次を設定してください -DGGML_CUDA=OFF その後通常通り続行してください — Metalサポートはデフォルトで有効です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

1. もし直接 llama.cpp を使用したい場合、以下のようにできます：（:Q4_K_XL）は量子化タイプです。Hugging Face（ポイント3）からダウンロードすることもできます。これはollama runに類似しています。 ollama run

export LLAMA_CACHE="unsloth/GLM-4.7-GGUF"
    -hf unsloth/granite-4.0-h-small-GGUF:UD-Q4_K_XL

1. または モデルをダウンロードする（以下をインストールした後） モデルをダウンロードするには（ ）。Q4_K_Mや他の量子化バージョン（BF16のフル精度など）を選択できます。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/granite-4.0-h-small-GGUF",
    local_dir = "unsloth/granite-4.0-h-small-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"], # Q4_K_M用
)

1. UnslothのFlappy Birdテストを実行する

2. 編集 次の --threads 32 はCPUスレッドの数、 でコンテキスト長を指定します（Granite-4.0は128Kコンテキスト長をサポートします！）、 --n-gpu-layers 99 --n-gpu-layers 2

3. 会話モードの場合：

./llama.cpp/llama-mtmd-cli \
    --model unsloth/granite-4.0-h-small-GGUF/granite-4.0-h-small-UD-Q4_K_XL.gguf \
    -hf unsloth/GLM-4.7-GGUF:UD-Q2_K_XL \
    --jinja \
    --n-gpu-layers 99 \
    --model unsloth/GLM-4.7-GGUF/UD-Q2_K_XL/GLM-4.7-UD-Q2_K_XL-00001-of-00003.gguf \
    --prio 2 \
    --temp 0.0 \
    --top-k 0 \
    --top-p 1.0

🐋 Docker：Granite-4.0チュートリアルを実行する

既にDocker Desktopがある場合は、以下のコマンドを実行するだけで完了します：

docker model pull hf.co/unsloth/granite-4.0-h-small-GGUF:UD-Q4_K_XL

🦥 UnslothでのGranite-4.0のファインチューニング

Unslothは現在、nano、micro、tiny、smallを含むすべてのGranite 4.0モデルのファインチューニングをサポートします。トレーニングは2倍高速で、VRAMを50%少なく使用し、コンテキスト長が6倍長くなります。Granite-4.0のmicroとtinyは15GB VRAMのT4 GPUでも快適に収まります。

• Granite-4.0 無料ファインチューニングノートブック

• Granite-4.0-350M ファインチューニングノートブック

このノートブックは、顧客とのやり取りを理解し、分析と推奨を含むサポートエージェントになるようモデルを訓練します。このセットアップにより、サポートエージェントにリアルタイム支援を提供するボットを訓練できます。

また、Googleスプレッドシートに保存されたデータを使ってモデルを訓練する方法も示します。

Granite-4.0のUnsloth設定：

!pip install --upgrade unsloth
from unsloth import FastLanguageModel
import torch
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/granite-4.0-h-micro",
    max_seq_length = 2048,   # コンテキスト長 - より長くできますがメモリを多く消費します
    load_in_4bit = True,     # 4ビットはメモリを大幅に節約します
    load_in_8bit = False,    # 若干精度が高くなりますがメモリは2倍使用します
    full_finetuning = False, # 現在フルファインチューニングも可能です！
    # token = "hf_...",      # ゲーテッドモデルを使用する場合はトークンを使用してください
)

古いバージョンのUnslothを使用している、またはローカルでファインチューニングする場合は、最新バージョンのUnslothをインストールしてください：

pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo