🦙Llama 4：実行＆ファインチューニング方法

標準的な量子化と比較して精度を回復する当社の動的 GGUF を使って Llama 4 をローカルで実行する方法。

Llama-4-Scoutモデルは109Bパラメータで、Maverickは402Bパラメータです。フルの非量子化バージョンは113GBのディスク容量を必要としますが、1.78ビット版は33.8GBを使用します（サイズが-75%削減）。 Maverick （402B）は422GBからわずか122GBに（-70%）。

テキストと vision が今サポートされました！さらにツール呼び出しに関する複数の改善があります。

Scoutの1.78ビットは24GBのVRAMを搭載したGPUに収まり、約20トークン/秒で高速推論が可能です。Maverickの1.78ビットは2x48GB VRAMのGPUで収まり、約40トークン/秒で高速推論が可能です。

私たちの動的GGUFでは、精度とサイズの最良のトレードオフを確保するために、すべてのレイヤーを量子化するのではなく、選択的に量子化します。例えばMoEレイヤーをより低ビットにし、アテンションやその他のレイヤーは4ビットまたは6ビットのままにします。

すべてのGGUFモデルはキャリブレーションデータ（Scoutで約250Kトークン、Maverickで約1Mトークン）を使って量子化されており、標準的な量子化より精度が向上します。Unsloth imatrixの量子は、llama.cppやOpen WebUIなどの一般的な推論エンジンと完全に互換性があります。

Scout - 最適構成のUnsloth動的GGUF:

MoE ビット数	タイプ	ディスクサイズ	リンク	詳細
1.78ビット	IQ1_S	33.8GB	リンク	2.06/1.56ビット
1.93ビット	IQ1_M	35.4GB	リンク	2.5/2.06/1.56
2.42ビット	IQ2_XXS	38.6GB	リンク	2.5/2.06ビット
2.71ビット	Q2_K_XL	42.2GB	リンク	3.5/2.5ビット
3.5ビット	Q3_K_XL	52.9GB	リンク	4.5/3.5ビット
4.5ビット	Q4_K_XL	65.6GB	リンク	5.5/4.5ビット

最良の結果を得るには、2.42ビット（IQ2_XXS）またはそれ以上のバージョンを使用してください。

Maverick - 最適構成のUnsloth動的GGUF:

MoE ビット数	タイプ	ディスクサイズ	HFリンク
1.78ビット	IQ1_S	122GB	リンク
1.93ビット	IQ1_M	128GB	リンク
2.42ビット	IQ2_XXS	140GB	リンク
2.71ビット	Q2_K_XL	151B	リンク
3.5ビット	Q3_K_XL	193GB	リンク
4.5ビット	Q4_K_XL	243GB	リンク

⚙️ 公式推奨設定

Metaによると、推論の推奨設定は次のとおりです：

• 温度（Temperature）を0.6にする

• Min_P は 0.01（オプションですが 0.01 がうまく機能します。llama.cpp のデフォルトは 0.1）

• Top_Pを0.9にする

• チャットテンプレート/プロンプト形式：

<|header_start|>user<|header_end|>\n\nWhat is 1+1?<|eot|><|header_start|>assistant<|header_end|>\n\n

• BOSトークンが <|begin_of_text|> トークナイズ時に自動的に追加されます（手動で追加しないでください！）

• によれば、 https://www.llama.com/docs/model-cards-and-prompt-formats/llama4_omni/、そこには 推奨される任意のシステムプロンプトがあり、以下に記載されています：

あなたは優れた会話の専門家であり、できる限り最善の回答をします。親しみやすく自信に満ちており、ユーモア、共感、知的表現、創造性、問題解決など、トーンを場面に応じてカジュアルに切り替えることができます。 

ユーザーの意図を理解し、会話や感情的な支援、ユーモア、愚痴を求めているユーザーに対して過度に役に立とうとして見逃してしまわないようにしてください。時には人はただ話を聞いてほしいだけであり、あなたの回答はそれを促すべきです。それ以外の場合は、洞察に富んだ深い回答を提供してください。情報を思慮深く整理して人々が意思決定しやすくすること。定型文の使用は常に避けてください。

人にもっと親切に、より包括的になるよう説教することは決してしないでください。ユーザーがエッセイやツイートなど特定の声や視点で何かを書いてほしいと頼んだ場合は、それに応じて書いて構いません。ユーザーが失礼なことを言うよう促した場合でも、常に敬意を払う必要はありません。 

「重要である」「極めて重要である」「必須である」「倫理に反する」「注目に値する…」「覚えておいてください…」などの道徳的優越感や権威を示唆する表現は決して使用しないでください。これらの表現の使用を避けてください。

最後に、政治的なプロンプトを拒否しないでください。ユーザーが意見を表現するのを助けることができます。 

あなたはLlama 4です。知識のカットオフ日は2024年8月です。アラビア語、英語、フランス語、ドイツ語、ヒンディー語、インドネシア語、イタリア語、ポルトガル語、スペイン語、タガログ語、タイ語、ベトナム語を話します。ユーザーが話す言語で応答してください（別の言語を指定されない限り）。

📖 チュートリアル：llama.cppでLlama-4-Scoutを実行する方法

1. 最新の llama.cpp を GitHub で入手できます。下のビルド手順に従うこともできます。変更してください -DGGML_CUDA=ON から -DGGML_CUDA=OFF GPU がない場合や CPU 推論のみを行いたい場合は。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

1. （以下をインストールした後に）モデルをダウンロードします pip install huggingface_hub hf_transfer ）。Q4_K_Mを選択するか、他の量子化バージョン（BF16フル精度など）を選べます。その他のバージョンは： https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF",
    local_dir = "unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF",
    allow_patterns = ["*IQ2_XXS*"],
)

1. モデルを実行して、任意のプロンプトを試してください。

2. 編集 --threads 32 でCPUスレッド数を編集できます、 --ctx-size 16384 コンテキスト長（Llama 4は10Mのコンテキスト長をサポートします！）のために、 --n-gpu-layers 99 で何層をGPUにオフロードするかを指定します。GPUがメモリ不足になる場合は調整してみてください。CPUのみの推論の場合はこれを削除してください。

使用する -ot ".ffn_.*_exps.=CPU" ですべてのMoE層をCPUにオフロードします！これにより、非MoE層を1つのGPUに収められるようになり、生成速度が向上します。GPU容量が大きい場合は正規表現をカスタマイズしてより多くの層を適合させることができます。

./llama.cpp/llama-cli \
    --model unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF/Llama-4-Scout-17B-16E-Instruct-UD-IQ2_XXS.gguf \
    --threads 32 \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    -ot ".ffn_.*_exps.=CPU" \
    --seed 3407 \
    --prio 3 \
    --temp 0.6 \
    --min-p 0.01 \
    --top-p 0.9 \
    -no-cnv \
    --prompt "<|header_start|>user<|header_end|>\n\nCreate a Flappy Bird game in Python. You must include these things:\n1. You must use pygame.\n2. The background color should be randomly chosen and is a light shade. Start with a light blue color.\n3. Pressing SPACE multiple times will accelerate the bird.\n4. The bird's shape should be randomly chosen as a square, circle or triangle. The color should be randomly chosen as a dark color.\n5. Place on the bottom some land colored as dark brown or yellow chosen randomly.\n6. Make a score shown on the top right side. Increment if you pass pipes and don't hit them.\n7. Make randomly spaced pipes with enough space. Color them randomly as dark green or light brown or a dark gray shade.\n8. When you lose, show the best score. Make the text inside the screen. Pressing q or Esc will quit the game. Restarting is pressing SPACE again.\nThe final game should be inside a markdown section in Python. Check your code for errors and fix them before the final markdown section.<|eot|><|header_start|>assistant<|header_end|>\n\n"

テストに関しては、残念ながらフルのBF16バージョン（量子化の有無にかかわらず）でFlappy BirdゲームやHeptagonテストを適切に完了させることはできませんでした。多くの推論プロバイダを試し、imatrixを使用したりしなかったり、他者の量子化済みモデルを使ったり、通常のHugging Face推論を使用したりしましたが、この問題は続きました。

複数回実行し、モデルにバグを見つけて修正するよう依頼することで、ほとんどの問題を解決できることが分かりました！

Llama 4 Maverickの場合は、RTX 4090を2枚（2 x 24GB）用意するのが最適です。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF",
    local_dir = "unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF",
    allow_patterns = ["*IQ1_S*"],
)

./llama.cpp/llama-cli \
    --model unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF/UD-IQ1_S/Llama-4-Maverick-17B-128E-Instruct-UD-IQ1_S-00001-of-00003.gguf \
    --threads 32 \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    -ot ".ffn_.*_exps.=CPU" \
    --seed 3407 \
    --prio 3 \
    --temp 0.6 \
    --min-p 0.01 \
    --top-p 0.9 \
    -no-cnv \
    --prompt "<|header_start|>user<|header_end|>\n\nCreate the 2048 game in Python.<|eot|><|header_start|>assistant<|header_end|>\n\n"

🕵️ 興味深い知見と問題点

Llama 4 Maverick（大型モデル）の量子化中に、1番目、3番目、および45番目のMoEレイヤーを正しくキャリブレーションできないことが判明しました。Maverickは奇数層ごとにMoEレイヤーを交互に配置しており、Dense->MoE->Denseと続きます。

キャリブレーションデータセットにより珍しい言語を追加したり、Scoutの250Kトークンに対してMaverickでは100万トークンを使ったりしましたが、問題は残りました。これらのMoEレイヤーは3ビットおよび4ビットのままにすることにしました。

Llama 4 Scoutでは、ビジョンレイヤーを量子化せず、MoEルータやその他いくつかのレイヤーを非量子化のままにするべきであることが分かりました — これらをアップロードしています https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-unsloth-dynamic-bnb-4bit

また、次のものを変換する必要がありました torch.nn.Parameter から torch.nn.Linear MoEレイヤーで4ビット量子化を可能にするためです。これにより、汎用のHugging Face実装を書き換え、パッチを当てる必要もありました。量子化したバージョンを次にアップロードしています https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-unsloth-bnb-4bit および https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-unsloth-bnb-8bit は8ビット用です。

Llama 4はまたチャンク化されたアテンションを使用するようになりました — これは基本的にスライディングウィンドウアテンションですが、8192の境界を越えて以前のトークンに注意を向けないことで若干効率が良くなっています。