✨Gemma 4 - ローカル実行方法

E2B、E4B、26B A4B、31Bを含むGoogleの新しいGemma 4モデルをローカルで実行しましょう。

Gemma 4 は Google DeepMind の新しいオープンモデル群で、 12B, E2B, E4B, 26B-A4B、および 31B。 マルチモーダルでハイブリッド思考のモデルは、140以上の言語をサポートし、最大 256Kコンテキストに対応し、Dense版とMoE版があります。Gemma 4 は Apache-2.0 ライセンスで、ローカルデバイスで実行できます。

Gemma-4-12B は新しく、テキスト・画像・音声の統合サポートを備えています。動作には 8GB RAM（4ビット）または14GB（8ビット）が必要です。 Gemma-4-E2B および E4B は画像と音声もサポートします。動作には 5GB RAM （4ビット）または15GB（フル16ビット）。GGUF、MLX、またはNVFP4の量子化で利用できます。

Gemma 4 を実行するGemma 4 をファインチューニングするGemma 4 QATGemma 4 MTP

新登場: Gemma 4 MTP が登場しました! MTP により、精度を落とさずに 1.4～2.2 倍高速な推論が可能になります。MTP を直接実行できます。 Unsloth Studio.

Gemma-4-26B-A4B 動作には 18GB （4ビット）または28GB（8ビット）が必要です。 Gemma-4-31B 必要です 20GB RAM （4ビット）または34GB（8ビット）が必要です。

これで、すべての GGUF を実行でき、 MLX および Gemma 4 をファインチューニングできます。 Unsloth Studio （右を参照）。

QAT 各バリアント の Gemma 4 は、モデル品質を保ちながらメモリ要件を約3分の1に削減します。

6月9日: Gemma 4 MTP が登場しました。

6月5日: Gemma 4 QAT が公開されました。

6月2日: Gemma 4 12B Unified が公開されました。

4月20日: 私たちは Gemma 4 GGUF ベンチマーク を実施し、最適な量子化を選ぶお手伝いをしました。

使用ガイド

Gemma 4 は、推論、コーディング、ツール使用、長文脈、エージェント型ワークフロー、マルチモーダルタスクに優れています。小型の E2B と E4B はスマートフォンとノートPC向けに設計されており、大型モデルは NVIDIA RTX GPU 搭載PCのような中〜高性能 CPU / VRAM システム向けです。

Gemma 4 バリアント	詳細	最適な用途
E2B	Dense + PLE（128Kコンテキスト） 対応: テキスト、画像、音声	スマートフォン / エッジ推論、ASR、音声翻訳向け
E4B	Dense + PLE（128Kコンテキスト） 対応: テキスト、画像、音声	ノートPC向けの小型モデルで、高速なローカルマルチモーダル利用に最適
12B Unified	Dense（256Kコンテキスト） 対応: テキスト、画像、音声	ノートPCやローカルのマルチモーダル利用向けの中型モデル
26B-A4B	MoE（256Kコンテキスト） 対応: テキスト、画像	PC利用で速度と品質のバランスが最良
31B	Dense（256Kコンテキスト） 対応: テキスト、画像	推論速度は遅いものの、最も高い性能

Gemma 4 を見る: 性能ベンチマーク および GGUF ベンチマーク.

26B-A4B と 31B のどちらを選ぶべきですか？

• 26B-A4B - 速度と精度のバランスが取れています。MoE 設計により、アクティブパラメータ 4B のため、31B より高速です。RAM に制約があり、少し品質を犠牲にしてでも速度を優先したい場合に選んでください。

• 31B - 現在のところ最も強力な Gemma 4 モデルです。十分なメモリがあり、やや遅い速度を受け入れられるなら、最大品質を求める場合に選んでください。

ハードウェア要件

表: Gemma 4 推論 GGUF の推奨ハードウェア要件 （単位 = 合計メモリ: RAM + VRAM、またはユニファイドメモリ）。Gemma 4 は MacOS、NVIDIA RTX GPU などで使用できます。

Gemma 4 バリアント	4ビット	8ビット	BF16 / FP16
E2B	4 GB	5–8 GB	10 GB
E4B	5.5–6 GB	9–12 GB	16 GB
12B Unified	7–8 GB	13–14 GB	25 GB
26B A4B	16–18 GB	28–30 GB	52 GB
31B	17–20 GB	34–38 GB	62 GB

目安として、利用可能な総メモリは、ダウンロードする量子化モデルのサイズを少なくとも上回る必要があります。満たない場合でも、llama.cpp は RAM / ディスクへの部分オフロードで実行できますが、生成速度は遅くなります。また、使用するコンテキストウィンドウに応じて、より多くの計算資源が必要になります。

推奨設定

Google のデフォルトの Gemma 4 パラメータを使用することを推奨します:

• temperature = 1.0

• top_p = 0.95

• top_k = 64

Gemma 4 の最大コンテキスト長は 128K の E2B / E4B および 262,144 の 12B / 26B A4B / 31B.

思考モード

旧来の Gemma チャットテンプレートと比べて、Gemma 4 は標準の system, assistant、および user の役割を使用し、明示的な思考制御を追加しています。

思考を有効にする方法:

トークンを追加します <|think|> を システムプロンプトの先頭に.

思考有効

<|think|>
あなたは慎重なコーディングアシスタントです。答えを明確に説明してください。

思考無効

あなたは慎重なコーディングアシスタントです。答えを明確に説明してください。

出力の挙動:

思考が有効な場合、モデルは最終回答の前に内部推論チャネルを出力します。

<|channel>thought
[内部推論]
<channel|>
[最終回答]

思考が無効な場合でも、大型モデルは 空の思考ブロック を最終回答の前に出力することがあります。

<|channel>thought
<channel|>
[最終回答]

たとえば「フランスの首都はどこですか？」を使うと:

<bos><|turn>system\n<|think|><turn|>\n<|turn>user\nフランスの首都はどこですか？<turn|>\n<|turn>model\n

すると次のように出力されます:

<|channel>thought\nユーザーはフランスの首都を尋ねています。\nフランスの首都はパリです。<channel|>フランスの首都はパリです。<turn|>

マルチターン会話のルール:

マルチターン会話では、 チャット履歴には最終的に表示された回答のみを残します。 しない 前の思考ブロックを次のターンに戻さないでください。

<bos><|turn>user\n1+1は何ですか？<turn|>\n<|turn>model\n2<turn|>\n<|turn>user\n1+1は何ですか？<turn|>\n<|turn>model\n2<turn|>\n<|turn>user\n1+1は何ですか？<turn|>\n<|turn>model\n2<turn|>\n<|turn>user\n1+1は何ですか？<turn|>\n<|turn>model\n2<turn|>\n

思考を無効にする方法:

注 llama-cli は安定して動作しない可能性があるため、代わりに llama-server を推論無効化に使用してください:

思考／推論を無効化するには 思考／推論を無効にするには、次を使用します --chat-template-kwargs '{"enable_thinking":false}'

もし Windows の PowerShell をお使いなら、次を使用してください: --chat-template-kwargs "{\"enable_thinking\":false}"

'true' と 'false' は同じように使用できます。

Gemma 4 のチュートリアルを実行する

Gemma 4 GGUF はいくつかのサイズがあるため、小型モデルの推奨開始点は 8ビットで、大型モデルは Dynamic 4ビット. Gemma 4 GGUF または MLX または NVFP4:

E2B	E4B	12b	26B-A4B	31B

🦥 Unsloth Desktop ガイド🦙 Llama.cpp ガイドNVFP4 ガイド

Gemma 4 は、UI 付きで無料で実行・学習できます。 Unsloth Studio✨ ノートブック:

Google Colabcolab.research.google.com

🦥 Unsloth ガイド

Gemma 4 は現在、以下で実行およびファインチューニングできます: Unsloth Desktopは、ローカルAI向けの新しいオープンソースデスクトップUIです。Unsloth Studio を使うと、モデルをローカルで次の環境で実行できます: MacOS、Windows、Linux、そして:

• 検索、ダウンロード、 GGUF を実行 および safetensor モデル

• 自己修復 ツール呼び出し + ウェブ検索

• コード実行 (Python、Bash)

• 自動推論 パラメータ調整（temp、top-p など）

• llama.cpp による高速な CPU + GPU 推論

• LLM を学習 VRAM を 70% 削減しつつ 2倍高速

1

Unsloth をインストール

始める最も簡単な方法は、以下をダウンロードすることです: Unsloth Desktop アプリ。対応: macOS, Windows、および Linux.

Unsloth をダウンロード

• macOS 用をダウンロード

• Windows 用をダウンロード

• Linux 用をダウンロード

または、手動でインストールしたい場合:

MacOS、Linux、WSL:

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell:

irm https://unsloth.ai/install.ps1 | iex

2

Unsloth を起動

MacOS、Linux、WSL、および Windows:

unsloth studio -H 0.0.0.0 -p 8888

その後、 http://127.0.0.1:8888 またはブラウザで指定の URL を開いてください。

HTTPS と Cloudflare で Unsloth を安全に起動

新機能! Unsloth は、無料の Cloudflare トンネルを通じて HTTPS で安全に起動する方法を提供します。以下を使用してください（Windows、Mac、Linux で動作）:

unsloth studio --secure

3

Gemma 4 を検索してダウンロード

初回起動時には、アカウントを保護するためのパスワードを作成し、再度サインインする必要があります。

その後、 Unsloth Chat タブへ移動し、検索バーで Gemma 4 を検索して、希望するモデルと量子化をダウンロードしてください。Unsloth は最新の Gemma-4-12B Unified モデルをサポートしています。

4

Gemma 4 を実行する

Unsloth Studio を使用すると推論パラメータは自動設定されますが、手動でも変更できます。コンテキスト長、チャットテンプレート、その他の設定も編集できます。GGUF および MLX ファイルを実行できます。

詳細については、以下をご覧ください: Unsloth Studio 推論ガイド.

🦙 Llama.cpp ガイド

このガイドでは、12B、26B-A4B、31B には Dynamic 4ビットを、E2B と E4B には 8ビットを使用します。参照: Gemma 4 GGUF コレクション

これらのチュートリアルでは、 llama.cpp 高速なローカル推論に llama.cpp を使用します。特に CPU を使う場合に有効です。

1

最新のものを入手してください: llama.cpp の GitHub はこちら。以下のビルド手順に従うこともできます。 -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。GPU がない場合、または CPU 推論だけを使いたい場合。 Apple Mac / Metal デバイスの場合、次を設定し -DGGML_CUDA=OFF その後、通常どおり続行してください。Metal サポートはデフォルトで有効です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

使用したい場合は llama.cpp モデルを読み込むために直接使用する場合は、各モデルに応じて以下のコマンドに従ってください。 UD-Q4_K_XL は量子化タイプです。Hugging Face（ステップ 3）からもダウンロードできます。これは次と似ています: ollama run 。 export LLAMA_CACHE="folder" を強制的に llama.cpp 特定の場所に保存します。llama.cpp は必要な量を自動的に使用するため、コンテキスト長を設定する必要はありません。

思考／推論を無効化するには 思考／推論を無効にする、次を使用します: --chat-template-kwargs '{"enable_thinking":false}'

Windows PowerShell: --chat-template-kwargs "{\"enable_thinking\":false}"

「true」と「false」は同じように使用できます。

12B:

export LLAMA_CACHE="unsloth/gemma-4-12B-it-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/gemma-4-12b-it-GGUF:UD-Q4_K_XL \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 64

26B-A4B:

export LLAMA_CACHE="unsloth/gemma-4-26B-A4B-it-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/gemma-4-26B-A4B-it-GGUF:UD-Q4_K_XL \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 64

31B:

export LLAMA_CACHE="unsloth/gemma-4-31B-it-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/gemma-4-31B-it-GGUF:UD-Q4_K_XL \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 64

E4B:

export LLAMA_CACHE="unsloth/gemma-4-E4B-it-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/gemma-4-E4B-it-GGUF:Q8_0 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 64

E2B:

export LLAMA_CACHE="unsloth/gemma-4-E2B-it-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/gemma-4-E2B-it-GGUF:Q8_0 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 64

3

また、以下のコードを使って手動でモデルをダウンロードすることもできます（ pip install huggingface_hubをインストールした後）。次を選択できます: UD-Q4_K_XL または、次のような他の量子化版を選択できます: Q8_0 。ダウンロードが止まる場合は、以下を参照してください: Hugging Face Hub、XETのデバッグ

hf download unsloth/gemma-4-26B-A4B-it-GGUF \
    --local-dir unsloth/gemma-4-26B-A4B-it-GGUF \
    --include "*mmproj-BF16*" \
    --include "*UD-Q4_K_XL*" # Dynamic 2bit には "*UD-Q2_K_XL*" を使用

4

その後、会話モード（ビジョン mmproj-F16):

./llama.cpp/llama-cli \
    --model unsloth/gemma-4-26B-A4B-it-GGUF/gemma-4-26B-A4B-it-UD-Q4_K_XL.gguf \
    --mmproj unsloth/gemma-4-26B-A4B-it-GGUF/mmproj-BF16.gguf \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 64

5

Llama-server のデプロイ

llama-server に Gemma-4 をデプロイするには、次を使用します:

./llama.cpp/llama-server \
    --model unsloth/gemma-4-26B-A4B-it-GGUF/gemma-4-26B-A4B-it-UD-Q4_K_XL.gguf \
    --mmproj unsloth/gemma-4-26B-A4B-it-GGUF/mmproj-BF16.gguf \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 64 \
    --alias "unsloth/gemma-4-26B-A4B-it-GGUF" \
    --port 8001 \
    --chat-template-kwargs '{"enable_thinking":true}'

MLX 動的量子化

MacOS デバイス向けの最初の試みとして、動的 4bit および 8bit の量子化版もアップロードしました！MLX の量子化版は次をサポートしています 視覚。

すべての MLX 量子化版は現在、次で動作します Unsloth Studio!

Gemma 4	4-bit MLX	8-bit MLX
31B	リンク	リンク
26B-A4B	リンク	リンク
E4B	リンク	リンク
E2B	リンク	リンク

試すには次を使ってください:

curl -fsSL https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/scripts/install_gemma4_mlx.sh | sh
source ~/.unsloth/unsloth_gemma4_mlx/bin/activate
python -m mlx_vlm.chat --model unsloth/gemma-4-26b-a4b-it-UD-MLX-4bit

NVFP4 ガイド

アップロードしました 動的 NVFP4 NVIDIA Blackwell GPU でより高速な 4-bit 推論を行うための Gemma 4 量子化版です。Gemma 4 を含め、使用できるモデルのハードウェア要件は次のとおりです。得られる全体的な速度向上も確認してください:

Gemma 4 バリアント	必要な VRAM	BF16 より高速
E2B	7 GB	1.12倍高速
E4B	9 GB	1.22倍高速
12B Unified	11 GB	1.26倍高速
26B A4B	26 GB	1.41倍高速
31B	32 GB	1.45倍高速

vLLM チュートリアル:

NVFP4 量子化版を実行するには、以下の Gemma-4-26B-A4B の実行コマンドを参照してください vLLM および SGLang （モデル名は次に変更できます gemma-4-31B-it-NVFP4 など。）また、MoE バックエンドは選択しないでください。vLLM に選ばせてください。例えば Marlin は 2.5倍遅いです！参照: Gemma 4DGX Spark をお使いの場合は、参照してください Gemma 4 次を使用する必要があります --moe-backend flashinfer_b12x さもないと、推論がかなり遅くなります。

別の venv に vLLM をインストールするには:

uv venv unsloth-nvfp4-env --python 3.13
source unsloth-nvfp4-env/bin/activate
uv pip install "vllm>=0.25.0" "flashinfer-python>=0.6.13" "nvidia-cutlass-dsl>=4.5.2" \
    --torch-backend=auto

次に 26B MoE 版を提供するには:

vllm serve unsloth/gemma-4-26B-A4B-it-NVFP4

変更してください unsloth/gemma-4-26B-A4B-it-NVFP4 任意の 利用可能な NVFP4 量子化名に！

MTP / speculative decoding（より高速なデコードですが、スループットはやや低下）を有効にするには、次を使用してください:

vllm serve unsloth/gemma-4-26B-A4B-it-NVFP4
    --speculative-config '{"method": "mtp", "num_speculative_tokens": 2}'

Torchcodec の問題が出た場合は、以下を実行してから vllm を再起動してください。

sudo apt-get update
sudo apt-get install -y ffmpeg

NVFP4 量子化版の DGX Spark

DGX Spark が正しいカーネルを使用していることを確認するために（そうでないと 2倍遅い推論になります）、まず確認してください:

python -c "
import torch; from vllm.utils.flashinfer import has_flashinfer_b12x_gemm as g, has_flashinfer_b12x_moe as m
cap = torch.cuda.get_device_capability(); print('cap', cap, '| b12x gemm', g(), '| b12x moe', m()); assert cap[0] == 12 and g() and m(), 'b12x unavailable: serving would degrade to marlin W4A16'"

エラーにならないはずです。もしエラーになる場合は、vllm を更新するか、以下で再インストールしてください:

uv venv unsloth-nvfp4-env --python 3.13
source unsloth-nvfp4-env/bin/activate
uv pip install "vllm>=0.25.0" "flashinfer-python>=0.6.13" "nvidia-cutlass-dsl>=4.5.2" \
    --torch-backend=auto

次に、DGX Spark で vLLM で提供するには:

export CUTE_DSL_ARCH=sm_121a
vllm serve unsloth/gemma-4-26B-A4B-it-NVFP4 --moe-backend flashinfer_b12x

Torchcodec の問題が出た場合は、以下を実行してから vllm を再起動してください。

sudo apt-get update
sudo apt-get install -y ffmpeg

SGLang チュートリアル:

python -m sglang.launch_server --model-path unsloth/gemma-4-31B-it-NVFP4 --speculative-algorithm NEXTN \
     --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4

Ollama ガイド

Ollama は現在、Unsloth GGUF をうまくサポートしています。次を使用してください curl -fsSL https://ollama.com/install.sh | sh Linux に Ollama をインストールするには、または irm https://ollama.com/install.ps1 | iex Windows の場合です。 1つの量子化ファイル（50GB 未満）を使うには:

ollama run hf.co/unsloth/gemma-4-26B-A4B-it-GGUF:UD-Q4_K_XL

大きな BF16 シャードのような複数のシャードを使う場合は次のようにします:

pip install -U huggingface_hub

# mmproj と BF16 を 2 回の呼び出しでダウンロード
hf download unsloth/gemma-4-26B-A4B-it-GGUF --include "BF16/*" \
    --local-dir gemma4
hf download unsloth/gemma-4-26B-A4B-it-GGUF --include "mmproj-BF16.gguf" \
    --local-dir gemma4

mv gemma4/mmproj-BF16.gguf gemma4/BF16/
echo "FROM ./gemma4/BF16" > Modelfile

ollama create unsloth-gemma4 -f Modelfile
ollama run unsloth-gemma4

次のような場合は Error: 500 Internal Server Error: unable to load model Ollama を次で更新してください curl -fsSL https://ollama.com/install.sh | sh または PowerShell のものを使ってください。

Gemma 4 ベストプラクティス

プロンプト例

簡単な推論プロンプト

システム:
<|think|>
あなたは正確な推論アシスタントです。

ユーザー:
列車は午前 8:15 に出発し、午前 11:47 に到着しました。所要時間はどれくらいですか？

OCR / 文書プロンプト

OCR には、 高い視覚トークン予算を のように 560 または 1120.

[image first]
このレシートからすべてのテキストを抽出してください。明細、合計、店舗名、日付を JSON で返してください。

マルチモーダル比較プロンプト

[image 1]
[image 2]
この 2 つのスクリーンショットを比較して、新しいユーザーをより混乱させそうなのはどちらか教えてください。

音声 ASR プロンプト

次の音声セグメントを {LANGUAGE} で書き起こし、{LANGUAGE} テキストにしてください。

回答の書式について、次の具体的な指示に従ってください:
* 改行なしで、書き起こし結果のみを出力してください。
* 数字を書き起こすときは、数字で表記してください。つまり、one point seven ではなく 1.7 と書き、three ではなく 3 と書いてください。

音声翻訳プロンプト

次の音声セグメントを {SOURCE_LANGUAGE} で書き起こし、その後 {TARGET_LANGUAGE} に翻訳してください。回答の書式では、まず {SOURCE_LANGUAGE} の書き起こしを出力し、次に改行を 1 つ入れ、その後文字列 '{TARGET_LANGUAGE}: ' を出力し、最後に {TARGET_LANGUAGE} での翻訳を出力してください。

マルチモーダル設定

マルチモーダルプロンプトで最良の結果を得るには、マルチモーダルコンテンツを先に置いてください:

• 次を置く 画像や音声をテキストより前に.

• 動画の場合は、まずフレームのシーケンスを渡し、その後に指示を渡してください。

音声と動画の制限

• 音声 は 12B, E2B および E4B のみで利用できます。

• 音声は最大 30 秒.

• 動画は最大 60 秒 をサポートします 1 秒あたり 1 フレーム で処理するものとします。

音声プロンプトテンプレート

ASR プロンプト

次の音声セグメントを {LANGUAGE} で書き起こし、{LANGUAGE} テキストにしてください。

回答の書式について、次の具体的な指示に従ってください:
* 改行なしで、書き起こし結果のみを出力してください。
* 数字を書き起こすときは、数字で表記してください。つまり、one point seven ではなく 1.7 と書き、three ではなく 3 と書いてください。

音声翻訳プロンプト

次の音声セグメントを {SOURCE_LANGUAGE} で書き起こし、その後 {TARGET_LANGUAGE} に翻訳してください。
回答の書式では、まず {SOURCE_LANGUAGE} の書き起こしを出力し、次に改行を 1 つ入れ、その後文字列 '{TARGET_LANGUAGE}: ' を出力し、最後に {TARGET_LANGUAGE} での翻訳を出力してください。

📊 ベンチマーク

Unsloth GGUF ベンチマーク

最適な量子化版を選べるよう、プロバイダ横断で Gemma 4 GGUF の平均 KL ダイバージェンスのベンチマークを実施しました（低いほど良い）。

• KL ダイバージェンスは、量子化モデルが元の BF16 出力分布にどれだけ一致しているかを示し、保持された精度を表します。

• KLD は、量子化モデルが元の BF16 出力分布にどれだけ一致しているかを示し、保持された精度を示します。

26B A4B - KLD ベンチマーク（低いほど良い）

公式 Gemma ベンチマーク

テキスト / コード ベンチマーク

ベンチマーク	Gemma 4 31B	Gemma 4 26B A4B	Gemma 4 12B Unified	Gemma 4 E4B	Gemma 4 E2B	Gemma 3 27B（think なし）
MMLU Pro	85.2%	82.6%	77.2%	69.4%	60.0%	67.6%
AIME 2026 ツールなし	89.2%	88.3%	77.5%	42.5%	37.5%	20.8%
LiveCodeBench v6	80.0%	77.1%	72.0%	52.0%	44.0%	29.1%
Codeforces ELO	2150	1718	1659	940	633	110
GPQA Diamond	84.3%	82.3%	78.8%	58.6%	43.4%	42.4%
Tau2	76.9%	68.2%	69.0%	42.2%	24.5%	16.2%
HLE ツールなし	19.5%	8.7%	5.2%	-	-	-
検索ありの HLE	26.5%	17.2%	-	-	-	-
BigBench Extra Hard	74.4%	64.8%	53.0%	33.1%	21.9%	19.3%
MMMLU	88.4%	86.3%	83.4%	76.6%	67.4%	70.7%

視覚ベンチマーク

MMMU Pro	76.9%	73.8%	69.1%	52.6%	44.2%	49.7%
OmniDocBench 1.5（低いほど良い）	0.131	0.149	0.164	0.181	0.290	0.365
MATH-Vision	85.6%	82.4%	79.7%	59.5%	52.4%	46.0%
MedXPertQA MM	61.3%	58.1%	48.7%	28.7%	23.5%	-

音声ベンチマーク

CoVoST	-	-	38.5*	35.54	33.47	-
FLEURS（低いほど良い）	-	-	0.069*	0.08	0.09	-
長文コンテキスト
MRCR v2 8 needle 128k（平均）	66.4%	44.1%	43.4%	25.4%	19.1%	13.5%