Mistral Large 4(Le Chonk):ローカルで実行
Unsloth と llama.cpp を使って Mistral Large 4 の GGUF をローカルで実行するためのガイド。
Mistral Large 4(Le Chonk)はMistralの 1兆パラメータの MoEモデルで、 520億のアクティブパラメータ (埋め込み層と出力層を含む)。Mistral Large 4は 最強の西側のオープン モデルであり、テキストと画像入力、 100万コンテキスト ウィンドウ、160以上の言語、そして推論に対応しています。Le ChonkはUnslothまたはllama.cpp経由でUnsloth Dynamic GGUFを使ってローカル実行できます。GGUF: Mistral-Large-4-1T-A52B-GGUF
Dynamic 1bitは トップ1精度の91% コーディング、エージェントタスク、数学、その他の分野全体で、なおかつ80%小型化されつつ(223GB 対 1.1TB FP8)。Dynamic 2bitはトップ1精度の95%を維持しつつ、66%小型化(378GB)。初日アクセスを提供してくれたMistralに感謝します。
⚙️ 使用ガイド
最小のDynamic 1-bit量子化で、 UD-IQ1_S、およそ 233GB のディスク容量を使用し、Mac StudioやNVIDIA DGX Spark 2台を含む256GB RAMに収まるはずです。
表:ハードウェア要件 (単位 = 総メモリ:RAM + VRAM、またはユニファイドメモリ)
256–270GB
310–390GB
435–500GB
630GB
1.2TB
最高の性能のためには、利用可能な総 RAM + VRAM、またはユニファイドメモリは、量子化ファイルサイズを上回り、OS、KVキャッシュ、ランタイムバッファのための余裕が必要です。より長いコンテキストにはより多くのメモリが必要です。
推奨設定
Mistralは、すべての推論レベルに同じサンプリング設定を推奨しています:
1.0
0.95
推論レベル = low、medium、high
最大 コンテキストウィンドウ は
1,048,576トークンです。
すべての量子化についてKLDベンチマークも実施しました。詳細は Mistral Large 4

Mistral Large 4チュートリアルを実行:
以下の例では UD-Q2_K_XL をテキスト推論に使用しています。量子化タイプは、 GGUFリポジトリ.
🦥 UnslothでMistral Large 4を実行
Unsloth Desktop はGGUFをローカルで実行します。対応OSは macOS、Windows、Linuxで、自動的にRAMへオフロードし、マルチGPU構成を検出します。
Unslothをインストール
始める最も簡単な方法は、 Unsloth Desktopアプリをダウンロードすることです。対応: macOS, Windows、 Linux.
または、手動でインストールしたい場合:
MacOS、Linux、WSL:
Windows PowerShell:
Mistral Large 4を検索してダウンロード
に移動して Unsloth Chat またはModel hubで、 Mistral-Large-4-1T-A52B を検索し、 unsloth/Mistral-Large-4-1T-A52B-GGUFを選択します。上記のサイズとメモリ要件を参考に、必要な量子化をダウンロードしてください。
Mistral Large 4を実行
Mistral Large 4は high をデフォルトの推論レベルとして使用します。 low 高速チャットには medium 日常タスクには high を、複雑なプロンプトやエージェント型コーディングには使用します。Unslothが最適な設定を自動選択しますが、手動でも調整できます。
詳細は、 Unsloth推論ガイド.
Unsloth APIでMistral Large 4を提供
を使用できます。 unsloth run コマンドで、 llama-server のランタイムフラグを使用して、コンテキストサイズ、GPUレイヤー、スレッディング、サンプリングを設定できます。詳細は APIドキュメント または unsloth start.
Mistral Large 4をサポートするランタイムを使用してください。
量子化分析
ツール呼び出し、コーディング、エージェントの長い推論軌跡などさまざまな分野でKLDおよびtop-1%ベンチマークを実施し、Unslothの動的量子化(UD3)がモデルを小型化しながらも多くの精度を維持できることを示しています。

KLDも実施し、コーパスごとにも提供しています:

🦙 llama.cppでMistral Large 4を実行
次の機能を備えたllama.cppビルドを使用してください: Mistral Large 4サポート。以下のコマンドでは UD-Q2_K_XL 量子化(およそ 378GB).
llama.cppをインストール
入手するには GitHubのllama.cppを取得するか、以下の手順でビルドしてください。LinuxでNVIDIA GPUを使う場合は、最初にCUDAツールキットとビルド依存関係をインストールします:
向けに CPUまたはApple Metalの場合は -DGGML_CUDA=OFF。MetalサポートはmacOSでデフォルトで有効です。Windowsや他のGPUバックエンドについては、リポジトリのビルド手順に従ってください。
Mistral Large 4をダウンロードして実行
このコマンドは量子化をダウンロードし、ローカルチャットサーバーを起動します:
開く http://127.0.0.1:8080 をブラウザで開いてチャットしてください。APIは次で利用できます: http://127.0.0.1:8080/v1.
この例では 32Kコンテキスト を使用してKVキャッシュメモリを抑えています。 --top-k 0 と --min-p 0.0 追加のサンプリングフィルタを無効にし、推奨のtemperatureとtop-p設定を適用します。メモリ不足になった場合は、 --ctx-size を下げるか、より小さい量子化を選んでください。
任意:手動でダウンロード
Hugging Face CLIをインストールし、必要な量子化のみをダウンロードします:
9つのシャードを すべて 同じディレクトリに置いてください。上記のサーバーコマンドでは、 -hf unsloth/Mistral-Large-4-1T-A52B-GGUF:UD-Q2_K_XL を次のように置き換えます:
llama.cppは残りのシャードを自動的に読み込みます。代わりにDynamic 1-bitを使うには、 UD-IQ1_S/* をダウンロードし、 --model を Mistral-Large-4-1T-A52B-UD-IQ1_S-00001-of-00006.gguf そのフォルダ内に指定してください。
ベンチマーク
その他のベンチマークはMistralの 公式ブログ.




最終更新
役に立ちましたか?


