コンテンツへスキップ
For the complete documentation index, see llms.txt. This page is also available as Markdown.

Mistral Large 4(Le Chonk):ローカルで実行

Unsloth と llama.cpp を使って Mistral Large 4 の GGUF をローカルで実行するためのガイド。

Mistral Large 4(Le Chonk)はMistralの 1兆パラメータの MoEモデルで、 520億のアクティブパラメータ (埋め込み層と出力層を含む)。Mistral Large 4は 最強の西側のオープン モデルであり、テキストと画像入力、 100万コンテキスト ウィンドウ、160以上の言語、そして推論に対応しています。Le ChonkはUnslothまたはllama.cpp経由でUnsloth Dynamic GGUFを使ってローカル実行できます。GGUF: Mistral-Large-4-1T-A52B-GGUF

Dynamic 1bitは トップ1精度の91% コーディング、エージェントタスク、数学、その他の分野全体で、なおかつ80%小型化されつつ(223GB 対 1.1TB FP8)。Dynamic 2bitはトップ1精度の95%を維持しつつ、66%小型化(378GB)。初日アクセスを提供してくれたMistralに感謝します。

Mistral Large 4チュートリアルを実行量子化分析

⚙️ 使用ガイド

最小のDynamic 1-bit量子化で、 UD-IQ1_S、およそ 233GB のディスク容量を使用し、Mac StudioやNVIDIA DGX Spark 2台を含む256GB RAMに収まるはずです。

表:ハードウェア要件 (単位 = 総メモリ:RAM + VRAM、またはユニファイドメモリ)

1ビット
2ビット
3ビット
4ビット
8ビット

256–270GB

310–390GB

435–500GB

630GB

1.2TB

最高の性能のためには、利用可能な総 RAM + VRAM、またはユニファイドメモリは、量子化ファイルサイズを上回り、OS、KVキャッシュ、ランタイムバッファのための余裕が必要です。より長いコンテキストにはより多くのメモリが必要です。

推奨設定

Mistralは、すべての推論レベルに同じサンプリング設定を推奨しています:

温度
Top-p

1.0

0.95

  • 推論レベル = low、medium、high

  • 最大 コンテキストウィンドウ は 1,048,576 トークンです。

すべての量子化についてKLDベンチマークも実施しました。詳細は Mistral Large 4

Mistral Large 4チュートリアルを実行:

以下の例では UD-Q2_K_XL をテキスト推論に使用しています。量子化タイプは、 GGUFリポジトリ.

🦥 UnslothでMistral Large 4を実行

Unsloth Desktop はGGUFをローカルで実行します。対応OSは macOS、Windows、Linuxで、自動的にRAMへオフロードし、マルチGPU構成を検出します。

1

Unslothをインストール

始める最も簡単な方法は、 Unsloth Desktopアプリをダウンロードすることです。対応: macOS, Windows、 Linux.

Unslothをダウンロード

または、手動でインストールしたい場合:

MacOS、Linux、WSL:

Windows PowerShell:

2

Mistral Large 4を検索してダウンロード

に移動して Unsloth Chat またはModel hubで、 Mistral-Large-4-1T-A52B を検索し、 unsloth/Mistral-Large-4-1T-A52B-GGUFを選択します。上記のサイズとメモリ要件を参考に、必要な量子化をダウンロードしてください。

3

Mistral Large 4を実行

Mistral Large 4は high をデフォルトの推論レベルとして使用します。 low 高速チャットには medium 日常タスクには high を、複雑なプロンプトやエージェント型コーディングには使用します。Unslothが最適な設定を自動選択しますが、手動でも調整できます。

4

Unsloth APIでMistral Large 4を提供

を使用できます。 unsloth run コマンドで、 llama-server のランタイムフラグを使用して、コンテキストサイズ、GPUレイヤー、スレッディング、サンプリングを設定できます。詳細は APIドキュメント または unsloth start.

Mistral Large 4をサポートするランタイムを使用してください。

5

Unslothの準備ができました

Unsloth Desktopを通じてMistral Large 4をツールに接続できます。Unslothは以下のワークフローもサポートしています:

Unsloth Desktop Agents settings interface example
Unsloth DesktopのAgents設定(インターフェース例)。ツールを接続する際はMistral Large 4とダウンロード済みの量子化を選択してください。

量子化分析

ツール呼び出し、コーディング、エージェントの長い推論軌跡などさまざまな分野でKLDおよびtop-1%ベンチマークを実施し、Unslothの動的量子化(UD3)がモデルを小型化しながらも多くの精度を維持できることを示しています。

KLDも実施し、コーパスごとにも提供しています:

量子化
サイズ
平均KLD(7カテゴリ)
トップ1一致率

233 GB

0.1263

90.6%

260 GB

0.0919

92.3%

302 GB

0.0566

93.9%

378 GB

0.0298

95.6%

424 GB

0.0217

96.2%

493 GB

0.0162

96.6%

605 GB

0.0071

97.8%

784 GB

0.0038

98.5%

890 GB

0.0032

98.6%

1115 GB

🦙 llama.cppでMistral Large 4を実行

次の機能を備えたllama.cppビルドを使用してください: Mistral Large 4サポート。以下のコマンドでは UD-Q2_K_XL 量子化(およそ 378GB).

1

llama.cppをインストール

入手するには GitHubのllama.cppを取得するか、以下の手順でビルドしてください。LinuxでNVIDIA GPUを使う場合は、最初にCUDAツールキットとビルド依存関係をインストールします:

向けに CPUまたはApple Metalの場合は -DGGML_CUDA=OFF。MetalサポートはmacOSでデフォルトで有効です。Windowsや他のGPUバックエンドについては、リポジトリのビルド手順に従ってください。

2

Mistral Large 4をダウンロードして実行

このコマンドは量子化をダウンロードし、ローカルチャットサーバーを起動します:

開く http://127.0.0.1:8080 をブラウザで開いてチャットしてください。APIは次で利用できます: http://127.0.0.1:8080/v1.

この例では 32Kコンテキスト を使用してKVキャッシュメモリを抑えています。 --top-k 0 と --min-p 0.0 追加のサンプリングフィルタを無効にし、推奨のtemperatureとtop-p設定を適用します。メモリ不足になった場合は、 --ctx-size を下げるか、より小さい量子化を選んでください。

3

任意:手動でダウンロード

Hugging Face CLIをインストールし、必要な量子化のみをダウンロードします:

9つのシャードを すべて 同じディレクトリに置いてください。上記のサーバーコマンドでは、 -hf unsloth/Mistral-Large-4-1T-A52B-GGUF:UD-Q2_K_XL を次のように置き換えます:

llama.cppは残りのシャードを自動的に読み込みます。代わりにDynamic 1-bitを使うには、 UD-IQ1_S/* をダウンロードし、 --model を Mistral-Large-4-1T-A52B-UD-IQ1_S-00001-of-00006.gguf そのフォルダ内に指定してください。

ベンチマーク

その他のベンチマークはMistralの 公式ブログ.

最終更新

役に立ちましたか?