跳转到内容
For the complete documentation index, see llms.txt. This page is also available as Markdown.

Mistral Large 4(Le Chonk):本地运行

使用 Unsloth 和 llama.cpp 在本地运行 Mistral Large 4 GGUF 的指南。

Mistral Large 4(Le Chonk)是 Mistral 的 1 万亿参数 MoE 模型,拥有 520 亿活跃参数 (包括嵌入层和输出层)。Mistral Large 4 是 迄今最强的西方开源 模型,支持文本和图像输入,拥有 100 万上下文 窗口、160+ 种语言以及推理能力。你可以通过 Unsloth 或 llama.cpp 使用 Unsloth Dynamic GGUFs 在本地运行 Le Chonk。GGUF: Mistral-Large-4-1T-A52B-GGUF

动态 1bit 保留 91% 的 top-1 准确率 ,覆盖编程、智能体任务、数学和其他领域,同时体积缩小 80%(223GB 对比 1.1TB FP8)。动态 2bit 保留 95% 的 top-1 准确率,同时体积缩小 66%(378GB)。感谢 Mistral 在首日提供访问权限。

运行 Mistral Large 4 教程量化分析

⚙️ 使用指南

最小的动态 1-bit 量化, UD-IQ1_S,大约使用 233GB 磁盘空间,应可装入 256GB RAM,包括 Mac Studio 或 2 台 NVIDIA DGX Spark。

表:硬件需求 (单位 = 总内存:RAM + VRAM,或统一内存)

1-bit
2-bit
3-bit
4-bit
8-bit

256–270GB

310–390GB

435–500GB

630GB

1.2TB

为了获得最佳性能,你可用的总 RAM + VRAM,或统一内存,应大于量化文件大小,并为操作系统、KV 缓存和运行时缓冲区留出空间。更长的上下文需要更多内存。

推荐设置

Mistral 对所有推理场景都推荐相同的采样设置:

温度
Top-p

1.0

0.95

  • 推理努力 = 低、中、高

  • 最大 上下文窗口 为 1,048,576 个 token。

我们还为所有量化版本运行了 KLD 基准测试——更多细节见 Mistral Large 4

运行 Mistral Large 4 教程:

下面的示例使用 UD-Q2_K_XL 进行文本推理。你可以将量化类型更改为 GGUF 仓库.

🦥 在 Unsloth 中运行 Mistral Large 4

Unsloth Desktop 在本地运行 GGUF,支持 macOS、Windows 和 Linux,可自动卸载到 RAM,并检测多 GPU 设置。

1

安装 Unsloth

最简单的开始方式是下载 Unsloth Desktop 应用。适用于 macOS, Windows,以及 Linux.

下载 Unsloth

或者,如果你更喜欢手动安装:

MacOS、Linux、WSL:

Windows PowerShell:

2

搜索并下载 Mistral Large 4

前往 Unsloth Chat 或 Model hub,搜索 Mistral-Large-4-1T-A52B 并选择 unsloth/Mistral-Large-4-1T-A52B-GGUF。使用上面的大小和内存需求下载你想要的量化版本。

3

运行 Mistral Large 4

Mistral Large 4 默认使用 高 推理努力。使用 低 用于快速聊天, 中 用于日常任务,或使用 高 用于复杂提示词和智能体编程。Unsloth 会自动为你选择最佳配置,但你仍然可以手动调整。

更多信息请查看我们的 Unsloth 推理指南.

4

使用 Unsloth API 提供 Mistral Large 4 服务

你可以使用 unsloth run 命令,通过 API 提供 Mistral Large 4 服务,使用 llama-server 运行时标志,包括上下文大小、GPU 层数、线程和采样。更多信息见我们的 API 文档 或 unsloth start.

请使用支持 Mistral Large 4 的运行时。

5

Unsloth 已就绪

你可以通过 Unsloth Desktop 将 Mistral Large 4 连接到你的工具。Unsloth 还支持以下工作流:

Unsloth Desktop Agents settings interface example
Unsloth Desktop 的 Agents 设置(界面示例)。连接工具时,选择 Mistral Large 4 和你下载的量化版本。

量化分析

我们在工具调用、编程和长链智能体轨迹等多个领域运行了 KLD 和 top-1% 基准测试,结果表明 Unsloth 动态量化(UD3)在显著缩小模型体积的同时,仍能保留大量准确率。

我们还运行了 KLD,并按语料库分别提供如下结果:

量化版本
大小
平均 KLD(7 类)
Top-1 一致率

233 GB

0.1263

90.6%

260 GB

0.0919

92.3%

302 GB

0.0566

93.9%

378 GB

0.0298

95.6%

424 GB

0.0217

96.2%

493 GB

0.0162

96.6%

605 GB

0.0071

97.8%

784 GB

0.0038

98.5%

890 GB

0.0032

98.6%

1115 GB

🦙 在 llama.cpp 中运行 Mistral Large 4

使用带有 Mistral Large 4 支持的 llama.cpp 构建版本。下面的命令使用 UD-Q2_K_XL 量化版本(大约 378GB).

1

安装 llama.cpp

获取 GitHub 上的 llama.cpp,或按下方构建。在带有 NVIDIA GPU 的 Linux 上,先安装 CUDA 工具包和构建依赖:

对于 CPU 或 Apple Metal,使用 -DGGML_CUDA=OFF。macOS 默认启用 Metal 支持。对于 Windows 和其他 GPU 后端,请遵循仓库中的构建说明。

2

下载并运行 Mistral Large 4

此命令会下载量化版本并启动本地聊天服务器:

打开 http://127.0.0.1:8080 在浏览器中开始聊天。API 位于 http://127.0.0.1:8080/v1.

示例使用了 32K 上下文 以限制 KV 缓存内存。 --top-k 0 和 --min-p 0.0 会禁用额外的采样过滤器,从而使推荐的 temperature 和 top-p 设置生效。如果内存不足,请降低 --ctx-size 或选择更小的量化版本。

3

可选:手动下载

安装 Hugging Face CLI,并只下载你想要的量化版本:

保留 全部 9 个分片 在同一目录中。在上面的服务器命令里,将 -hf unsloth/Mistral-Large-4-1T-A52B-GGUF:UD-Q2_K_XL 替换为:

llama.cpp 会自动加载其余分片。若要使用动态 1-bit,请下载 UD-IQ1_S/* 并将 --model 指向 Mistral-Large-4-1T-A52B-UD-IQ1_S-00001-of-00006.gguf 在该文件夹中。

基准测试

更多基准测试列在 Mistral 的 官方博客.

最后更新于

这有帮助吗?