Mistral Large 4(Le Chonk):本地运行
使用 Unsloth 和 llama.cpp 在本地运行 Mistral Large 4 GGUF 的指南。
Mistral Large 4(Le Chonk)是 Mistral 的 1 万亿参数 MoE 模型,拥有 520 亿活跃参数 (包括嵌入层和输出层)。Mistral Large 4 是 迄今最强的西方开源 模型,支持文本和图像输入,拥有 100 万上下文 窗口、160+ 种语言以及推理能力。你可以通过 Unsloth 或 llama.cpp 使用 Unsloth Dynamic GGUFs 在本地运行 Le Chonk。GGUF: Mistral-Large-4-1T-A52B-GGUF
动态 1bit 保留 91% 的 top-1 准确率 ,覆盖编程、智能体任务、数学和其他领域,同时体积缩小 80%(223GB 对比 1.1TB FP8)。动态 2bit 保留 95% 的 top-1 准确率,同时体积缩小 66%(378GB)。感谢 Mistral 在首日提供访问权限。
⚙️ 使用指南
最小的动态 1-bit 量化, UD-IQ1_S,大约使用 233GB 磁盘空间,应可装入 256GB RAM,包括 Mac Studio 或 2 台 NVIDIA DGX Spark。
表:硬件需求 (单位 = 总内存:RAM + VRAM,或统一内存)
256–270GB
310–390GB
435–500GB
630GB
1.2TB
为了获得最佳性能,你可用的总 RAM + VRAM,或统一内存,应大于量化文件大小,并为操作系统、KV 缓存和运行时缓冲区留出空间。更长的上下文需要更多内存。
推荐设置
Mistral 对所有推理场景都推荐相同的采样设置:
1.0
0.95
推理努力 = 低、中、高
最大 上下文窗口 为
1,048,576个 token。
我们还为所有量化版本运行了 KLD 基准测试——更多细节见 Mistral Large 4

运行 Mistral Large 4 教程:
下面的示例使用 UD-Q2_K_XL 进行文本推理。你可以将量化类型更改为 GGUF 仓库.
🦥 在 Unsloth 中运行 Mistral Large 4
Unsloth Desktop 在本地运行 GGUF,支持 macOS、Windows 和 Linux,可自动卸载到 RAM,并检测多 GPU 设置。
安装 Unsloth
最简单的开始方式是下载 Unsloth Desktop 应用。适用于 macOS, Windows,以及 Linux.
或者,如果你更喜欢手动安装:
MacOS、Linux、WSL:
Windows PowerShell:
搜索并下载 Mistral Large 4
前往 Unsloth Chat 或 Model hub,搜索 Mistral-Large-4-1T-A52B 并选择 unsloth/Mistral-Large-4-1T-A52B-GGUF。使用上面的大小和内存需求下载你想要的量化版本。
运行 Mistral Large 4
Mistral Large 4 默认使用 高 推理努力。使用 低 用于快速聊天, 中 用于日常任务,或使用 高 用于复杂提示词和智能体编程。Unsloth 会自动为你选择最佳配置,但你仍然可以手动调整。
更多信息请查看我们的 Unsloth 推理指南.
使用 Unsloth API 提供 Mistral Large 4 服务
你可以使用 unsloth run 命令,通过 API 提供 Mistral Large 4 服务,使用 llama-server 运行时标志,包括上下文大小、GPU 层数、线程和采样。更多信息见我们的 API 文档 或 unsloth start.
请使用支持 Mistral Large 4 的运行时。
量化分析
我们在工具调用、编程和长链智能体轨迹等多个领域运行了 KLD 和 top-1% 基准测试,结果表明 Unsloth 动态量化(UD3)在显著缩小模型体积的同时,仍能保留大量准确率。

我们还运行了 KLD,并按语料库分别提供如下结果:

🦙 在 llama.cpp 中运行 Mistral Large 4
使用带有 Mistral Large 4 支持的 llama.cpp 构建版本。下面的命令使用 UD-Q2_K_XL 量化版本(大约 378GB).
安装 llama.cpp
获取 GitHub 上的 llama.cpp,或按下方构建。在带有 NVIDIA GPU 的 Linux 上,先安装 CUDA 工具包和构建依赖:
对于 CPU 或 Apple Metal,使用 -DGGML_CUDA=OFF。macOS 默认启用 Metal 支持。对于 Windows 和其他 GPU 后端,请遵循仓库中的构建说明。
下载并运行 Mistral Large 4
此命令会下载量化版本并启动本地聊天服务器:
打开 http://127.0.0.1:8080 在浏览器中开始聊天。API 位于 http://127.0.0.1:8080/v1.
示例使用了 32K 上下文 以限制 KV 缓存内存。 --top-k 0 和 --min-p 0.0 会禁用额外的采样过滤器,从而使推荐的 temperature 和 top-p 设置生效。如果内存不足,请降低 --ctx-size 或选择更小的量化版本。
基准测试
更多基准测试列在 Mistral 的 官方博客.




最后更新于
这有帮助吗?


