Grok 2

在本地运行 xAI 的 Grok 2 模型！

你现在可以运行 Grok 2 （又名 Grok 2.5），这是 xAI 的 270B 参数模型。完整精度需要 539GB，而 Unsloth Dynamic 3-bit 版本将体积缩小到仅 118GB （减少 75%）。GGUF： Grok-2-GGUF

该 3-bit Q3_K_XL 模型可在单个 128GB Mac 或 24GB VRAM + 128GB RAM上运行，并实现 5+ tokens/s 推理。感谢 llama.cpp 团队和社区对 Grok 2 的支持，使这一切成为可能。我们也很高兴能在过程中提供了一点帮助！

所有上传都使用 Unsloth Dynamic 2.0 在 SOTA 5-shot MMLU 和 KL 散度性能上表现出色，这意味着你可以在几乎不损失准确率的情况下运行量化的 Grok LLM。

在 llama.cpp 中运行教程

⚙️ 推荐设置

3-bit 动态量化占用 118GB（126GiB）磁盘空间——这在配备 128GB RAM 统一内存的 Mac 上，或在 1 张 24GB 显卡加 128GB RAM 的机器上都能很好运行。建议至少拥有 120GB RAM 来运行此 3-bit 量化。

你必须使用 --jinja 用于 Grok 2。如果你不使用，可能会得到错误结果 --jinja

8-bit 量化大小约为 300GB，可装入 1 张 80GB GPU（MoE 层卸载到 RAM）。如果你还额外有 200GB RAM，预计在这种配置下速度约为 5 tokens/s。要了解如何提高生成速度并适配更长上下文，请阅读这里.

虽然不是必须，但为了获得最佳性能，建议你的 VRAM + RAM 总和等于你下载的量化模型大小。如果不满足这一点，硬盘 / SSD 卸载也可以与 llama.cpp 一起工作，只是推理会更慢。

采样参数

Grok 2 的最大上下文长度为 128K，因此请使用 131,072 上下文或更少。
使用 --jinja 适用于 llama.cpp 变体

运行该模型没有官方采样参数，因此对于大多数模型你可以使用标准默认值：

设置 temperature = 1.0
Min_P = 0.01 （可选，但 0.01 效果很好，llama.cpp 默认值是 0.1）

运行 Grok 2 教程：

目前你只能在 llama.cpp 中运行 Grok 2。

✨ 在 llama.cpp 中运行

安装特定的 llama.cpp 用于 Grok 2 的 PR，位于 GitHub 这里。你也可以按照下面的构建说明操作。将 -DGGML_CUDA=ON 改为 -DGGML_CUDA=OFF 如果你没有 GPU，或者只想进行 CPU 推理。 对于 Apple Mac / Metal 设备，设置 -DGGML_CUDA=OFF 然后照常继续——Metal 支持默认开启。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp && git fetch origin pull/15539/head:MASTER && git checkout MASTER && cd ..
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split llama-mtmd-cli llama-server
cp llama.cpp/build/bin/llama-* llama.cpp

如果你想使用 llama.cpp 要直接加载模型，你可以使用下面的方法：（:Q3_K_XL）是量化类型。你也可以通过 Hugging Face 下载（第 3 点）。这与以下方式类似 ollama run 。使用 export LLAMA_CACHE="folder" 来强制 llama.cpp 保存到特定位置。请记住，该模型的最大上下文长度只有 128K。

请尝试 -ot ".ffn_.*_exps.=CPU" 将所有 MoE 层卸载到 CPU！这实际上允许你将所有非 MoE 层放到 1 张 GPU 上，从而提高生成速度。如果你有更多 GPU 容量，可以自定义正则表达式以适配更多层。

如果你的 GPU 内存再多一些，尝试 -ot ".ffn_(up|down)_exps.=CPU" 这会卸载上、下投影 MoE 层。

再试试 -ot ".ffn_(up)_exps.=CPU" 如果你的 GPU 内存更多一些。这样只会卸载上投影 MoE 层。

最后通过以下方式卸载所有层： -ot ".ffn_.*_exps.=CPU" 这使用的 VRAM 最少。

你也可以自定义正则表达式，例如 -ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU" 表示从第 6 层开始卸载 gate、up 和 down MoE 层。

export LLAMA_CACHE="unsloth/grok-2-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/grok-2-GGUF:Q3_K_XL \\
    --jinja \
    --n-gpu-layers 99 \\
    --temp 1.0 \
    --top-p 0.95 \
    --min-p 0.01 \
    --ctx-size 16384 \
    --seed 3407 \
    -ot ".ffn_.*_exps.=CPU"

通过以下方式下载模型（在安装 pip install huggingface_hub hf_transfer 之后）。你可以选择 UD-Q3_K_XL （动态 3-bit 量化）或其他量化版本，如 Q4_K_M 。我们 建议使用我们的 2.7bit 动态量化 UD-Q2_K_XL 或更高，以平衡体积和准确率.

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0" # 有时会触发速率限制，因此设为 0 以禁用
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/grok-2-GGUF",
    local_dir = "unsloth/grok-2-GGUF",
    allow_patterns = ["*UD-Q3_K_XL*"], # 动态 3bit
)

你可以编辑 --threads 32 来设置 CPU 线程数， --ctx-size 16384 来设置上下文长度， --n-gpu-layers 2 来设置 GPU 卸载多少层。如果你的 GPU 显存不足，请尝试调整它。如果你只进行 CPU 推理，也请移除它。

./llama.cpp/llama-cli \
    --model unsloth/grok-2-GGUF/UD-Q3_K_XL/grok-2-UD-Q3_K_XL-00001-of-00003.gguf \\
    --jinja \
    --threads -1 \\
    --n-gpu-layers 99 \\
    --temp 1.0 \
    --top-p 0.95 \
    --min-p 0.01 \
    --ctx-size 16384 \
    --seed 3407 \
    -ot ".ffn_.*_exps.=CPU"