> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs.md). # Unsloth Dynamic 3.0 GGUF [**Unsloth**](https://github.com/unslothai/unsloth) **Dynamic v3.0** 是我们 Dynamic 量化的下一代版本，也是相较于 Dynamic v2.0 的重大改进。 今天，我们发布 [**Qwen3.8-27B**](/docs/zh/mo-xing/qwen3.8.md) Dynamic v3.0 量化版本，带来 **在相同尺寸下 top-1 准确率提升超过 10%** 相比于 **其他所有提供方**。这是我们首个共享版 **早期预览** 版本 Dynamic v3.0 的更新。新的 3.0 GGUF 可与大多数推理引擎兼容，包括 **llama.cpp** 和 [**Unsloth Desktop**](/docs/zh/desktop.md). {% columns %} {% column width="41.66666666666667%" %} 总体而言，Dynamic v3.0 在保持相同大小的同时保留了更多模型质量，并在诸如 **Divergence-300** @32 和 **KL 散度**. 也非常感谢大家的支持！我们在短短 5 天内看到了超过 510 万次 Unsloth Qwen3.8 下载！ {% endcolumn %} {% column width="58.33333333333333%" %}

更多图表/基准和分析见下方

{% endcolumn %} {% endcolumns %} 我们的新方法由许多新特性和改进组成。我们现在使用来自多样来源、质量高得多的 imatrix 校准数据集。该数据集经过优化，适用于 **智能体式编码、聊天**以及多语言性能。我们还改进了 **层选择** 并引入了更多量化技术，以尽可能保留模型质量。 我们 **不会在 imatrix 校准数据集上训练**，而且我们绝不使用 **QAT** 或 **QAD**。一切都通过 **后训练量化**完成。我们使用的 imatrix 文件已提供给社区进行测试、评估和使用。我们鼓励研究者和开发者使用我们的 Unsloth 量化版本/imatrix，为 Qwen3.8 创建变体和微调。你也可以阅读我们的 [过拟合分析](#not-overfitting) 。 * 我们还移除了小于 `UD-Q2_K_XL` （8.37GB 及以下）的较小量化版本中的 MTP 模块，以节省约 500MB 磁盘空间——如有需要，你可以使用 `Q4_0` 独立的 MTP 模块 * 我们还制作了一些更小的 UD-1bit 量化版本，其中 `UD-IQ1_S` 6.2GB（不含 MTP），保留了约 72% 的 top-1 准确率，却小了 89%。 * `UD-Q2_K_XL` top-1 准确率大约高出下一个最佳方案 8%，其大小为 9.83GB，并成功生成了一个可运行的 HTML 程序，仅有 1 个小 JS bug——之前它会崩溃。

使用 2-bit Qwen3.8-27B GGUF 生成

### 🔀 Divergence-300 @32 我们通常报告 top-1 准确率，就像 Kimi-K3 中的“Dynamic 1-bit 达到 **\~78.9%** top-1 准确率，同时 **小 62%**。”然而 top-1 只是对单次预测取 argmax，因此它并不真正适合衡量实际推理效果。 我们从 Terminal-Bench 2.1 + DeepSWE + Harbor + MathArena 2025-26 + 非拉丁/长文档提示词中创建了一个包含 300 个保留样本（不在校准数据集中）的数据集，并对 BF16 与所有量化版本及提供方做了 32 个 token 的 greedy argmax 解码。详见 [过拟合分析](#not-overfitting) 以了解更多关于过拟合的内容。 这使我们能够衡量是否存在过拟合，以及量化输出在多个 token 上是否与 BF16 的轨迹相似。相比 top-1 准确率，这是更好的指标，因为我们将 KLD top-1 扩展为类似 32 个 token 的 KLD top-1。
### :question:1-bit 不应用于智能体式用例 正如在 [#divergence-300-32](#divergence-300-32 "mention")中所见，从 UD-Q2\_K\_XL 到 UD-IQ2\_S，在 32 token 预测上会出现明显下降，准确率从约 25% 降至 8-10% 以下。这种急剧下降意味着工具调用和非思考模式会失效。使用 1-bit 时的一些问题和缓解方式： 1. **过度循环**\ 当使用低于 UD-Q2\_K\_XL 的量化版本时，你会看到大量循环——在所有情况下都使用 `presence_penalty = 1.5` （或更高） 2. **空响应**\ 对于 1-bit 量化版本，始终至少开启低推理的思考模式——非推理模式会导致模型甚至根本不输出 3. **智能体式用例与工具调用**\ 不要将该模型用于工具调用——只有 **通用知识会被保留** 在高度量化时保留下来，而模型要么无法调用工具，要么会持续调用工具，或者甚至根本不会调用。 4. **通用知识可用**\ 77% 的 top-1 恢复率并不能替代 Divergence-300 @32 上 8% 的结果，后者更能反映实际推理工作负载——你可以将该模型用于非常简短的通用知识事实问答，但最好使用 UD-Q2\_K\_XL。 ### 🔀 KL 散度基准测试 我们也对所有提供方进行了 KLD 基准测试，并报告 Top-1 和 KLD 均值。在所有级别，尤其是在较小量化尺寸上，Unsloth UD-3 量化版本在相同磁盘空间下可获得高达 +10% 的额外 top-1 准确率！ 所有图表在计算磁盘空间时都会从 x 轴中移除 MTP head，以便与所有人公平比较。
### :dove:不过拟合 与我们旧的 UD-2 在未见过的 Wikitext 和 Code 上比较时，我们在 KLD 上展示了很大的改进——较大的版本则没有那么明显，所以对于更大的量化版本我们仍使用旧的 UD-2——我们也计划继续实验并改进它们！ 我们还通过在校准时使用完全不同的数据集并尽可能移除所有泄漏来控制过拟合。我们在这些未见过的数据集上测试 KLD，而且我们也不做 QAD / QAT，只做纯 PTQ，因此与其他 QAD / QAT 方法相比，过拟合问题不那么值得担忧。
同样地 [#divergence-300-32](#divergence-300-32 "mention") 使用了来自 DeepSWE、Terminal Bench 等的 300 条提示词组成的未见过数据集，并作为另一个衡量过拟合的数据集——结果表明我们的新 UD-3 方法没有过拟合。 *** ## Dynamic v2.0（旧版） 我们正在推出 [Unsloth](https://github.com/unslothai/unsloth) Dynamic v2.0 量化——对我们之前量化版本的重大升级。这种新方法超越了领先的量化方法，并为以下方面设立了新的基准： [Aider Polyglot](/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs/unsloth-dynamic-ggufs-on-aider-polyglot.md)、5-shot MMLU 和 KL 散度。 这意味着你现在可以运行并微调 [量化 LLM](/docs/zh/mo-xing/tutorials.md) 同时尽可能保留准确率！你可以在大多数推理引擎上运行 2.0 GGUF，比如 llama.cpp、 [Unsloth Studio](/docs/zh/xin/studio.md) 等。 {% columns %} {% column %} **2026 年 4 月 20 日更新：** 查看我们针对以下内容的新 GGUF 基准： [Qwen3.6](/docs/zh/mo-xing/qwen3.6.md#unsloth-gguf-benchmarks) 和 [Gemma 4](/docs/zh/mo-xing/gemma-4.md#unsloth-gguf-benchmarks). [2026 年 2 月 27 日更新：](/docs/zh/mo-xing/qwen3.5/gguf-benchmarks.md) **Qwen3.5** 已经发布，我们修复了一些工具调用聊天模板问题，并对每个 GGUF 的困惑度和 KL 散度进行了基准测试。 [查看基准！](/docs/zh/mo-xing/qwen3.5/gguf-benchmarks.md) “ **关键优势** 使用 [Unsloth 包](https://github.com/unslothai/unsloth) 以及量化版本的一大作用，是我们积极修复大型模型中的 bug。我们曾直接与以下团队合作： [Qwen3](https://www.reddit.com/r/LocalLLaMA/comments/1kaodxu/qwen3_unsloth_dynamic_ggufs_128k_context_bug_fixes/), [Meta（Llama 4）](https://github.com/ggml-org/llama.cpp/pull/12889), [Mistral（Devstral）](https://app.gitbook.com/o/HpyELzcNe0topgVLGCZY/s/xhOjnexMCB3dmuQFQ2Zq/~/changes/618/basics/tutorials-how-to-fine-tune-and-run-llms/devstral-how-to-run-and-fine-tune), [Google（Gemma 1–3）](https://news.ycombinator.com/item?id=39671146) 和 [Microsoft（Phi-3/4）](https://simonwillison.net/2025/Jan/11/phi-4-bug-fixes)，并贡献了提高准确率的修复。 {% endcolumn %} {% column %}

Gemma 4 26B A4B 基准（越低越好）

Qwen3.6 基准（越低越好）

{% endcolumn %} {% endcolumns %} {% hint style="success" %} Unsloth Dynamic GGUF 现在可以在 [Unsloth Studio](/docs/zh/xin/studio.md) ✨ {% endhint %} {% hint style="success" %} [2025 年 9 月 10 日更新：](/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs/unsloth-dynamic-ggufs-on-aider-polyglot.md) 你们想要更难的基准，所以这里是 Aider Polyglot 的结果！我们的 Dynamic 3-bit DeepSeek V3.1 GGUF 得分 **75.6%**，超过了许多全精度 SOTA LLM。 [阅读更多。](/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs/unsloth-dynamic-ggufs-on-aider-polyglot.md) DeepSeek-V3.2 Thinking Aider BenchmarksLlama 4 5-shot MMLU Benchmarks {% endhint %} 你还可以查看 Benjamin Marie 为 LiveCodeBench v6、MMLU Pro 等进行的真实场景用例基准：
你可以看到，尽管比非 Unsloth 量化版本小约 8GB，Unsloth 的 GGUF 表现依然更好。 我们的基准和评估的详细分析见下方。 ### 💡 Dynamic v2.0 有什么新变化？ * **为 GGUF 和 safetensors 重新设计的层选择：** Unsloth Dynamic 2.0 现在会以更智能、更广泛的方式有选择地量化各层。我们不再只修改少数指定层，而是动态调整每一个可能层的量化类型，而且不同层和不同模型的组合都会不同。 * 当前选中的以及未来所有 GGUF 上传都将采用 Dynamic 2.0 和我们的新校准数据集。该数据集包含超过 150 万 **个 token** （取决于模型），并由高质量、人工整理和清洗的数据组成——以大幅提升对话聊天性能。 * 此前，我们的 Dynamic 量化（DeepSeek-R1 1.58-bit GGUF）仅对 MoE 架构有效。 **Dynamic 2.0 量化现在适用于所有模型（包括 MoE 和非 MoE）**. * **模型特定量化：** 现在每个模型都使用定制的量化方案。例如，Gemma 3 中被量化的层与 Llama 4 中的层有显著不同。 * 为了最大化效率，尤其是在 Apple Silicon 和 ARM 设备上，我们现在还添加了 Q4\_NL、Q5.1、Q5.0、Q4.1 和 Q4.0 格式。 为了确保准确的基准测试，我们构建了一个内部评估框架，以匹配 Llama 4 和 Gemma 3 官方报告的 5-shot MMLU 分数。这使我们能够在全精度与 Dynamic v2.0、 **QAT** 以及标准 **imatrix** GGUF 量化版本之间进行一对一比较。
未来所有 GGUF 上传都将采用 Unsloth Dynamic 2.0，而我们的 Dynamic 4-bit 安全张量量化版本未来也将从中受益。 ## 📊 为什么选择 KL 散度？ [准确率并非全部](https://arxiv.org/pdf/2407.09141) 展示了即使通过选择不必要的层进行剪枝，在“翻转”方面仍会产生巨大差异。“翻转”被定义为答案从错误变为正确，或反之亦然。论文表明，当我们剪枝层或进行量化时，MMLU 可能不会下降，但那是因为一些错误答案可能“翻转”为正确。我们的目标是匹配原始模型，因此衡量“翻转”是一个很好的指标。
{% hint style="info" %} **KL 散度** 应该是 **报告量化误差的黄金标准之一** 根据论文《Accuracy is Not All You Need》。 **使用困惑度是不正确的** 因为输出 token 值可能相互抵消，所以我们必须使用 KLD 或更难的基准，例如 [Aider](/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs/unsloth-dynamic-ggufs-on-aider-polyglot.md). {% endhint %} 论文还表明，KL 散度与翻转高度相关，因此我们的目标是在尽可能少增加量化磁盘空间的情况下，降低平均 KL 散度。 ## ⚖️ 校准数据集过拟合 大多数框架会使用 Wikipedia 文章的测试集来报告困惑度和 KL 散度。然而，我们注意到，使用同样与 Wikipedia 相关的校准数据集会导致量化版本过拟合，并获得更低的困惑度分数。我们使用 [Calibration\_v3](https://gist.github.com/bartowski1182/eb213dccb3571f863da82e99418f81e8) 和 [Calibration\_v5](https://gist.github.com/tristandruyen/9e207a95c7d75ddf37525d353e00659c/) 数据集进行公平测试，其中包含一些 wikitext 数据以及其他数据。 **此外，指令模型有独特的聊天模板，仅使用文本型校准数据集对指令模型并不有效** （基础模型可以）。事实上，大多数 imatrix GGUF 通常都会因为这些问题而被校准。因此，它们在同样使用 Wikipedia 数据的 KL 散度基准上自然表现更好，因为模型本质上是为该领域优化的。 为确保公平且受控的评估，在进行 KL 散度基准测试时，我们不会使用自己的校准数据集（它是为聊天性能优化的）。相反，我们使用相同的标准 Wikipedia 数据集进行测试，从而可以直接比较我们的 Dynamic 2.0 方法与基线 imatrix 方法的表现。 ## :1234: MMLU 复现冒险 * 复现 MMLU 5-shot 简直是噩梦。我们 **无法** 复现许多模型的 MMLU 结果，包括 Llama 3.1（8B）Instruct、Gemma 3（12B）等，原因是 **细微的实现问题**。例如，Llama 3.1（8B）理论上应达到约 68.2%，而使用错误实现只能达到 **35% 的准确率。**

MMLU 实现问题

* 使用朴素的 MMLU 实现时，Llama 3.1（8B）Instruct 的 MMLU 5-shot 准确率为 67.8%。不过我们发现 Llama **会将“ A”和“\_A”（前面带空格的 A）tokenize 为不同的 token id**。如果同时考虑带空格和不带空格的 token，我们得到 68.2% (+0.4%) * 有趣的是，按照 Eleuther AI 的 [LLM Harness](https://github.com/EleutherAI/lm-evaluation-harness/blob/main/lm_eval/tasks/llama3/instruct/mmlu/_continuation_template_yaml) ，Llama 3 也会在问题后追加 **“最佳答案是”** ，以遵循 Llama 3 原始的 MMLU 基准。 * 还有许多其他细微问题，因此为了在受控环境中对所有内容进行基准测试，我们从头设计了自己的 MMLU 实现，直接研究 [github.com/hendrycks/test](https://github.com/hendrycks/test) ，并在多个模型上验证了我们的结果，同时与报告数值进行比较。 ## :sparkles: Gemma 3 QAT 复现，基准 Gemma 团队发布了 Gemma 3 的两个 QAT（量化感知训练）版本： 1. Q4\_0 GGUF - 通过公式将所有层量化为 Q4\_0 `w = q * block_scale` 每个 block 有 32 个权重。详见 [llama.cpp wiki ](https://github.com/ggml-org/llama.cpp/wiki/Tensor-Encoding-Schemes)了解更多细节。 2. int4 版本——大概是 [TorchAO int4 风格](https://github.com/pytorch/ao/blob/main/torchao/quantization/README.md)? 我们对所有 Q4\_0 GGUF 版本都做了基准测试，并对 12B 模型进行了大量实验。我们看到 **12B Q4\_0 QAT 模型达到 67.07%** 而完整的 bfloat16 12B 版本在 5-shot MMLU 上达到 67.15%。这非常令人印象深刻！27B 模型基本上已经接近了！
指标1B4B12B27B
MMLU 5-shot26.12%55.13%67.07%（67.15% BF16）70.64%（71.5% BF16）
磁盘空间0.93GB2.94GB7.52GB16.05GB
效率*1.2010.265.592.84
我们设计了一个新的 **效率指标** ，它在考虑磁盘大小和 MMLU 5-shot 分数的同时，计算模型的实用性： $$ \text{Efficiency} = \frac{\text{MMLU 5 shot score} - 25}{\text{Disk Space GB}} $$ {% hint style="warning" %} 我们必须 **减去 25** 因为 MMLU 有 4 个选项——A、B、C 或 D。假设我们造一个只是随机选择答案的模型——它会得到 25% 的准确率，并且磁盘空间只占几字节。但显然这不是一个有用的模型。 {% endhint %} 关于相对于基础模型的 KL 散度，下面的表格展示了改进。提醒一下，KL 散度越接近 0 越好（即 0 表示与全精度模型完全相同） | 量化 | 基线 KLD | GB | 新 KLD | GB | | --------- | -------- | ----- | -------- | ----- | | IQ1\_S | 1.035688 | 5.83 | 0.972932 | 6.06 | | IQ1\_M | 0.832252 | 6.33 | 0.800049 | 6.51 | | IQ2\_XXS | 0.535764 | 7.16 | 0.521039 | 7.31 | | IQ2\_M | 0.26554 | 8.84 | 0.258192 | 8.96 | | Q2\_K\_XL | 0.229671 | 9.78 | 0.220937 | 9.95 | | Q3\_K\_XL | 0.087845 | 12.51 | 0.080617 | 12.76 | | Q4\_K\_XL | 0.024916 | 15.41 | 0.023701 | 15.64 | 如果我们绘制磁盘空间增加与 KL 散度变化比率的图，会看到更清晰的收益！我们的动态 2bit Q2\_K\_XL 将 KLD 降低了不少（约 7.5%）。
Gemma 3（27B）的 MMLU 结果截断表。见下方。 1. **我们的动态 4bit 版本小了 2GB，同时相比 QAT 版本还额外提升了 1% 准确率！** 2. 从效率角度看，2bit Q2\_K\_XL 等表现似乎非常好！ | 量化 | Unsloth | Unsloth + QAT | 磁盘大小 | 效率 | | -------------- | --------- | ------------- | --------- | -------- | | IQ1\_M | 48.10 | 47.23 | 6.51 | 3.42 | | IQ2\_XXS | 59.20 | 56.57 | 7.31 | 4.32 | | IQ2\_M | 66.47 | 64.47 | 8.96 | 4.40 | | Q2\_K\_XL | 68.70 | 67.77 | 9.95 | 4.30 | | Q3\_K\_XL | 70.87 | 69.50 | 12.76 | 3.49 | | **Q4\_K\_XL** | **71.47** | **71.07** | **15.64** | **2.94** | | **Google QAT** | | **70.64** | **17.2** | **2.65** |
点击这里 查看完整的 Google Gemma 3（27B）QAT 基准： | 模型 | Unsloth | Unsloth + QAT | 磁盘大小 | 效率 | | -------------- | --------- | ------------- | --------- | -------- | | IQ1\_S | 41.87 | 43.37 | 6.06 | 3.03 | | IQ1\_M | 48.10 | 47.23 | 6.51 | 3.42 | | IQ2\_XXS | 59.20 | 56.57 | 7.31 | 4.32 | | IQ2\_M | 66.47 | 64.47 | 8.96 | 4.40 | | Q2\_K | 68.50 | 67.60 | 9.78 | 4.35 | | Q2\_K\_XL | 68.70 | 67.77 | 9.95 | 4.30 | | IQ3\_XXS | 68.27 | 67.07 | 10.07 | 4.18 | | Q3\_K\_M | 70.70 | 69.77 | 12.51 | 3.58 | | Q3\_K\_XL | 70.87 | 69.50 | 12.76 | 3.49 | | Q4\_K\_M | 71.23 | 71.00 | 15.41 | 2.98 | | **Q4\_K\_XL** | **71.47** | **71.07** | **15.64** | **2.94** | | Q5\_K\_M | 71.77 | 71.23 | 17.95 | 2.58 | | Q6\_K | 71.87 | 71.60 | 20.64 | 2.26 | | Q8\_0 | 71.60 | 71.53 | 26.74 | 1.74 | | **Google QAT** | | **70.64** | **17.2** | **2.65** |
## :llama: Llama 4 修复 + 运行 我们也帮助修复了几个 Llama 4 的 bug： * Llama 4 Scout 在其官方仓库中更改了 RoPE Scaling 配置。我们帮助在 llama.cpp 中解决了相关问题以启用此项 [在此更改](https://github.com/ggml-org/llama.cpp/pull/12889)
* Llama 4 的 QK Norm 的 epsilon 值对于 Scout 和 Maverick 都应来自配置文件——这意味着使用 1e-05 而不是 1e-06。我们帮助在 [llama.cpp](https://github.com/ggml-org/llama.cpp/pull/12889) 和 [transformers](https://github.com/huggingface/transformers/pull/37418) * Llama 4 团队和 vLLM 也独立修复了一个问题，即 QK Norm 在所有 head 之间共享（本不应如此） [这里](https://github.com/vllm-project/vllm/pull/16311)。MMLU Pro 的准确率从 68.58% 提升到 71.53%。 * [Wolfram Ravenwolf](https://x.com/WolframRvnwlf/status/1909735579564331016) 展示了通过 llama.cpp 使用我们的 GGUF，与第三方推理提供方相比可获得高得多的准确率——这很可能是由上面解释的那些问题以及量化问题共同导致的。
如我们的图所示，我们的 4-bit Dynamic QAT 量化在 5-shot MMLU 上提供了更好的表现，同时尺寸也更小。 ### 运行 Llama 4 Scout： 例如，要运行 Llama 4 Scout，首先克隆 llama.cpp： ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` 然后下载我们为 Scout 提供的新 dynamic v2.0 量化： ```python # !pip install huggingface_hub hf_transfer import os os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1" from huggingface_hub import snapshot_download snapshot_download( repo_id = "unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF", local_dir = "unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF", allow_patterns = ["*IQ2_XXS*"], ) ``` 然后让我们开始推理！ {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \\ --model unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF/Llama-4-Scout-17B-16E-Instruct-UD-IQ2_XXS.gguf \\ --threads 32 \\ --ctx-size 16384 \ --n-gpu-layers 99 \ -ot ".ffn_.*_exps.=CPU" \\ --seed 3407 \ --prio 3 \ --temp 0.6 \\ --min-p 0.01 \ --top-p 0.9 \\ -no-cnv \ --prompt "<|header_start|>user<|header_end|>\n\n创建一个 Flappy Bird 游戏。<|eot|><|header_start|>assistant<|header_end|>\n\n" ``` {% endcode %} {% hint style="success" %} 在这里了解更多关于运行 Llama 4 的内容： {% endhint %} --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.