Inkling - 如何本地运行

了解如何在本地运行 Thinking Machine Labs 的 Inkling 多模态模型。

Thinking Machines Labs 的 Inkling 是开源权重的多模态模型，由以下部分组成： Inkling-Small 新的 276B （12B 激活）模型，以及更早的 975B （41B）参数模型。该模型采用 Apache 2.0 许可证，支持 100 万 token 的上下文窗口，并原生支持以下多模态输入： 文本, 图像、 音频, 并生成 文本 作为输出。Inkling 在编程、智能体与工具调用、RAG、聊天、多语言和多模态工作负载方面表现出色。

动态 2-bit 可达到 81% 的 top-1% 准确率，同时体积缩小 82%。这表明，如果我们用我们的 Unsloth 动态 GGUF 方法将模型缩小 82%——这并不意味着模型会变得“蠢” 82%——实际上只会看到约 18% 的性能下降。感谢 Thinking Machines Lab（TML）在第一时间为 Unsloth 提供访问权限。 Inkling-Small-GGUF 和 Inkling-GGUF

运行 Inkling 教程量化结果

⚙️ 使用指南

1-bit 动态量化 UD-IQ1_S 使用 270GB 的磁盘空间——这将需要 Mac Studio Ultra，或至少拥有约 290GB RAM+VRAM 的机器。

该 1 位 该量化可适配 290GB RAM，而 6/8-bit 需要 900GB RAM。右侧可查看 1-bit GGUF 的实际效果，我们让 Inkling 生成了一个数独 HTML 游戏。

右侧查看 Unsloth 中的 1-bit Inkling GGUF：

表：推理硬件要求 （单位 = 总内存：RAM + VRAM，或统一内存）：

模型	2 位	3 位	4-bit	6/8bit	BF16
Inkling-Small	89 GB	128 GB	132 - 170 GB	256 GB	543 GB
Inkling	325 GB	450 GB	600 GB	870 GB	1900 GB

表：975B Inkling 的 top-1% 保留率（准确率恢复）：

1 位	2 位	3 位	4-bit	6/8bit	BF16
74.2%-77.4%	81.0%	88.7%	94.4%	99.8%	100.0%

为获得最佳性能，请确保总可用内存（包括 VRAM 和系统 RAM）比量化模型文件大小充裕地大出一截。

使用 Inkling 1-bit 进行数独

使用 1-bit Inkling 进行音频解析

推荐设置

Inkling 具有非思考和思考模式。在 Unsloth Studio 你可以通过 UI 轻松切换思考和非思考模式。

大多数用例请使用这些设置：

默认设置（大多数任务）
temperature = 1.0
top_p = 1.0（关闭）

• 最大上下文窗口： 1,048,576.

聊天模板与思考努力程度

Inkling 使用了一个有趣的“Thinking effort level:”系统提示组件，其中它是一个从 0.00 到 0.99 的数值！对下面内容进行分词：

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("unsloth/inkling")
tokenizer.apply_chat_template([
    {"role" : "user", "content" : "1+1 等于多少？"},
    {"role" : "assistant", "content" : "2!"},
    {"role" : "user", "content" : "2+2 等于多少？"},
], tokenize = False, reasoning_effort = "xhigh")

将得到如下内容：

<|message_system|><|content_text|>思考努力级别：0.99<|end_message|><|message_user|><|content_text|>1+1 等于多少？<|end_message|><|message_model|><|content_text|>2!<|end_message|><|content_model_end_sampling|><|message_user|><|content_text|>2+2 等于多少？<|end_message|>

禁用思考，调整推理强度

Inkling 默认使用推理。它还支持推理努力程度，其中 reasoning_effort 可以是 none = 0、low = 0.2、medium = 0.7、high = 0.9、xhigh = 0.99 和 max = 0.99。

要禁用思考，请使用 --chat-template-kwargs '{"reasoning_effort":'none'}'。如果你使用的是 Windows PowerShell 上，请使用： --chat-template-kwargs "{\"reasoning_effort\":'none'}"

如需自定义推理强度或禁用推理，请使用以下示例：

--chat-template-kwargs '{"reasoning_effort":"none"}'
--chat-template-kwargs '{"reasoning_effort":"low"}'
--chat-template-kwargs '{"reasoning_effort":"medium"}'
--chat-template-kwargs '{"reasoning_effort":"high"}'
--chat-template-kwargs '{"reasoning_effort":"xhigh"}'
--chat-template-kwargs '{\"reasoning_effort\":\"max\"}'

Inkling 也支持交错思考和工具调用——即使使用动态 1-bit 量化也是如此！

运行 Inkling 教程：

Inkling 可在 Unsloth 上运行于 MacOS、Windows 和 Linux。你可以：

• 搜索、下载、 运行 GGUF 和 safetensor 模型

• 自我修复 工具调用 + 网页搜索

• 代码执行 （Python、Bash）

• 自动推理 参数调优（temp、top-p 等）

• 通过 llama.cpp 实现快速 CPU + GPU 推理

• 训练 LLM 速度快 2 倍，VRAM 占用减少 70%

1-bit Inkling GGUF 多模态示例

1

安装并启动 Unsloth

要安装，请在终端中运行：

MacOS、Linux、WSL：

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell：

irm https://unsloth.ai/install.ps1 | iex

启动 Unsloth

MacOS、Linux、WSL 和 Windows：

2

搜索并下载 Inkling

然后前往 Unsloth Chat 选项卡并搜索 Inkling 在搜索栏中下载你想要的模型和量化版本。确保你有足够的算力来运行模型。

3

运行 Inkling

在使用 Unsloth Studio 时，推理参数应会自动设置，不过你仍然可以手动更改。你也可以编辑上下文长度、聊天模板和其他设置。

更多信息请查看我们的 Unsloth Studio 推理指南.

在 Unsloth Studio 中运行的 1-bit Inkling

🦙 在 llama.cpp 中运行 Inkling

在本指南中，我们将运行 UD-IQ1_S 该量化将至少需要 290GB RAM。你可以自由更改量化类型。对于这些教程，我们将使用 llama.cpp 以进行快速本地推理。GGUF： Inkling-GGUF

下载 Unsloth

Unsloth 指南

https://unsloth.ai/download

1

获取指定的 llama.cpp PR 于 GitHub 这里。你也可以按照下面的构建说明操作。将 -DGGML_CUDA=ON 改为 -DGGML_CUDA=OFF 如果你没有 GPU，或者只想进行 CPU 推理。 对于 Apple Mac / Metal 设备，设置 -DGGML_CUDA=OFF 然后按常规继续——Metal 支持默认开启。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
gh pr checkout 25731
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

你现在可以使用 llama.cpp 直接加载和下载模型，就像 ollama run。首先，选择你想要的量化类型，例如 Q2_K_XL。还可以使用 export LLAMA_CACHE="folder" 来强制 llama.cpp 来保存到指定位置。注意，此下载过程可能非常慢，因此最好使用下一节中的手动下载方式。

Inkling-Small 276B：

export LLAMA_CACHE="unsloth/Inkling-Small-GGUF"
./build/bin/llama-cli \\
    -hf unsloth/Inkling-Small-GGUF:UD-Q3_K_XL \\
    --temp 1.0 \
    --top-p 1.0 \
    --min-p 0.0

Inkling 975B：

export LLAMA_CACHE="unsloth/Inkling-GGUF"
./build/bin/llama-cli \\
    -hf unsloth/Inkling-GGUF:UD-IQ1_S \\
    --temp 1.0 \
    --top-p 1.0 \
    --min-p 0.0

3

如果你想手动下载模型，我们可以通过下面的代码下载模型（在安装 pip install huggingface_hub）之后。如果下载卡住，请查看： Hugging Face Hub、XET 调试

Inkling-Small 276B：

hf download unsloth/Inkling-Small-GGUF \\
    --local-dir unsloth/Inkling-Small-GGUF \\
    --include "*UD-Q3_K_XL*" # 4-bit 使用 "*UD-Q4_K_XL*"

Inkling 975B：

hf download unsloth/Inkling-GGUF \\
    --local-dir unsloth/Inkling-GGUF \\
    --include "*UD-IQ1_S*" # 2-bit 使用 "*UD-Q2_K_XL*"

4

你可以修改 --threads 32 以设置 CPU 线程数， --ctx-size 32768 以设置上下文长度， --n-gpu-layers 2 用于 GPU 卸载的层数。若你的 GPU 显存不足，请尝试调整它。如果你只使用 CPU 推理，也请移除它。我们还在 llama.cpp 中实现了一个 Flash Attention bias 融合内核，以减少 VRAM 使用——但最好还是保持 --ctx-size 尽量适中！

Inkling-Small 276B：

./build/bin/llama-cli \\
    --model unsloth/Inkling-Small-GGUF/UD-Q3_K_XL/Inkling-Small-UD-Q3_K_XL-00001-of-00004.gguf \\
    --temp 1.0 \
    --top-p 1.0 \
    --min-p 0.0

Inkling 975B：

./build/bin/llama-cli \\
    --model unsloth/Inkling-GGUF/UD-IQ1_S/inkling-UD-IQ1_S-00001-of-00007.gguf \\
    --temp 1.0 \
    --top-p 1.0 \
    --min-p 0.0

📐量化分析

我们还进行了 KLD（KL 散度）基准测试，以评估 Inkling-GGUF 量化的准确性。我们首先为该模型创建了一个 8-bit + 6-bit 的混合量化方案，对 ffn_up 和 ffn_gate 的指数使用 6-bit，并发现从反量化角度看 RMSE 为 1e-4 或更低；将 ffn_down 量化会使误差增加 10 倍，因此在 8/6-bit 量化中它被保留为 Q8_0

在纯 top-1% 准确率上， 动态 1-bit 的准确率约为 74.2%，同时体积缩小 86%！动态 2-bit 的准确率约为 81%，同时体积缩小 82%。这表明，将某些层动态量化到更高精度并不会让模型变得不可用、毫无价值——我们展示了选择性量化层可以恢复很多准确率！

但“74% 准确率”究竟意味着什么？

这并不意味着有 26% 的时候模型会输出胡言乱语或错误结果——相反，它表示在前 26% 的情况下，它可能会更多选择第二高概率的答案。

例如，询问“创作一首诗”会产生截然不同的结果——74% 的时候，它会生成与 BF16 基线相似的诗歌，但 26% 的时候，它会生成另一首诗，但仍然是正确的。对于不涉及创造性和采样的事实性问题，模型将始终回忆出相同答案（例如“2+2 等于多少”，它永远会回答 4，绝不会是 5）

📊 基准测试

你可以在下方以表格形式查看 Inkling 的更多基准结果：

Inkling 结果按 effort=0.99 报告。对比评分生成于 2026 年 7 月 14 日。Nemotron 3 Ultra、Kimi K2.5、Kimi K2.6、GLM 5.2 和 DeepSeek V4 Pro 是开放权重模型；Gemini 3.1 Pro、Claude Fable 5 和 GPT 5.6 Sol 是闭源权重模型。

		Inkling	Nemotron 3 Ultra	Kimi K2.5	Kimi K2.6	GLM 5.2	DeepSeek V4 Pro	Gemini 3.1 Pro（high）	Claude Fable 5（max）	GPT 5.6 Sol（xhigh）
推理
	HLE（仅文本）	29.7%	26.6%	29.4%	35.9%	40.1%	35.9%	44.7%	53.3%	47.2%
	HLE（有工具）	46.0%	37.4%	50.2%	54.0%	54.7%	48.2%	51.4%	64.5%	55.0%
	AIME 2026	97.1%	94.2%	95.8%	96.4%	99.2%	96.7%	98.3%	–	99.9%
	GPQA Diamond	87.2%	86.7%	87.9%	91.1%	89.5%	88.8%	94.1%	92.6%	94.1%
智能体（编程）
	SWEBench Verified	77.6%	70.7%	76.8%	80.2%	–	80.6%	80.6%	95.0%	–
	SWEBench Pro（公开）	54.3%	46.4%	50.7%	58.6%	62.1%	55.4%	54.2%	80.0%	64.6%
	Terminal Bench 2.1（最佳测试框架）	63.8	56.4	51.3	71.3	82.7	64	73.8	84.6	89.5
	GDPVal-AA v2	1233	1164	1009	1190	1514	1307	962	1760	1748
智能体（通用）
	MCP Atlas	74.1%	44.7%	64.0%	68.1%	77.8%	73.2%	78.2%	83.3%	81.8%
	Tau 3 Banking	23.7%	13.8%	13.2%	20.6%	26.8%	25.8%	16.5%	26.8%	33.0%
事实性
	BrowseComp（含上下文）	77.1%	–	74.9%	83.2%	–	83.4%	85.9%	88.0%	89.4%
	SimpleQA Verified	43.9%	32.4%	36.9%	38.7%	38.1%	57.0%	77.3%	68.3%	71.6%
	AA Omniscience	1.0%	-1.0%	-8.0%	6.0%	4.0%	-10.0%	33.0%	40.0%	22.0%
聊天
	IFBench	79.8%	81.4%	70.2%	76.0%	73.3%	76.5%	77.1%	63.5%	72.7%
	Global-MMLU-Lite	88.7%	85.6%	84.0%	88.4%	89.2%	89.3%	92.7%	93.3%	91.8%
视觉
	MMMU Pro（标准 10）	73.3%	–	75.0%	79.0%	–	–	82.0%	84.2%	83.0%
	Charxiv RQ	78.1%	–	77.5%	80.4%	–	–	80.2%	86.5%	84.7%
	Charxiv RQ（含 Python）	82.0%	–	78.7%	86.7%	–	–	89.9%	89.4%	87.8%
音频
	音频选择题	56.6%	–	–	–	–	–	66.8%	–	–
	MMAU	77.2%	–	–	–	–	–	82.5%	–	–
	VoiceBench	91.4%	–	–	–	–	–	94.3%	–	–
安全性
	FORTRESS（对抗）	78.0%	77.6%	54.1%	65.6%	71.3%	36.0%	65.2%	96.0%	82.4%
	FORTRESS（良性）	95.9%	90.5%	98.3%	97.2%	90.0%	98.5%	98.0%	55.1%	98.1%
	StrongREJECT	98.6%	98.7%	99.5%	99.8%	98.5%	98.6%	98.0%	98.7%	98.5%