For the complete documentation index, see llms.txt. This page is also available as Markdown.

Inkling - 如何本地运行

了解如何在本地运行 Thinking Machine Labs 的 Inkling 多模态模型。

Thinking Machines Labs 的 Inkling 是开源权重的多模态模型,由以下部分组成: Inkling-Small 新的 276B (12B 激活)模型,以及更早的 975B (41B)参数模型。该模型采用 Apache 2.0 许可证,支持 100 万 token 的上下文窗口,并原生支持以下多模态输入: 文本, 图像音频, 并生成 文本 作为输出。Inkling 在编程、智能体与工具调用、RAG、聊天、多语言和多模态工作负载方面表现出色。

动态 2-bit 可达到 81% 的 top-1% 准确率,同时体积缩小 82%。这表明,如果我们用我们的 Unsloth 动态 GGUF 方法将模型缩小 82%——这并不意味着模型会变得“蠢” 82%——实际上只会看到约 18% 的性能下降。感谢 Thinking Machines Lab(TML)在第一时间为 Unsloth 提供访问权限。 Inkling-Small-GGUFInkling-GGUF

运行 Inkling 教程量化结果

⚙️ 使用指南

1-bit 动态量化 UD-IQ1_S 使用 270GB 的磁盘空间——这将需要 Mac Studio Ultra,或至少拥有约 290GB RAM+VRAM 的机器。

1 位 该量化可适配 290GB RAM,而 6/8-bit 需要 900GB RAM。右侧可查看 1-bit GGUF 的实际效果,我们让 Inkling 生成了一个数独 HTML 游戏。

右侧查看 Unsloth 中的 1-bit Inkling GGUF:

表:推理硬件要求 (单位 = 总内存:RAM + VRAM,或统一内存):

模型
2 位
3 位
4-bit
6/8bit
BF16

Inkling-Small

89 GB

128 GB

132 - 170 GB

256 GB

543 GB

Inkling

325 GB

450 GB

600 GB

870 GB

1900 GB

表:975B Inkling 的 top-1% 保留率(准确率恢复):

1 位
2 位
3 位
4-bit
6/8bit
BF16

74.2%-77.4%

81.0%

88.7%

94.4%

99.8%

100.0%

使用 Inkling 1-bit 进行数独
使用 1-bit Inkling 进行音频解析

推荐设置

Inkling 具有非思考和思考模式。在 Unsloth Studio 你可以通过 UI 轻松切换思考和非思考模式。

大多数用例请使用这些设置:

默认设置(大多数任务)

temperature = 1.0

top_p = 1.0(关闭)

  • 最大上下文窗口: 1,048,576.

聊天模板与思考努力程度

Inkling 使用了一个有趣的“Thinking effort level:”系统提示组件,其中它是一个从 0.00 到 0.99 的数值!对下面内容进行分词:

将得到如下内容:

禁用思考,调整推理强度

Inkling 默认使用推理。它还支持推理努力程度,其中 reasoning_effort 可以是 none = 0、low = 0.2、medium = 0.7、high = 0.9、xhigh = 0.99 和 max = 0.99。

要禁用思考,请使用 --chat-template-kwargs '{"reasoning_effort":'none'}'。如果你使用的是 Windows PowerShell 上,请使用: --chat-template-kwargs "{\"reasoning_effort\":'none'}"

如需自定义推理强度或禁用推理,请使用以下示例:

Inkling 也支持交错思考和工具调用——即使使用动态 1-bit 量化也是如此!

运行 Inkling 教程:

Inkling 可在 Unsloth 上运行于 MacOS、Windows 和 Linux。你可以:

1-bit Inkling GGUF 多模态示例
1

安装并启动 Unsloth

要安装,请在终端中运行:

MacOS、Linux、WSL:

Windows PowerShell:

启动 Unsloth

MacOS、Linux、WSL 和 Windows:

2

搜索并下载 Inkling

然后前往 Unsloth Chat 选项卡并搜索 Inkling 在搜索栏中下载你想要的模型和量化版本。确保你有足够的算力来运行模型。

3

运行 Inkling

在使用 Unsloth Studio 时,推理参数应会自动设置,不过你仍然可以手动更改。你也可以编辑上下文长度、聊天模板和其他设置。

更多信息请查看我们的 Unsloth Studio 推理指南.

在 Unsloth Studio 中运行的 1-bit Inkling

🦙 在 llama.cpp 中运行 Inkling

在本指南中,我们将运行 UD-IQ1_S 该量化将至少需要 290GB RAM。你可以自由更改量化类型。对于这些教程,我们将使用 llama.cpp 以进行快速本地推理。GGUF: Inkling-GGUF

下载 Unsloth

Unsloth 指南

https://unsloth.ai/download

1

获取指定的 llama.cpp PR 于 GitHub 这里。你也可以按照下面的构建说明操作。将 -DGGML_CUDA=ON 改为 -DGGML_CUDA=OFF 如果你没有 GPU,或者只想进行 CPU 推理。 对于 Apple Mac / Metal 设备,设置 -DGGML_CUDA=OFF 然后按常规继续——Metal 支持默认开启。

2

你现在可以使用 llama.cpp 直接加载和下载模型,就像 ollama run。首先,选择你想要的量化类型,例如 Q2_K_XL。还可以使用 export LLAMA_CACHE="folder" 来强制 llama.cpp 来保存到指定位置。注意,此下载过程可能非常慢,因此最好使用下一节中的手动下载方式。

Inkling-Small 276B:

Inkling 975B:

3

如果你想手动下载模型,我们可以通过下面的代码下载模型(在安装 pip install huggingface_hub)之后。如果下载卡住,请查看: Hugging Face Hub、XET 调试

Inkling-Small 276B:

Inkling 975B:

4

你可以修改 --threads 32 以设置 CPU 线程数, --ctx-size 32768 以设置上下文长度, --n-gpu-layers 2 用于 GPU 卸载的层数。若你的 GPU 显存不足,请尝试调整它。如果你只使用 CPU 推理,也请移除它。我们还在 llama.cpp 中实现了一个 Flash Attention bias 融合内核,以减少 VRAM 使用——但最好还是保持 --ctx-size 尽量适中!

Inkling-Small 276B:

Inkling 975B:

📐量化分析

我们还进行了 KLD(KL 散度)基准测试,以评估 Inkling-GGUF 量化的准确性。我们首先为该模型创建了一个 8-bit + 6-bit 的混合量化方案,对 ffn_up 和 ffn_gate 的指数使用 6-bit,并发现从反量化角度看 RMSE 为 1e-4 或更低;将 ffn_down 量化会使误差增加 10 倍,因此在 8/6-bit 量化中它被保留为 Q8_0

在纯 top-1% 准确率上, 动态 1-bit 的准确率约为 74.2%,同时体积缩小 86%!动态 2-bit 的准确率约为 81%,同时体积缩小 82%。这表明,将某些层动态量化到更高精度并不会让模型变得不可用、毫无价值——我们展示了选择性量化层可以恢复很多准确率!

但“74% 准确率”究竟意味着什么?

这并不意味着有 26% 的时候模型会输出胡言乱语或错误结果——相反,它表示在前 26% 的情况下,它可能会更多选择第二高概率的答案。

例如,询问“创作一首诗”会产生截然不同的结果——74% 的时候,它会生成与 BF16 基线相似的诗歌,但 26% 的时候,它会生成另一首诗,但仍然是正确的。对于不涉及创造性和采样的事实性问题,模型将始终回忆出相同答案(例如“2+2 等于多少”,它永远会回答 4,绝不会是 5)

📊 基准测试

你可以在下方以表格形式查看 Inkling 的更多基准结果:

Inkling 结果按 effort=0.99 报告。对比评分生成于 2026 年 7 月 14 日。Nemotron 3 Ultra、Kimi K2.5、Kimi K2.6、GLM 5.2 和 DeepSeek V4 Pro 是开放权重模型;Gemini 3.1 Pro、Claude Fable 5 和 GPT 5.6 Sol 是闭源权重模型。

Inkling
Nemotron 3 Ultra
Kimi K2.5
Kimi K2.6
GLM 5.2
DeepSeek V4 Pro
Gemini 3.1 Pro(high)
Claude Fable 5(max)
GPT 5.6 Sol(xhigh)

推理

HLE(仅文本)

29.7%

26.6%

29.4%

35.9%

40.1%

35.9%

44.7%

53.3%

47.2%

HLE(有工具)

46.0%

37.4%

50.2%

54.0%

54.7%

48.2%

51.4%

64.5%

55.0%

AIME 2026

97.1%

94.2%

95.8%

96.4%

99.2%

96.7%

98.3%

99.9%

GPQA Diamond

87.2%

86.7%

87.9%

91.1%

89.5%

88.8%

94.1%

92.6%

94.1%

智能体(编程)

SWEBench Verified

77.6%

70.7%

76.8%

80.2%

80.6%

80.6%

95.0%

SWEBench Pro(公开)

54.3%

46.4%

50.7%

58.6%

62.1%

55.4%

54.2%

80.0%

64.6%

Terminal Bench 2.1(最佳测试框架)

63.8

56.4

51.3

71.3

82.7

64

73.8

84.6

89.5

GDPVal-AA v2

1233

1164

1009

1190

1514

1307

962

1760

1748

智能体(通用)

MCP Atlas

74.1%

44.7%

64.0%

68.1%

77.8%

73.2%

78.2%

83.3%

81.8%

Tau 3 Banking

23.7%

13.8%

13.2%

20.6%

26.8%

25.8%

16.5%

26.8%

33.0%

事实性

BrowseComp(含上下文)

77.1%

74.9%

83.2%

83.4%

85.9%

88.0%

89.4%

SimpleQA Verified

43.9%

32.4%

36.9%

38.7%

38.1%

57.0%

77.3%

68.3%

71.6%

AA Omniscience

1.0%

-1.0%

-8.0%

6.0%

4.0%

-10.0%

33.0%

40.0%

22.0%

聊天

IFBench

79.8%

81.4%

70.2%

76.0%

73.3%

76.5%

77.1%

63.5%

72.7%

Global-MMLU-Lite

88.7%

85.6%

84.0%

88.4%

89.2%

89.3%

92.7%

93.3%

91.8%

视觉

MMMU Pro(标准 10)

73.3%

75.0%

79.0%

82.0%

84.2%

83.0%

Charxiv RQ

78.1%

77.5%

80.4%

80.2%

86.5%

84.7%

Charxiv RQ(含 Python)

82.0%

78.7%

86.7%

89.9%

89.4%

87.8%

音频

音频选择题

56.6%

66.8%

MMAU

77.2%

82.5%

VoiceBench

91.4%

94.3%

安全性

FORTRESS(对抗)

78.0%

77.6%

54.1%

65.6%

71.3%

36.0%

65.2%

96.0%

82.4%

FORTRESS(良性)

95.9%

90.5%

98.3%

97.2%

90.0%

98.5%

98.0%

55.1%

98.1%

StrongREJECT

98.6%

98.7%

99.5%

99.8%

98.5%

98.6%

98.0%

98.7%

98.5%

最后更新于

这有帮助吗?