学习如何将你的 safetensor 或 LoRA 模型文件导出为 GGUF 或其他格式。
使用 Unsloth Studio 将模型导出、保存或转换为 GGUF、Safetensors 或 LoRA，以便在 Unsloth、llama.cpp、Ollama、vLLM 等环境中部署、共享或进行本地推理。导出训练好的检查点或转换任何现有模型。
首先选择要从中导出的训练运行。每次运行代表一次完整的训练会话，可能包含多个检查点。
选择运行后，选择要导出的检查点。检查点是在训练过程中创建的模型保存版本。
较晚的检查点通常代表最终训练好的模型，但你可以根据需要导出任何检查点。
根据你的工作流程，你可以导出合并模型、LoRA 适配器权重，或用于本地推理的 GGUF 模型。
每种导出方式会生成模型的不同版本，取决于你计划如何运行或共享它。下表解释了每个选项导出的内容。
合并模型
16 位模型 将 LoRA 适配器合并到基础权重中。
仅 LoRA
导出 仅适配器权重。需要原始基础模型。
GGUF / llama.cpp
将模型转换为 GGUF 格式 以用于 Unsloth / llama.cpp / Ollama / LM Studio 推理。
导出模型时，你可以选择将生成的文件保存到何处。模型可以直接下载到你的机器，或推送到 Hugging Face Hub 以便托管和共享。
将导出的模型文件直接保存到你的机器。此选项适用于在本地运行模型、手动分发文件或与本地推理工具集成。
将导出的模型上传到 Hugging Face Hub。这使你能够从集中式仓库托管、共享和部署模型。
发布模型需要 Hugging Face 的写入令牌。
如果你已通过 Hugging Face CLI 完成身份验证，则写入令牌可以留空。
最后更新于17小时前
这有帮助吗？
