了解如何将 safetensor 或 LoRA 模型文件导出为 GGUF 或其他格式。
使用 Unsloth Studio 将模型导出、保存或转换为 GGUF、Safetensors 或 LoRA，用于在 Unsloth、llama.cpp、Ollama、vLLM 等环境中部署、共享或进行本地推理。可导出已训练的检查点，或转换任何现有模型。
首先选择要导出的训练运行。每次运行代表一次完整的训练会话，可能包含多个检查点。
选择运行后，选择要导出的检查点。检查点是在训练过程中创建并保存的模型版本。
较后期的检查点通常代表最终训练完成的模型，但你可以根据需要导出任何检查点。
根据你的工作流程，你可以导出合并模型、LoRA 适配器权重，或用于本地推理的 GGUF 模型。
每种导出方式会生成模型的不同版本，具体取决于你计划如何运行或共享它。下表解释了每个选项导出的内容。
合并模型
16 位模型 ，将 LoRA 适配器合并到基础权重中。
仅 LoRA
导出 仅适配器权重。需要原始基础模型。
GGUF / llama.cpp
将模型转换为 GGUF 格式 ，用于 Unsloth / llama.cpp / Ollama / LM Studio 推理。
导出模型时，你可以选择结果文件的保存位置。模型可以直接下载到你的机器，也可以推送到 Hugging Face Hub 进行托管和共享。
将导出的模型文件直接保存到你的机器上。此选项适用于在本地运行模型、手动分发文件或与本地推理工具集成。
将导出的模型上传到 Hugging Face Hub。这使你能够从一个中心仓库托管、共享和部署模型。
你需要一个 Hugging Face 写入令牌才能发布模型。
如果你已经通过 Hugging Face CLI 完成身份验证，则写入令牌可以留空。
最后更新于 2个月前
这有帮助吗？
