> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/zh/ji-chu-zhi-shi.md).

# 基础知识

- [Unsloth Dynamic 3.0 GGUF](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs.md)
- [Aider Polyglot 上的 Unsloth Dynamic GGUF](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs/unsloth-dynamic-ggufs-on-aider-polyglot.md): Unsloth Dynamic GGUF 在 Aider Polyglot 基准测试中的表现
- [如何使用 Unsloth 在本地运行图像扩散模型](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/diffusion-image.md)
- [如何将 Unsloth 用作 API 端点](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/api.md)
- [如何在任何地方提供本地 LLM 服务：使用 Cloudflare 和 Unsloth 进行安全远程访问](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/ru-he-zai-ren-he-di-fang-ti-gong-ben-di-llm-fu-wu-shi-yong-cloudflare-he-unsloth-jin-xing-an-quan-yu.md)
- [使用 Unsloth LAN Access 从网络中的任意设备提供本地 AI 模型服务](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/lan.md)
- [推理与部署](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment.md): 了解如何保存你微调后的模型，以便将其运行在你喜欢的推理引擎中。
- [保存为 GGUF](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/saving-to-gguf.md)
- [推测解码](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/saving-to-gguf/speculative-decoding.md): 使用 llama-server、llama.cpp、vLLM 等进行推测解码，实现 2 倍更快的推理
- [vLLM 部署与推理指南](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/vllm-guide.md): 关于保存和部署 LLM 到 vLLM，以便在生产环境中提供 LLM 服务的指南
- [vLLM 引擎参数](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/vllm-guide/vllm-engine-arguments.md)
- [LoRA 热切换指南](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/vllm-guide/lora-hot-swapping-guide.md)
- [将模型保存到 Ollama](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/saving-to-ollama.md)
- [将模型部署到 LM Studio](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/lm-studio.md): 将模型保存为 GGUF，以便你能将其运行并部署到 LM Studio
- [如何在 Linux 终端中安装 LM Studio CLI](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/lm-studio/how-to-install-lm-studio-cli-in-linux-terminal.md): 无需 UI 的 LM Studio CLI 安装指南，适用于终端实例。
- [SGLang 部署与推理指南](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/sglang-guide.md): 关于保存和部署 LLM 到 SGLang，以便在生产环境中提供 LLM 服务的指南
- [Unsloth 推理](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/unsloth-inference.md): 了解如何使用 Unsloth 更快的推理来运行你微调后的模型。
- [llama-server 与 OpenAI 端点部署指南](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/llama-server-and-openai-endpoint.md): 通过带有 OpenAI 兼容端点的 llama-server 进行部署
- [如何在你的 iOS 或 Android 手机上运行和部署 LLM](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/deploy-llms-phone.md): 使用 ExecuTorch 对你自己的 LLM 进行微调，并将其部署到你的 Android 手机或 iPhone 上的教程。
- [推理故障排查](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/troubleshooting-inference.md): 如果你在运行或保存模型时遇到问题。
- [使用 Hugging Face Jobs 部署 LLM](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/deploying-llms-with-hugging-face-jobs.md): 使用 Hugging Face jobs 和 skills 通过一个 SKILL，借助 Codex / Claude Code 微调 LFM。
- [如何使用 Claude Code 运行本地 LLM](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/claude-code.md): 在本地设备上使用 Claude Code 运行开源模型的指南。
- [如何使用 OpenAI Codex 运行本地 LLM](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/codex.md): 在本地设备上使用 OpenAI Codex 运行开源模型。
- [运行 Unsloth Dynamic NVFP4 指南](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/nvfp4.md): 了解 Unsloth Dynamic NVFP4 如何在 NVIDIA Blackwell GPU 上实现快速、精准的 4 位推理。
- [使用 Unsloth 在 AMD GPU 上训练并运行模型](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/amd.md)
- [如何将 MCP 服务器与本地 LLM 结合使用](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/mcp.md): 了解如何通过截图将 MCP 服务器连接到开源 AI 模型。
- [使用 Unsloth 进行多 GPU 微调](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/multi-gpu-training-with-unsloth.md): 了解如何使用 Unsloth 在多块 GPU 上进行 LLM 微调和并行训练。
- [使用分布式数据并行（DDP）进行多 GPU 微调](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/multi-gpu-training-with-unsloth/ddp.md): 了解如何使用 Unsloth CLI，通过分布式数据并行（DDP）在多块 GPU 上训练！
- [使用 Unsloth 微调嵌入模型指南](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/embedding-finetuning.md): 了解如何使用 Unsloth 轻松微调嵌入模型。
- [使用 Unsloth 将 MoE 模型微调速度提升 12 倍](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/faster-moe.md): 使用 Unsloth 指南在本地训练 MoE LLM。
- [文本转语音（TTS）微调指南](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/text-to-speech-tts-fine-tuning.md): 了解如何使用 Unsloth 微调 TTS 和 STT 语音模型。
- [本地 LLM 的工具调用指南](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/tool-calling-guide-for-local-llms.md)
- [视觉微调](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/vision-fine-tuning.md): 了解如何使用 Unsloth 微调视觉/多模态 LLM
- [故障排查与常见问题](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/troubleshooting-and-faqs.md): 解决问题的技巧，以及常见问答。
- [Hugging Face Hub、XET 调试](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md): 调试、排查卡住、停滞的下载以及慢速下载
- [聊天模板](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/chat-templates.md): 了解聊天模板的基础知识和自定义选项，包括 Conversational、ChatML、ShareGPT、Alpaca 等格式！
- [Unsloth 环境标志](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/unsloth-environment-flags.md): 一些高级标志，在你遇到微调崩溃，或者想要关闭某些功能时可能会很有用。
- [持续预训练](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/continued-pretraining.md): 即持续微调。Unsloth 允许你持续进行预训练，使模型能够学习新语言。
- [从上一个检查点继续微调](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/finetuning-from-last-checkpoint.md): 检查点功能可让你保存微调进度，从而可以暂停后再继续。
- [Unsloth 基准测试](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/unsloth-benchmarks.md): Unsloth 在 NVIDIA GPU 上记录的基准测试结果。


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://unsloth.ai/docs/zh/ji-chu-zhi-shi.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.