> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/zh/ji-chu-zhi-shi.md).

# 基础知识

- [Unsloth Dynamic 3.0 GGUF](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs.md)
- [Aider Polyglot 上的 Unsloth Dynamic GGUF](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs/unsloth-dynamic-ggufs-on-aider-polyglot.md): Aider Polyglot 基准测试中 Unsloth Dynamic GGUF 的性能
- [如何将 Unsloth 用作 API 端点](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/api.md)
- [如何在任何地方提供本地 LLM 服务：使用 Cloudflare 和 Unsloth 实现安全远程访问](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/ru-he-zai-ren-he-di-fang-ti-gong-ben-di-llm-fu-wu-shi-yong-cloudflare-he-unsloth-shi-xian-an-quan-yu.md)
- [如何使用 Unsloth LAN Access 从网络中的任何设备提供本地 AI 模型](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/lan.md)
- [使用本地 LLM 的浏览器使用](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/browser-use.md): 使用本地模型浏览网站，并在内置浏览器中完成任务。
- [推理与部署](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment.md): 了解如何保存你微调后的模型，以便在你喜欢的推理引擎中运行。
- [保存为 GGUF](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/saving-to-gguf.md)
- [投机解码](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/saving-to-gguf/speculative-decoding.md): 使用 llama-server、llama.cpp、vLLM 等进行投机解码，实现 2 倍更快的推理
- [vLLM 部署与推理指南](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/vllm-guide.md): 关于将 LLM 保存并部署到 vLLM 以在生产环境中提供 LLM 服务的指南
- [vLLM 引擎参数](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/vllm-guide/vllm-engine-arguments.md)
- [LoRA 热插拔指南](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/vllm-guide/lora-hot-swapping-guide.md)
- [将模型保存到 Ollama](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/saving-to-ollama.md)
- [将模型部署到 LM Studio](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/lm-studio.md): 将模型保存为 GGUF，以便你可以运行并将其部署到 LM Studio
- [如何在 Linux 终端中安装 LM Studio CLI](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/lm-studio/how-to-install-lm-studio-cli-in-linux-terminal.md): 在终端实例中无 UI 安装 LM Studio CLI 的指南。
- [SGLang 部署与推理指南](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/sglang-guide.md): 关于将 LLM 保存并部署到 SGLang 以在生产环境中提供 LLM 服务的指南
- [Unsloth 推理](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/unsloth-inference.md): 了解如何使用 Unsloth 更快的推理来运行你微调后的模型。
- [llama-server 与 OpenAI 端点部署指南](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/llama-server-and-openai-endpoint.md): 通过 llama-server 使用兼容 OpenAI 的端点进行部署
- [如何在你的 iOS 或 Android 手机上运行和部署 LLM](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/deploy-llms-phone.md): 使用 ExecuTorch 微调你自己的 LLM，并将其部署到你的 Android 手机或 iPhone 上的教程。
- [推理故障排除](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/troubleshooting-inference.md): 如果你在运行或保存模型时遇到问题。
- [使用 Hugging Face Jobs 部署 LLM](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/deploying-llms-with-hugging-face-jobs.md): 使用 Hugging Face jobs 和 skills，通过一个 SKILL 来结合 Codex / Claude Code 微调 LFM。
- [如何使用 Claude Code 运行本地 LLM](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/claude-code.md): 在你的本地设备上使用 Claude Code 与开源模型的指南。
- [如何使用 OpenAI Codex 运行本地 LLM](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/codex.md): 在你的设备本地使用 OpenAI Codex 运行开源模型。
- [使用 Unsloth 训练你自己的决策模型](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/shi-yong-unsloth-xun-lian-ni-zi-ji-de-jue-ce-mo-xing.md): 微调像 Qwen 和 Gemma 这样的 LLM，用经过校准的概率来做决策。
- [Unsloth Dynamic NVFP4 运行指南](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/nvfp4.md): 了解 Unsloth Dynamic NVFP4 如何在 NVIDIA Blackwell GPU 上实现快速、准确的 4 位推理。
- [如何使用 Unsloth 在本地运行图像扩散模型](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/diffusion-image.md)
- [使用 Unsloth 在 AMD GPU 上训练和运行模型](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/amd.md)
- [如何将 MCP 服务器与本地 LLM 一起使用](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/mcp.md): 了解如何通过截图将 MCP 服务器连接到开源 AI 模型。
- [使用 Unsloth 进行多 GPU 微调](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/multi-gpu-training-with-unsloth.md): 了解如何使用 Unsloth 在多块 GPU 上对 LLM 进行微调以及并行化。
- [使用分布式数据并行（DDP）进行多 GPU 微调](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/multi-gpu-training-with-unsloth/ddp.md): 了解如何使用 Unsloth CLI 通过分布式数据并行（DDP）在多块 GPU 上训练！
- [Unsloth 向量嵌入模型微调指南](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/embedding-finetuning.md): 了解如何轻松使用 Unsloth 对向量嵌入模型进行微调。
- [使用 Unsloth 将 MoE 模型微调速度提升 12 倍](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/faster-moe.md): 使用 Unsloth 指南在本地训练 MoE LLM。
- [文本转语音（TTS）微调指南](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/text-to-speech-tts-fine-tuning.md): 了解如何使用 Unsloth 对 TTS 和 STT 语音模型进行微调。
- [本地 LLM 工具调用指南](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/tool-calling-guide-for-local-llms.md)
- [视觉微调](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/vision-fine-tuning.md): 了解如何使用 Unsloth 对视觉/多模态 LLM 进行微调
- [故障排查与常见问题](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/troubleshooting-and-faqs.md): 解决问题的技巧，以及常见问题解答。
- [Hugging Face Hub、XET 调试](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md): 调试下载卡住、停滞以及下载速度慢的问题
- [聊天模板](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/chat-templates.md): 了解聊天模板的基础知识和自定义选项，包括 Conversational、ChatML、ShareGPT、Alpaca 等格式！
- [Unsloth 环境标志](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/unsloth-environment-flags.md): 高级标志；如果你遇到微调损坏，或者想关闭某些功能，它们可能会有用。
- [继续预训练](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/continued-pretraining.md): 也称为持续微调。Unsloth 允许你持续进行预训练，使模型能够学习新语言。
- [从上一个检查点继续微调](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/finetuning-from-last-checkpoint.md): 检查点功能可让你保存微调进度，以便暂停后继续。
- [Unsloth 基准测试](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/unsloth-benchmarks.md): Unsloth 记录的 NVIDIA GPU 基准测试。


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/zh/ji-chu-zhi-shi.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.