> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/zh/ji-chu.md).

# 基础

- [Unsloth Dynamic 3.0 GGUF](https://unsloth.ai/docs/zh/ji-chu/dynamic-3.0-ggufs.md)
- [Aider Polyglot 上的 Unsloth Dynamic GGUF](https://unsloth.ai/docs/zh/ji-chu/dynamic-3.0-ggufs/unsloth-dynamic-ggufs-on-aider-polyglot.md): Unsloth Dynamic GGUF 在 Aider Polyglot 基准测试中的表现
- [如何将 Unsloth 作为 API 端点使用](https://unsloth.ai/docs/zh/ji-chu/api.md)
- [如何在任何地方提供本地 LLM 服务：使用 Cloudflare 和 Unsloth 进行安全远程访问](https://unsloth.ai/docs/zh/ji-chu/ru-he-zai-ren-he-di-fang-ti-gong-ben-di-llm-fu-wu-shi-yong-cloudflare-he-unsloth-jin-xing-an-quan-yu.md)
- [如何使用 Unsloth LAN Access 从网络中的任何设备提供本地 AI 模型服务](https://unsloth.ai/docs/zh/ji-chu/lan.md)
- [推理与部署](https://unsloth.ai/docs/zh/ji-chu/inference-and-deployment.md): 了解如何保存你微调后的模型，以便在你喜欢的推理引擎中运行。
- [保存为 GGUF](https://unsloth.ai/docs/zh/ji-chu/inference-and-deployment/saving-to-gguf.md)
- [投机解码](https://unsloth.ai/docs/zh/ji-chu/inference-and-deployment/saving-to-gguf/speculative-decoding.md): 使用 llama-server、llama.cpp、vLLM 等进行投机解码，实现 2 倍更快的推理
- [vLLM 部署与推理指南](https://unsloth.ai/docs/zh/ji-chu/inference-and-deployment/vllm-guide.md): 关于将 LLM 保存并部署到 vLLM 以用于生产服务的指南
- [vLLM 引擎参数](https://unsloth.ai/docs/zh/ji-chu/inference-and-deployment/vllm-guide/vllm-engine-arguments.md)
- [LoRA 热切换指南](https://unsloth.ai/docs/zh/ji-chu/inference-and-deployment/vllm-guide/lora-hot-swapping-guide.md)
- [将模型保存到 Ollama](https://unsloth.ai/docs/zh/ji-chu/inference-and-deployment/saving-to-ollama.md)
- [将模型部署到 LM Studio](https://unsloth.ai/docs/zh/ji-chu/inference-and-deployment/lm-studio.md): 将模型保存为 GGUF，以便在 LM Studio 中运行和部署
- [如何在 Linux 终端中安装 LM Studio CLI](https://unsloth.ai/docs/zh/ji-chu/inference-and-deployment/lm-studio/how-to-install-lm-studio-cli-in-linux-terminal.md): 无需 UI 的 LM Studio CLI 安装指南，可在终端实例中完成。
- [SGLang 部署与推理指南](https://unsloth.ai/docs/zh/ji-chu/inference-and-deployment/sglang-guide.md): 关于将 LLM 保存并部署到 SGLang 以用于生产服务的指南
- [Unsloth 推理](https://unsloth.ai/docs/zh/ji-chu/inference-and-deployment/unsloth-inference.md): 学习如何使用 Unsloth 更快的推理来运行你微调后的模型。
- [llama-server 和 OpenAI 端点部署指南](https://unsloth.ai/docs/zh/ji-chu/inference-and-deployment/llama-server-and-openai-endpoint.md): 通过 llama-server 部署并提供兼容 OpenAI 的端点
- [如何在你的 iOS 或 Android 手机上运行和部署 LLM](https://unsloth.ai/docs/zh/ji-chu/inference-and-deployment/deploy-llms-phone.md): 使用 ExecuTorch 微调你自己的 LLM，并将其部署到 Android 或 iPhone 的教程。
- [推理故障排除](https://unsloth.ai/docs/zh/ji-chu/inference-and-deployment/troubleshooting-inference.md): 如果你在运行或保存模型时遇到问题。
- [使用 Hugging Face Jobs 部署 LLM](https://unsloth.ai/docs/zh/ji-chu/inference-and-deployment/deploying-llms-with-hugging-face-jobs.md): 使用 Hugging Face jobs 和 skills 结合 Codex / Claude Code 以及一个 SKILL 来微调 LFM。
- [如何使用 Claude Code 运行本地 LLM](https://unsloth.ai/docs/zh/ji-chu/claude-code.md): 在本地设备上使用 Claude Code 配合开源模型的指南。
- [如何使用 OpenAI Codex 运行本地 LLM](https://unsloth.ai/docs/zh/ji-chu/codex.md): 在您的设备本地使用 OpenAI Codex 配合开源模型。
- [运行 Unsloth Dynamic NVFP4 指南](https://unsloth.ai/docs/zh/ji-chu/nvfp4.md): 了解 Unsloth Dynamic NVFP4 如何在 NVIDIA Blackwell GPU 上实现快速、准确的 4 位推理。
- [如何使用 Unsloth 在本地运行图像扩散模型](https://unsloth.ai/docs/zh/ji-chu/diffusion-image.md)
- [使用 Unsloth 在 AMD GPU 上训练并运行模型](https://unsloth.ai/docs/zh/ji-chu/amd.md)
- [如何将 MCP 服务器与本地 LLM 一起使用](https://unsloth.ai/docs/zh/ji-chu/mcp.md): 了解如何通过截图将 MCP 服务器连接到开放 AI 模型。
- [使用 Unsloth 进行多 GPU 微调](https://unsloth.ai/docs/zh/ji-chu/multi-gpu-training-with-unsloth.md): 了解如何使用 Unsloth 在多 GPU 和并行环境下对 LLM 进行微调。
- [使用分布式数据并行（DDP）进行多 GPU 微调](https://unsloth.ai/docs/zh/ji-chu/multi-gpu-training-with-unsloth/ddp.md): 了解如何使用 Unsloth CLI 通过分布式数据并行（DDP）在多 GPU 上训练！
- [使用 Unsloth 微调嵌入模型指南](https://unsloth.ai/docs/zh/ji-chu/embedding-finetuning.md): 了解如何轻松使用 Unsloth 微调嵌入模型。
- [使用 Unsloth 将 MoE 模型微调速度提升 12 倍](https://unsloth.ai/docs/zh/ji-chu/faster-moe.md): 使用 Unsloth 指南在本地训练 MoE LLM。
- [文本转语音（TTS）微调指南](https://unsloth.ai/docs/zh/ji-chu/text-to-speech-tts-fine-tuning.md): 了解如何使用 Unsloth 微调 TTS 和 STT 语音模型。
- [本地 LLM 工具调用指南](https://unsloth.ai/docs/zh/ji-chu/tool-calling-guide-for-local-llms.md)
- [视觉微调](https://unsloth.ai/docs/zh/ji-chu/vision-fine-tuning.md): 了解如何使用 Unsloth 微调视觉/多模态 LLM
- [故障排查与常见问题](https://unsloth.ai/docs/zh/ji-chu/troubleshooting-and-faqs.md): 解决问题的技巧，以及常见问题解答。
- [Hugging Face Hub、XET 调试](https://unsloth.ai/docs/zh/ji-chu/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md): 调试、排查卡住的下载以及下载缓慢问题
- [聊天模板](https://unsloth.ai/docs/zh/ji-chu/chat-templates.md): 了解聊天模板的基础知识和自定义选项，包括 Conversational、ChatML、ShareGPT、Alpaca 等格式！
- [Unsloth 环境标志](https://unsloth.ai/docs/zh/ji-chu/unsloth-environment-flags.md): 当微调出错，或者您想关闭某些功能时，可能会有用的高级标志。
- [继续预训练](https://unsloth.ai/docs/zh/ji-chu/continued-pretraining.md): 也称为持续微调。Unsloth 允许您持续进行预训练，让模型学习一门新语言。
- [从上一个检查点继续微调](https://unsloth.ai/docs/zh/ji-chu/finetuning-from-last-checkpoint.md): 检查点功能可让您保存微调进度，以便暂停后继续。
- [Unsloth 基准测试](https://unsloth.ai/docs/zh/ji-chu/unsloth-benchmarks.md): Unsloth 在 NVIDIA GPU 上记录的基准测试结果。


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://unsloth.ai/docs/zh/ji-chu.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.