> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/zh/mo-xing.md).

# 模型

- [Qwen3.8 - 如何本地运行](https://unsloth.ai/docs/zh/mo-xing/qwen3.8.md): 在本地环境中运行 Qwen3.8 量化模型的指南，包括 Qwen3.8-27B。
- [Muse Glimmer - 如何本地运行](https://unsloth.ai/docs/zh/mo-xing/muse-glimmer.md): 了解如何运行 Meta 新的 Muse Glimmer 30B 模型。
- [Muse Glimmer 微调指南](https://unsloth.ai/docs/zh/mo-xing/muse-glimmer/train.md): 使用 Unsloth 训练 Meta 的 Muse Glimmer 30B 模型。
- [DeepSeek-V4：如何本地运行](https://unsloth.ai/docs/zh/mo-xing/deepseek-v4.md): 在你自己的设备上本地运行 DeepSeek-V4-Pro-0813 和 DeepSeek-V4-Flash-0731！
- [Kimi K3 - 如何本地运行](https://unsloth.ai/docs/zh/mo-xing/kimi-k3.md): 在本地环境中运行 Kimi K3 量化模型的指南。
- [大型语言模型（LLM）教程](https://unsloth.ai/docs/zh/mo-xing/tutorials.md)
- [Qwen3 - 如何运行与微调](https://unsloth.ai/docs/zh/mo-xing/tutorials/qwen3-how-to-run-and-fine-tune.md): 学习如何在本地使用 Unsloth + 我们的 Dynamic 2.0 量化模型运行和微调 Qwen3
- [Qwen3-VL：运行指南](https://unsloth.ai/docs/zh/mo-xing/tutorials/qwen3-how-to-run-and-fine-tune/qwen3-vl-how-to-run-and-fine-tune.md): 学习如何使用 Unsloth 在本地微调和运行 Qwen3-VL。
- [Qwen3-2507：本地运行指南](https://unsloth.ai/docs/zh/mo-xing/tutorials/qwen3-how-to-run-and-fine-tune/qwen3-2507.md): 在你的设备上本地运行 Qwen3-30B-A3B-2507 和 235B-A22B 的 Thinking 与 Instruct 版本！
- [MiniMax-M2.7 - 如何本地运行](https://unsloth.ai/docs/zh/mo-xing/tutorials/minimax-m27.md): 在你自己的设备上本地运行 MiniMax-M2.7 LLM！
- [GLM-5：如何本地运行指南](https://unsloth.ai/docs/zh/mo-xing/tutorials/glm-5.md): 在你自己的本地设备上运行 Z.ai 的新 GLM-5 模型！
- [Kimi K2.5：如何本地运行指南](https://unsloth.ai/docs/zh/mo-xing/tutorials/kimi-k2.5.md): 在你自己的本地设备上运行 Kimi-K2.5 的指南！
- [GLM-4.7-Flash：如何本地运行](https://unsloth.ai/docs/zh/mo-xing/tutorials/glm-4.7-flash.md): 在你的设备上本地运行并微调 GLM-4.7-Flash！
- [Gemma 3 - 如何运行指南](https://unsloth.ai/docs/zh/mo-xing/tutorials/gemma-3-how-to-run-and-fine-tune.md): 了解如何使用我们的 GGUF 在 llama.cpp、Ollama、Open WebUI 上有效运行 Gemma 3，以及如何使用 Unsloth 进行微调！
- [Gemma 3n：如何运行与微调](https://unsloth.ai/docs/zh/mo-xing/tutorials/gemma-3-how-to-run-and-fine-tune/gemma-3n-how-to-run-and-fine-tune.md): 在 llama.cpp、Ollama、Open WebUI 上使用 Dynamic GGUF 在本地运行 Google 的新 Gemma 3n，并使用 Unsloth 进行微调！
- [Qwen3-Coder：如何本地运行](https://unsloth.ai/docs/zh/mo-xing/tutorials/qwen3-coder-how-to-run-locally.md): 使用 Unsloth Dynamic 量化模型在本地运行 Qwen3-Coder-30B-A3B-Instruct 和 480B-A35B。
- [MiniMax-M2.5：如何运行指南](https://unsloth.ai/docs/zh/mo-xing/tutorials/minimax-m25.md): 在你自己的设备上本地运行 MiniMax-M2.5！
- [DeepSeek-OCR 2：如何运行与微调指南](https://unsloth.ai/docs/zh/mo-xing/tutorials/deepseek-ocr-2.md): 关于如何在本地运行和微调 DeepSeek-OCR-2 的指南。
- [GLM-4.7：如何本地运行指南](https://unsloth.ai/docs/zh/mo-xing/tutorials/glm-4.7.md): 关于如何在你自己的本地设备上运行 Z.ai GLM-4.7 模型的指南！
- [如何在 ComfyUI 中本地运行 Qwen-Image-2512](https://unsloth.ai/docs/zh/mo-xing/tutorials/qwen-image-2512.md): 使用 ComfyUI 在你的本地设备上运行 Qwen-Image-2512 的分步教程。
- [在 stable-diffusion.cpp 中运行 Qwen-Image-2512 教程](https://unsloth.ai/docs/zh/mo-xing/tutorials/qwen-image-2512/stable-diffusion.cpp.md): 在 stable-diffusion.cpp 中使用 Qwen-Image-2512 的教程。
- [Devstral 2 - 如何运行指南](https://unsloth.ai/docs/zh/mo-xing/tutorials/devstral-2.md): Mistral Devstral 2 模型的本地运行指南：123B-Instruct-2512 和 Small-2-24B-Instruct-2512。
- [Ministral 3 - 如何运行指南](https://unsloth.ai/docs/zh/mo-xing/tutorials/ministral-3.md): Mistral Ministral 3 模型指南，可在你的设备上本地运行或微调
- [DeepSeek-OCR：如何运行与微调](https://unsloth.ai/docs/zh/mo-xing/tutorials/deepseek-ocr-how-to-run-and-fine-tune.md): 关于如何在本地运行和微调 DeepSeek-OCR 的指南。
- [Kimi K2 Thinking：本地运行指南](https://unsloth.ai/docs/zh/mo-xing/tutorials/kimi-k2-thinking-how-to-run-locally.md): 关于在你自己的本地设备上运行 Kimi-K2-Thinking 和 Kimi-K2 的指南！
- [GLM-4.6：本地运行指南](https://unsloth.ai/docs/zh/mo-xing/tutorials/glm-4.6-how-to-run-locally.md): 关于如何在你自己的本地设备上运行 Z.ai GLM-4.6 和 GLM-4.6V-Flash 模型的指南！
- [Qwen3-Next：本地运行指南](https://unsloth.ai/docs/zh/mo-xing/tutorials/qwen3-next.md): 在你的设备上本地运行 Qwen3-Next-80B-A3B-Instruct 和 Thinking 版本！
- [FunctionGemma：如何运行与微调](https://unsloth.ai/docs/zh/mo-xing/tutorials/functiongemma.md): 了解如何在你的设备和手机上本地运行和微调 FunctionGemma。
- [DeepSeek-V3.1：如何本地运行](https://unsloth.ai/docs/zh/mo-xing/tutorials/deepseek-v3.1-how-to-run-locally.md): 关于如何在你自己的本地设备上运行 DeepSeek-V3.1 和 Terminus 的指南！
- [DeepSeek-R1-0528：如何本地运行](https://unsloth.ai/docs/zh/mo-xing/tutorials/deepseek-r1-0528-how-to-run-locally.md): 关于如何在你自己的本地设备上运行 DeepSeek-R1-0528（包括 Qwen3）的指南！
- [Liquid LFM2.5：如何运行与微调](https://unsloth.ai/docs/zh/mo-xing/tutorials/lfm2.5.md): 在你的设备上本地运行并微调 LFM2.5 Instruct 和 Vision！
- [Magistral：如何运行与微调](https://unsloth.ai/docs/zh/mo-xing/tutorials/magistral-how-to-run-and-fine-tune.md): 认识 Magistral——Mistral 新的推理模型。
- [IBM Granite 4.0](https://unsloth.ai/docs/zh/mo-xing/tutorials/ibm-granite-4.0.md): 了解如何在 llama.cpp、Ollama 上使用 Unsloth GGUF 运行 IBM Granite-4.0，以及如何进行微调！
- [Llama 4：如何运行与微调](https://unsloth.ai/docs/zh/mo-xing/tutorials/llama-4-how-to-run-and-fine-tune.md): 了解如何使用我们的动态 GGUF 在本地运行 Llama 4，相比标准量化可恢复精度。
- [Grok 2](https://unsloth.ai/docs/zh/mo-xing/tutorials/grok-2.md): 在本地运行 xAI 的 Grok 2 模型！
- [Devstral：如何运行与微调](https://unsloth.ai/docs/zh/mo-xing/tutorials/devstral-how-to-run-and-fine-tune.md): 运行并微调 Mistral Devstral 1.1，包括 Small-2507 和 2505。
- [如何使用 Docker 运行本地 LLM：分步指南](https://unsloth.ai/docs/zh/mo-xing/tutorials/how-to-run-llms-with-docker.md): 了解如何在你的本地设备上使用 Docker 和 Unsloth 运行大型语言模型（LLM）。
- [DeepSeek-V3-0324：如何本地运行](https://unsloth.ai/docs/zh/mo-xing/tutorials/deepseek-v3-0324-how-to-run-locally.md): 了解如何使用我们的动态量化在本地运行 DeepSeek-V3-0324，以恢复精度
- [DeepSeek-R1：如何本地运行](https://unsloth.ai/docs/zh/mo-xing/tutorials/deepseek-r1-how-to-run-locally.md): 关于如何使用 llama.cpp 运行我们面向 DeepSeek-R1 的 1.58-bit Dynamic Quants 的指南。
- [DeepSeek-R1 Dynamic 1.58-bit](https://unsloth.ai/docs/zh/mo-xing/tutorials/deepseek-r1-how-to-run-locally/deepseek-r1-dynamic-1.58-bit.md): 查看 Unsloth Dynamic GGUF 量化与标准 IMatrix 量化的性能对比表。
- [Phi-4 推理：如何运行与微调](https://unsloth.ai/docs/zh/mo-xing/tutorials/phi-4-reasoning-how-to-run-and-fine-tune.md): 学习如何使用 Unsloth + 我们的 Dynamic 2.0 量化模型在本地运行和微调 Phi-4 推理模型
- [QwQ-32B：如何有效运行](https://unsloth.ai/docs/zh/mo-xing/tutorials/qwq-32b-how-to-run-effectively.md): 了解如何借助我们的修复以及无限生成问题的解决方案 + GGUF，来有效运行 QwQ-32B。
- [Cogito v2.1：如何本地运行](https://unsloth.ai/docs/zh/mo-xing/tutorials/cogito-v2-how-to-run-locally.md): Cogito v2.1 LLM 是世界上最强的开源模型之一，使用 IDA 训练而成。v1 还提供 4 种尺寸：70B、109B、405B 和 671B，方便你选择最适合硬件的规格。
- [Inkling - 如何本地运行](https://unsloth.ai/docs/zh/mo-xing/inkling.md): 了解如何在本地运行 Thinking Machine Labs 的 Inkling 多模态模型。
- [Qwen3.6 - 如何本地运行](https://unsloth.ai/docs/zh/mo-xing/qwen3.6.md): 在本地运行新的 Qwen3.6-27B 和 35B-A3B 模型！
- [Gemma 4 - 如何本地运行](https://unsloth.ai/docs/zh/mo-xing/gemma-4.md): 在本地运行 Google 的新 Gemma 4 模型，包括 E2B、E4B、26B A4B 和 31B。
- [Gemma 4 QAT](https://unsloth.ai/docs/zh/mo-xing/gemma-4/qat.md): 在本地运行 Google Gemma 4 QAT 模型，包括 E2B、E4B、12B、26B-A4B 和 31B。
- [Gemma 4 微调指南](https://unsloth.ai/docs/zh/mo-xing/gemma-4/train.md): 使用 Unsloth 训练 Google 的 Gemma 4。
- [NVIDIA Nemotron 3.5 Lightning：如何本地运行](https://unsloth.ai/docs/zh/mo-xing/nemotron-3.5.md)
- [GLM-5.2 - 如何本地运行](https://unsloth.ai/docs/zh/mo-xing/glm-5.2.md): 在本地硬件上运行 Z.ai 的新 GLM-5.2 模型！
- [Kimi K2.7 Code - 如何本地运行](https://unsloth.ai/docs/zh/mo-xing/kimi-k2.7-code.md): 在你自己的本地设备上运行 Kimi K2.7 Code 的分步指南。
- [如何运行 MTP 模型：多 Token 预测指南](https://unsloth.ai/docs/zh/mo-xing/mtp.md)
- [DiffusionGemma - 如何本地运行](https://unsloth.ai/docs/zh/mo-xing/diffusiongemma.md)
- [MiniMax M3 - 如何本地运行](https://unsloth.ai/docs/zh/mo-xing/minimax-m3.md): 在你自己的设备上本地运行 MiniMax M3 LLM！
- [Qwen3.5 - 如何本地运行](https://unsloth.ai/docs/zh/mo-xing/qwen3.5.md): 在你的本地设备上运行新的 Qwen3.5 LLM，包括中型：Qwen3.5-35B-A3B、27B、122B-A10B；小型：Qwen3.5-0.8B、2B、4B、9B 和 397B-A17B！
- [Qwen3.5 微调指南](https://unsloth.ai/docs/zh/mo-xing/qwen3.5/fine-tune.md): 了解如何使用 Unsloth 微调 Qwen3.5 LLM。
- [Qwen3.5 GGUF 基准测试](https://unsloth.ai/docs/zh/mo-xing/qwen3.5/gguf-benchmarks.md): 查看 Unsloth Dynamic GGUF 的性能表现 + 困惑度、KL 散度和 MXFP4 分析。
- [Kimi K2.6 - 如何本地运行](https://unsloth.ai/docs/zh/mo-xing/kimi-k2.6.md): 在你自己的本地设备上运行 Kimi-K2.6 的分步指南。
- [NVIDIA Nemotron 3 Ultra - 如何本地运行](https://unsloth.ai/docs/zh/mo-xing/nemotron-3-ultra.md): 在你的设备上本地运行 Nemotron-3-Ultra-550B-A55B！
- [NVIDIA Nemotron 3 Nano Omni - 如何本地运行](https://unsloth.ai/docs/zh/mo-xing/nemotron-3-nano-omni.md): 在你的设备上本地运行并微调 Nemotron-3-Nano-Omni-30B-A3B！
- [Mistral 3.5 - 如何本地运行](https://unsloth.ai/docs/zh/mo-xing/mistral-3.5.md): Mistral 3.5 模型指南，可在你的设备上本地运行或微调
- [IBM Granite 4.1 - 如何本地运行](https://unsloth.ai/docs/zh/mo-xing/ibm-granite-4.1.md): 使用 Unsloth GGUF 运行 IBM Granite-4.1 以及如何进行微调！
- [GLM-5.1 - 如何本地运行](https://unsloth.ai/docs/zh/mo-xing/glm-5.1.md): 在你自己的本地设备上运行 Z.ai 的新 GLM-5.1 模型！
- [Qwen3-Coder-Next：如何本地运行](https://unsloth.ai/docs/zh/mo-xing/qwen3-coder-next.md): 在你的设备上本地运行 Qwen3-Coder-Next 的指南！
- [NVIDIA Nemotron 3 Nano - 如何运行指南](https://unsloth.ai/docs/zh/mo-xing/nemotron-3.md): 在你的设备上本地运行并微调 NVIDIA Nemotron 3 Nano！
- [NVIDIA Nemotron-3-Super：如何运行指南](https://unsloth.ai/docs/zh/mo-xing/nemotron-3/nemotron-3-super.md): 在你的设备上本地运行并微调 NVIDIA Nemotron-3-Super-120B-A12B！
- [gpt-oss：如何运行指南](https://unsloth.ai/docs/zh/mo-xing/gpt-oss-how-to-run-and-fine-tune.md): 运行并微调 OpenAI 新的开源模型！
- [gpt-oss 强化学习](https://unsloth.ai/docs/zh/mo-xing/gpt-oss-how-to-run-and-fine-tune/gpt-oss-reinforcement-learning.md)
- [教程：如何使用 RL 训练 gpt-oss](https://unsloth.ai/docs/zh/mo-xing/gpt-oss-how-to-run-and-fine-tune/gpt-oss-reinforcement-learning/tutorial-how-to-train-gpt-oss-with-rl.md): 了解如何使用 GRPO 训练 OpenAI gpt-oss，从而在本地或 Colab 上自动击败 2048。
- [教程：如何微调 gpt-oss](https://unsloth.ai/docs/zh/mo-xing/gpt-oss-how-to-run-and-fine-tune/tutorial-how-to-fine-tune-gpt-oss.md): 逐步学习如何使用 Unsloth 在本地训练 OpenAI gpt-oss。
- [长上下文 gpt-oss 训练](https://unsloth.ai/docs/zh/mo-xing/gpt-oss-how-to-run-and-fine-tune/long-context-gpt-oss-training.md)


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://unsloth.ai/docs/zh/mo-xing.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.