然后我们加载 LoRA 并测试它。我们的推理模型要好得多——不过并不总是正确，因为我们只训练了大约一小时；如果延长序列长度并训练更久，它会更好！
然后你可以按照我们的 [这里的指南](https://unsloth.ai/docs/zh/kai-shi-shi-yong/reinforcement-learning-rl-guide/pages/e722e86e330786e5915445b91f900d9f9e0ba067#id-7.-running--saving-the-model).
将模型保存为 GGUF、Ollama 等格式。如果你仍然没有得到任何推理结果，可能是训练步数太少，或者你的奖励函数/验证器并不理想。
{% endstep %}
{% step %}
#### 保存你的模型
我们提供多种保存微调后模型的选项，但我们将重点介绍最简单、最受欢迎的方法，你可以在 [这里](/docs/zh/ji-chu/inference-and-deployment.md)
**16 位精度保存**
你可以使用以下命令以 16 位精度保存模型：
```python
# 保存为 16 位精度
model.save_pretrained_merged("model", tokenizer, save_method="merged_16bit")
```
**推送到 Hugging Face Hub**
为了分享你的模型，我们将使用 `push_to_hub_merged` 方法把它推送到 Hugging Face Hub。这允许以多种量化格式保存模型。
```python
# 推送到 Hugging Face Hub（需要令牌）
model.push_to_hub_merged(
"your-username/model-name", tokenizer, save_method="merged_16bit", token="your-token"
)
```
**以 GGUF 格式为 llama.cpp 保存**
Unsloth 也支持保存为 **GGUF 格式**，使其兼容 **llama.cpp** 以及 **Ollama**.
```python
model.push_to_hub_gguf(
"your-username/model-name",
tokenizer,
quantization_method=["q4_k_m", "q8_0", "q5_k_m"],
token="your-token",
)
```
一旦保存为 GGUF 格式，就可以使用 **llama.cpp** 在轻量级环境中轻松部署，或者用于其他推理引擎。
{% endstep %}
{% endstepper %}
## 视频教程
这里有一些由出色的 YouTuber 制作的视频教程，我们认为它们非常棒！
{% embed url="" %}
{% columns %}
{% column width="50%" %}
{% embed url="" %}
非常适合了解如何准备数据集，以及强化学习 + GRPO 基础知识背后的解释
{% endembed %}
{% embed url="" %}
{% endcolumn %}
{% column width="50%" %}
{% embed url="" %}
{% embed url="" %}
在你自己的设备上本地运行 GRPO
{% endembed %}
{% endcolumn %}
{% endcolumns %}
---
# Agent Instructions: Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter:
```
GET https://unsloth.ai/docs/zh/kai-shi-shi-yong/reinforcement-learning-rl-guide/tutorial-train-your-own-reasoning-model-with-grpo.md?ask=
```
The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.