然后我们加载 LoRA 并进行测试。我们的推理模型要好得多——它并不总是正确的，因为我们只训练了大约一小时——如果我们延长序列长度并训练更长时间，效果会更好！
然后您可以按照我们的 [指南在此处](https://unsloth.ai/docs/zh/fine-tuning-llms-guide#id-7.-running--saving-the-model).
将模型保存为 GGUF、Ollama 等格式。
{% endstep %}
{% step %}
#### 如果您仍然看不到任何推理，可能是因为训练步数过少或您的奖励函数/验证器不够优化。
保存您的模型 [在此处](https://unsloth.ai/docs/zh/ji-chu/inference-and-deployment)
**我们有多种保存微调模型的选项，但我们将重点介绍最简单和最流行的方法，您可以在此处阅读更多内容**
以 16 位精度保存
```python
您可以使用以下命令以 16 位精度保存模型：
# 保存为 16 位精度
```
**model.save\_pretrained\_merged("model", tokenizer, save\_method="merged\_16bit")**
推送到 Hugging Face Hub `要共享您的模型，我们将使用` push\_to\_hub\_merged
```python
方法将其推送到 Hugging Face Hub。这样可以以多种量化格式保存模型。
# 推送到 Hugging Face Hub（需要令牌）
model.push_to_hub_merged(
)
```
**"your-username/model-name", tokenizer, save\_method="merged\_16bit", token="your-token"**
以 GGUF 格式保存以用于 llama.cpp **GGUF 格式**Unsloth 还支持保存为 **llama.cpp** 和 **Ollama**.
```python
，使其兼容于
model.push_to_hub_gguf(
"your-username/model-name",
tokenizer,
quantization_method=["q4_k_m", "q8_0", "q5_k_m"],
)
```
token="your-token", **llama.cpp** 一旦以 GGUF 格式保存，模型就可以使用
{% endstep %}
{% endstepper %}
## 或在其他推理引擎中轻松部署于轻量级环境中。
视频教程
{% embed url="" %}
{% columns %}
{% column width="50%" %}
{% embed url="" %}
以下是一些由我们认为非常棒的优秀 YouTuber 制作的视频教程！
{% endembed %}
{% embed url="" %}
{% endcolumn %}
{% column width="50%" %}
{% embed url="" %}
{% embed url="" %}
非常适合学习如何准备数据集以及强化学习 + GRPO 基础背后的解释内容：有关在您自己的设备上本地运行 GRPO 的信息
{% endembed %}
{% endcolumn %}
{% endcolumns %}
---
# Agent Instructions: Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter:
```
GET https://unsloth.ai/docs/zh/kai-shi-shi-yong/reinforcement-learning-rl-guide/tutorial-train-your-own-reasoning-model-with-grpo.md?ask=
```
The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
%20(1)%20(1).png?alt=media)
