次に LoRA を読み込んでテストします。私たちの推論モデルはずっと良くなっています。ただし、1 時間ほどしか訓練していないため、常に正しいわけではありません。シーケンス長を延ばして、より長く訓練すれば、さらに良くなります！
その後、当社の [こちらのガイド](https://unsloth.ai/docs/jp/meru/reinforcement-learning-rl-guide/pages/ae7926a0f371a1f594e3344d85571edf864a5259#id-7.-running--saving-the-model).
に従うことで、モデルを GGUF や Ollama などに保存できます。それでも推論がまったく得られない場合は、訓練ステップ数が少なすぎるか、報酬関数/検証器が最適でなかった可能性があります。
{% endstep %}
{% step %}
#### モデルを保存する
ファインチューニング済みモデルを保存するための選択肢はいくつかありますが、ここでは最も簡単で人気のある方法に焦点を当てます。詳細はこちらをご覧ください [こちら](/docs/jp/ji-ben/inference-and-deployment.md)
**16 ビット精度で保存する**
次のコマンドを使用して、モデルを 16 ビット精度で保存できます：
```python
# 16 ビット精度で保存
model.save_pretrained_merged("model", tokenizer, save_method="merged_16bit")
```
**Hugging Face Hub へプッシュする**
モデルを共有するために、 `push_to_hub_merged` メソッドを使用して Hugging Face Hub へプッシュします。これにより、モデルを複数の量子化形式で保存できます。
```python
# Hugging Face Hub にプッシュする（トークンが必要）
model.push_to_hub_merged(
"your-username/model-name", tokenizer, save_method="merged_16bit", token="your-token"
)
```
**llama.cpp 用に GGUF 形式で保存する**
Unsloth は **GGUF 形式**での保存もサポートしており、これにより **llama.cpp** および **Ollama**.
```python
model.push_to_hub_gguf(
"your-username/model-name",
tokenizer,
quantization_method=["q4_k_m", "q8_0", "q5_k_m"],
token="your-token",
)
```
GGUF 形式で保存すると、モデルは **llama.cpp** を使用して軽量環境に簡単にデプロイしたり、他の推論エンジンで使用したりできます。
{% endstep %}
{% endstepper %}
## 動画チュートリアル
ここでは、私たちが素晴らしいと思う、すばらしい YouTuber たちが作成した動画チュートリアルをいくつか紹介します！
{% embed url="" %}
{% columns %}
{% column width="50%" %}
{% embed url="" %}
データセットの準備方法や、強化学習 + GRPO の基本の背景説明を学ぶのに最適
{% endembed %}
{% embed url="" %}
{% endcolumn %}
{% column width="50%" %}
{% embed url="" %}
{% embed url="" %}
自分のデバイスでローカル GRPO
{% endembed %}
{% endcolumn %}
{% endcolumns %}
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:
```
GET https://unsloth.ai/docs/jp/meru/reinforcement-learning-rl-guide/tutorial-train-your-own-reasoning-model-with-grpo.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.