それからLoRAを読み込んでテストします。私たちの推論モデルはずっと優れています。とはいえ、1時間ほどしか学習していないので、常に正しいわけではありません。シーケンス長を延ばして、もっと長く学習すればさらに良くなります！
その後、次に従ってモデルをGGUF、Ollamaなどに保存できます: [こちらのガイド](https://unsloth.ai/docs/jp/meru/reinforcement-learning-rl-guide/pages/ae7926a0f371a1f594e3344d85571edf864a5259#id-7.-running--saving-the-model).
それでも推論が得られない場合は、学習ステップ数が少なすぎたか、報酬関数/検証器が最適でなかった可能性があります。
{% endstep %}
{% step %}
#### モデルを保存する
微調整済みモデルを保存する方法はいくつかありますが、ここでは最も簡単で人気のある方法に絞ります。詳細は次をご覧ください: [ここ](/docs/jp/ji-chu/inference-and-deployment.md)
**16ビット精度で保存**
次のコマンドでモデルを16ビット精度で保存できます:
```python
# 16ビット精度で保存
model.save_pretrained_merged("model", tokenizer, save_method="merged_16bit")
```
**Hugging Face Hubへの公開**
モデルを共有するには、次を使ってHugging Face Hubへ公開します: `push_to_hub_merged` メソッド。これにより、複数の量子化形式でモデルを保存できます。
```python
# Hugging Face Hubへ公開（トークンが必要）
model.push_to_hub_merged(
"your-username/model-name", tokenizer, save_method="merged_16bit", token="your-token"
)
```
**llama.cpp向けにGGUF形式で保存**
Unslothは次の形式での保存もサポートしています **GGUF 形式に**、これにより次と互換性があります **llama.cpp** そして **Ollama**.
```python
model.push_to_hub_gguf(
"your-username/model-name",
tokenizer,
quantization_method=["q4_k_m", "q8_0", "q5_k_m"],
token="your-token",
)
```
GGUF形式で保存すれば、モデルは次を使って軽量環境に簡単にデプロイできます **llama.cpp** または他の推論エンジンで使用できます。
{% endstep %}
{% endstepper %}
## 動画チュートリアル
私たちが素晴らしいと思う、すごいYouTuberたちが作成した動画チュートリアルをご紹介します！
{% embed url="" %}
{% columns %}
{% column width="50%" %}
{% embed url="" %}
データセットの準備方法や、強化学習＋GRPOの基礎の背景説明を学ぶのに最適です
{% endembed %}
{% embed url="" %}
{% endcolumn %}
{% column width="50%" %}
{% embed url="" %}
{% embed url="" %}
自分のデバイスでローカルGRPO
{% endembed %}
{% endcolumn %}
{% endcolumns %}
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.
Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:
```
GET https://unsloth.ai/docs/jp/meru/reinforcement-learning-rl-guide/tutorial-train-your-own-reasoning-model-with-grpo.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
%20(1)%20(1).png?alt=media)
