その後 LoRA を読み込みテストします。私たちの推論モデルはかなり優れていますが、訓練時間が約 1 時間程度しかなかったため常に正しいわけではありません。シーケンス長を延ばしてより長く訓練すればさらに良くなります！
その後、モデルを GGUF、Ollama などに保存することができます。詳しくは私たちの [ガイドはこちら](https://unsloth.ai/docs/jp/fine-tuning-llms-guide#id-7.-running--saving-the-model).
をご覧ください。まだ推論が得られない場合は、訓練ステップが少なすぎるか、報酬関数／検証器が最適でなかった可能性があります。
{% endstep %}
{% step %}
#### モデルを保存する
ファインチューニング済みモデルを保存する方法はいくつかありますが、ここでは最も簡単で一般的な方法に焦点を当てます。詳細は [こちら](https://unsloth.ai/docs/jp/ji-ben/inference-and-deployment)
**16 ビット精度での保存**
以下のコマンドでモデルを 16 ビット精度で保存できます：
```python
# 16 ビット精度で保存
model.save_pretrained_merged("model", tokenizer, save_method="merged_16bit")
```
**Hugging Face Hub へのプッシュ**
モデルを共有するために、 `push_to_hub_merged` メソッドを使って Hugging Face Hub にプッシュします。これにより複数の量子化フォーマットでモデルを保存できます。
```python
# Hugging Face Hub にプッシュ（トークンが必要）
model.push_to_hub_merged(
"your-username/model-name", tokenizer, save_method="merged_16bit", token="your-token"
)
```
**llama.cpp 用の GGUF 形式での保存**
Unsloth は **GGUFフォーマットに**での保存もサポートしており、これにより互換性が生まれます： **llama.cpp** と **Ollama**.
```python
model.push_to_hub_gguf(
"your-username/model-name",
tokenizer,
quantization_method=["q4_k_m", "q8_0", "q5_k_m"],
token="your-token",
)
```
GGUF 形式で保存すれば、軽量な環境で簡単にデプロイでき、 **llama.cpp** や他の推論エンジンで使用することができます。
{% endstep %}
{% endstepper %}
## ビデオチュートリアル
ここでは素晴らしい YouTuber の方々が作成したビデオチュートリアルをいくつか紹介します。彼らは素晴らしい内容を提供しています！
{% embed url="" %}
{% columns %}
{% column width="50%" %}
{% embed url="" %}
データセットの準備方法や強化学習＋GRPO の基本の説明を学ぶのに最適です
{% endembed %}
{% embed url="" %}
{% endcolumn %}
{% column width="50%" %}
{% embed url="" %}
{% embed url="" %}
ローカルでの GRPO（自分のデバイス上）
{% endembed %}
{% endcolumn %}
{% endcolumns %}
---
# Agent Instructions: Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter:
```
GET https://unsloth.ai/docs/jp/meru/reinforcement-learning-rl-guide/tutorial-train-your-own-reasoning-model-with-grpo.md?ask=
```
The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
%20(1)%20(1).png?alt=media)
