モデルを Ollama に保存
モデルを保存する方法の完全な手順については、以下のガイドをご覧ください Ollama:
🦙Tutorial: Finetune Llama-3 and Use In OllamaGoogle Colabでの保存
以下のように、ファインチューニングしたモデルを LoRA アダプタ と呼ばれる 100MB の小さなファイルとして保存できます。モデルをアップロードしたい場合は、代わりに Hugging Face Hub にプッシュすることもできます。Hugging Face トークンは以下から取得してください： https://huggingface.co/settings/tokens そしてトークンを追加してください！
モデルを保存した後は、再び Unsloth を使ってモデル自体を実行できます！ FastLanguageModel をもう一度使って推論を呼び出しましょう！
Ollama へのエクスポート
最後に、ファインチューニングしたモデルを Ollama 自体にエクスポートできます！ まず、Colab ノートブックに Ollama をインストールする必要があります：
次に、ファインチューニングしたモデルを以下のように llama.cpp の GGUF 形式にエクスポートします：
変換の注意 False を True にしてください。1行だけでよく、すべての行を Trueに変更しないでください。さもないと、かなり長い時間待つことになります！ 通常は最初の行を Trueに設定することをおすすめします。そうすれば、ファインチューニングしたモデルをすばやく Q8_0 形式（8ビット量子化）にエクスポートできます。また、量子化手法の一覧全体へのエクスポートも可能で、人気のあるものとして q4_k_m.
へアクセスしてください https://github.com/ggml-org/llama.cpp GGUF について詳しく知ることができます。GGUF への手動エクスポート方法についての手順も、必要であればこちらにあります： https://github.com/unslothai/unsloth/wiki#manually-saving-to-gguf
以下のような長いテキストの一覧が表示されますが、5〜10分お待ちください！！
そして最後の最後には、以下のようになります：
次に、Ollama 自体をバックグラウンドで実行する必要があります。私たちは subprocess を使います。Colab は非同期呼び出しを好まないためですが、通常は単に ollama serve をターミナル／コマンドプロンプトで実行します。
自動 Modelfile 作成
Modelfile 作成Unsloth が提供する工夫は、必要な Modelfile を自動的に作成することです！ これは設定の一覧であり、ファインチューニング過程で使ったチャットテンプレートも含まれます！ また、以下のように Modelfile が生成されたものを表示することもできます：
次に、 Modelfile
Ollama 推論
を使って、Ollama と互換性のあるモデルを作成するよう Ollama に依頼します。これで、必要であれば、ローカルマシン上、または無料の Colab ノートブックのバックグラウンドで動作している Ollama サーバー自体を呼び出して推論できます。黄色の下線部分は編集できることを忘れないでください。
Unsloth では正常に動作するのに、エクスポートして Ollama で実行すると結果が悪い
モデルは Unsloth 上では正常に動作して良い結果を出すのに、Ollama のような別のプラットフォームで使うと結果が悪かったり、文字化け、終わりのない／無限の生成が発生したりすることがあります または 繰り返し出力.
このエラーの最も一般的な原因は、 誤ったチャットテンプレート. を使っていることです。Unsloth でモデルを学習させたときと、その後 llama.cpp や Ollama など別のフレームワークで実行するときに、同じチャットテンプレートを使うことが不可欠です。保存済みモデルから推論する場合、正しいテンプレートを適用することが重要です。
正しい
eos トークンを使わなければなりません。そうしないと、長い生成で文字化けが起こることがあります。推論エンジンが不要な「シーケンス開始」トークンを追加していること（あるいはその逆に、追加していないこと）も原因かもしれないので、両方の可能性を確認してください！
最終更新
役に立ちましたか？