🖥️推論とデプロイ

ファインチューニングしたモデルを保存して、お気に入りの推論エンジンで実行する方法を学びます。

ファインチューニング済みモデルは次の方法でも実行できます： Unsloth の 2倍高速な推論.

Unsloth Studio

llama.cpp - GGUF への保存

vLLM

Ollama

LM Studio

SGLang

トラブルシューティング

llama-server と OpenAI エンドポイント

ツールコーリング

携帯電話で LLM を実行する