Unsloth Studioでモデルを実行する方法
Unsloth StudioでAIモデル、LLM、GGUFをローカルに実行します。
Unsloth Studio これにより、AIモデルを100%オフラインで自分のコンピューター上で実行できます。Hugging Face から、またはローカルファイルから、GGUF や safetensors などのモデル形式を実行できます。
すべての macOS、CPU、Windows、Linux、WSL 環境で動作します！GPUは不要です
自己修復するツール呼び出し, 高度な ウェブ検索, コード実行
UnslothをOpenAI互換の推論として使用 APIエンドポイント または プロバイダーを接続
検索 + ダウンロード + 実行 + 比較 GGUF、LoRAアダプター、safetensors など、あらゆるモデル。
自動推論パラメータ 調整（temp、top-p など）とチャットテンプレートの編集
画像、音声、PDF、コード、DOCX など、さまざまなファイル形式をアップロードしてチャットできます。
Unsloth Studio Chat の使用
Unsloth Studio Chat は自動的に マルチGPU構成 で推論を行います。
自動修復ツール呼び出し
Unsloth Studio は ツール呼び出しを可能にするだけでなく、不正な形式や壊れたツール呼び出しも50%自動修復します。
つまり、常に推論結果を得られます 壊れたツール呼び出しなしで 。
たとえば Qwen3.5-4B は20以上のウェブサイトを検索し、思考トレース内でウェブ検索を行いながらソースを引用しました。
UnslothをAPIエンドポイントとして使用
これで、次のようなツールを通じてローカル LLM を使用できるようになりました Claude Code と Codex を、Unsloth の APIエンドポイントに接続することで利用できます。つまり、自己修復ツール呼び出し、ウェブ検索などの機能を含む Unsloth の推論を使って、これらのツール内で Qwen や Gemma のモデルを直接実行できるようになります。
自動推論設定
次のような推論パラメータは temperature, top-p, top-k, MTP Qwen3.5 のような新しいモデル向けに自動的に事前設定されるため、設定を気にせず最良の出力を得られます。パラメータは手動で調整でき、システムプロンプトも編集できます。
llama.cpp のスマート自動コンテキストにより、コンテキスト長の調整はもう不要です。余分なものを読み込まず、必要なコンテキストだけを使用します。
プロバイダーを接続
Unsloth は OpenAI、Anthropic、Ollama、llama.cpp、vLLM などと接続します。
APIキーやモデルサーバーのURLを追加すれば、ローカルおよびクラウドモデルと同じチャットインターフェースで外部モデルを使えます。次の機能付きで実行できます プロンプトキャッシュ、ツール呼び出し、思考、そして OpenAI のようなプロバイダー固有の機能。 ウェブ検索 と コード実行.
モデルを検索して実行
Hugging Face で任意のモデルを検索・ダウンロードするか、ローカルファイルを使用できます。
Unsloth は幅広いモデル種類をサポートしており、 GGUF、視覚言語、音声合成モデルなどが含まれます。次のような最新モデルを実行できます Qwen3.5 または NVIDIA Nemotron 3.
画像、音声、PDF、コード、DOCX など、さまざまなファイル形式をアップロードしてチャットできます。
+50% ツール呼び出し精度
Unsloth は、ツール呼び出しを改善するいくつかの独自機能を提供します。たとえば:
Unsloth のすべてのモデルにおけるツール呼び出しは 30%〜80% 高精度.
ウェブ検索は、要約だけでなく実際のウェブコンテンツを取得します。
許可されるツール呼び出しの最大数は 25件以上です。
ツール呼び出しがより確実に終了し、ループや繰り返し呼び出しを減らします。
改善されたツール呼び出しの修復と重複排除ロジックにより、XML が出力に漏れるのを防ぎます。
テスト結果を見る unsloth/Qwen3.5-4B-GGUF (UD-Q4_K_XL) を、ウェブ検索、コード実行、思考を有効にして実行:
応答内のXML漏れ
10/10
0/10
使用したURL取得回数
0
10回中4回
正しい曲名で実行された回数
0/10
2/10
平均ツール呼び出し回数
5.5
3.8
平均応答時間
12.3秒
9.8秒
モデルアリーナ
Unsloth Chat では、同じプロンプトを使って任意の2つのモデルを並べて比較できます。たとえばベースモデルと LoRa アダプターを比較できます。推論はまず1つ目のモデルで読み込まれ、その後2つ目のモデルで行われます（並列推論は現在対応中です）。
学習後は、同じプロンプトでベースモデルとファインチューニング後のモデルを並べて比較し、何が変わったか、結果が改善したかを確認できます。
このワークフローにより、ファインチューニングでモデルの応答がどう変わったか、また用途に対して結果が改善したかを簡単に確認できます。
Unsloth Studio Chat は自動的に マルチGPU構成 で推論を行います。
古い / 既存の GGUF モデルの使用
4月1日更新: 既存のフォルダーを選択して、Unsloth に検出させることができるようになりました。
3月27日更新: Unsloth Studio は現在 古い / 既存のモデルを自動検出します Hugging Face、LM Studio などからダウンロードされたものを含みます。
手動手順: Unsloth Studio は、Hugging Face Hub のキャッシュにダウンロードされたモデルを検出します (C:\Users{your_username}.cache\huggingface\hub)。LM Studio 経由でダウンロードした GGUF モデルがある場合、それらは次の場所に保存されます C:\Users\{your_username}.cache\lm-studio\models または C:\Users{your_username}\lm-studio\models これらはデフォルトでは llama.cpp から見えません。Unsloth Studio で読み込むには、.gguf ファイルを Hugging Face Hub のキャッシュディレクトリ（または llama.cpp がアクセスできる別のパス）に移動またはコピーする必要があります。
Unsloth でモデルやアダプターをファインチューニングした後、それを GGUF にエクスポートし、 llama.cpp を使って Unsloth Chat 内で直接ローカル推論を実行できます。Unsloth Studio は llama.cpp と Hugging Face によって動作しています。
コンテキストとしてファイルを追加
Unsloth Chat は会話内でマルチモーダル入力を直接サポートします。ドキュメント、画像、または音声をプロンプトの追加コンテキストとして添付できます。
これにより、PDF、スクリーンショット、参照資料などの実世界の入力をモデルがどう扱うかを簡単にテストできます。ファイルはローカルで処理され、モデルのコンテキストとして含まれます。
モデルファイルの削除
モデル検索のゴミ箱アイコンから、または既定の Hugging Face キャッシュディレクトリから該当のキャッシュ済みモデルフォルダーを削除することで、古いモデルファイルを削除できます。デフォルトでは、Hugging Face は ~/.cache/huggingface/hub/ を macOS/Linux/WSL で使用し、 C:\Users\<username>\.cache\huggingface\hub\ を Windows で使用します。
MacOS、Linux、WSL:
~/.cache/huggingface/hub/Windows:
%USERPROFILE%\.cache\huggingface\hub\
もし HF_HUB_CACHE または HF_HOME が設定されている場合は、その場所を代わりに使用してください。Linux と WSL では、 XDG_CACHE_HOME も既定のキャッシュルートを変更できます。
Unsloth が GPU を検出または使用していない
Docker でモデルが特に GPU を使っていない場合は、次を試してください:
最新イメージを手動で取得:
GPU アクセス付きでコンテナを起動:
docker run:--gpus allDocker Compose:
capabilities: [gpu]
Linux では、NVIDIA Container Toolkit がインストールされていることを確認してください。
Windows では:
確認してください
nvcc --versionが、以下に表示される CUDA バージョンと一致することをnvidia-smi
最終更新
役に立ちましたか？