API プロバイダーとモデルサーバーを Unsloth に接続する
OpenAI、Anthropic、Ollama、llama.cpp、vLLM、その他のプロバイダーのモデルを、1つのローカルUIインターフェースで実行する方法を学びましょう Unsloth、LLMを実行・学習するためのオープンソースリポジトリです。ChatGPT/CodexサブスクリプションをUnslothに直接接続することもできます。
モデルがUnslothの推論経由で動作していても、自分のリモートOpenAI互換エンドポイントで動作していても、Web検索、コード実行、ディープリサーチなどを含むUnslothのツール一式にアクセスさせることができます。
接続すると、コード実行、ツール呼び出し、画像生成などを、ローカルモデルとクラウドモデルの両方で使う同じUnslothチャットインターフェースで実行できます。
Unslothは独自にサポートしています プロンプトキャッシュ (精度を落とさずに大量のトークンを節約しつつ)、OpenAIに組み込まれた機能など、プロバイダー固有の機能へのアクセスも維持します web search そして コード実行.
接続
接続は2つのグループに分かれます。モデルを実行してくれるホスト型APIプロバイダーと、あなたが運用または管理するモデルサーバーです。
クラウドプロバイダー - アカウントのAPIキーを使用するホスト型API:
モデルサーバー - ローカル、ネットワーク上、またはリモートマシンで動作する推論サーバー:
クイックスタート
外部プロバイダーのモデルを実行するには、APIキーを追加し、Unslothに表示させるモデルを選択します。この例では、 OpenAIを使用します。同じ設定はAnthropicやその他のプロバイダーでも使えます。
Unslothのセットアップ
始める最も簡単な方法は、 Unsloth Desktop アプリをインストールすることです。対応環境 MacOS、Linux、 Windows, NVIDIA, AMD、Intel、およびCPU環境に対応しています。
または、手動インストールを希望する場合は:
MacOS、Linux、WSL:
curl -fsSL https://unsloth.ai/install.sh | shWindows PowerShell:
irm https://unsloth.ai/install.ps1 | iexこちらをご覧ください より詳しい手順について
Unslothのセットアップ
次に、 Unslothをインストールして設定する必要があります。これにより、UIインターフェースでクラウドモデルを実行できるようになります。 こちらをご覧ください より詳しい手順について。
モデルサーバーを接続
開始 llama-server 提供したいモデルで:
これにより、次のAPIエンドポイントが公開されます: http://localhost:8080/v1
APIキーを必須にするには、次を追加します:
起動します vLLM 提供したいモデルでサーバーを
APIキーを必須にするには、次を追加します:
これにより、次のAPIエンドポイントが公開されます: http://localhost:8000/v1
開始 Ollama、次に使用したいモデルを取得します:
これにより、次のAPIエンドポイントが公開されます: http://localhost:11434/v1
これでモデルサーバーを接続できます。 設定 → 接続、次に プロバイダーを追加.
llama.cpp、vLLM、またはOllamaを選択し、サーバーの ベースURL.
llama.cppの例:
http://localhost:8080/v1Ollamaの例:
http://localhost:11434/v1

クリックします モデルを読み込む 利用可能なモデルIDを取得します。サーバーが公開していない場合は、モデルIDを手動で入力してください /models.
その後、 プロバイダーを追加 有効にしたモデルは、以下の 外部 の モデルを選択 ドロップダウンに表示されます。
コード実行
有効にすると、対応するOpenAIおよびAnthropicモデルは、プロバイダーのサンドボックス内でコードを実行し、問題を解決したり、データを分析したり、ファイルを扱ったりできます。\n\nAnthropicモデルはClaudeのプロバイダー側コード実行ツールを使用します。OpenAIは再利用可能なコンテナを使用し、作成、削除、選択ができます コード実行 設定で。新しいスレッドで同じコンテナを選択すると、そのファイルと状態を引き継いで続けられます。

プロンプトキャッシュ
プロンプトキャッシュは、リクエストが同じ長いプレフィックスを再利用する際の遅延とコストを削減します。OpenAI、Anthropic、llama.cppを含む互換性のあるプロバイダーとサーバーでサポートされています。 プロンプトキャッシュ 設定をサイドパネルで使って、対応する接続のキャッシュ動作を制御します。

llama.cppでは、プロンプトキャッシュはデフォルトで有効になっており、起動時に無効化できます llama-server 次を指定して:
Web検索と思考
プロバイダー側のWeb検索は、OpenAI、Anthropic、OpenRouter、Mistral、Gemini、Kimiの対応モデルで利用できます。Thinkコントロールは選択したモデルに応じて変化し、一部のモデルはオン/オフ切り替えを使用し、推論強度モデルはモデル固有の思考レベルを使用します。

画像生成
GPTやGeminiと同様に、Unslothも画像生成をサポートしています。「画像を編集」ボタンをクリックし、新しいプロンプトを入力して、画像を直接編集して改善または再生成できます。画像は要求されると自動的に生成されますが、この動作はオフにできます。ダウンロードボタンもあり、元のフル解像度で画像を保存できます。


トラブルシューティング
プロバイダーへの接続に失敗した場合は、APIキーが選択したプロバイダーのものであり、選択したモデルへのアクセス権があることを確認してください。
クリック後にモデルが表示されない場合は モデルを再読み込み、アカウントで利用できない可能性があります。それでもUnslothのデフォルトモデル一覧を使うか、別のモデルを選択できます。
最終更新
役に立ちましたか?




