コンテンツへスキップ
For the complete documentation index, see llms.txt. This page is also available as Markdown.

API プロバイダーとモデルサーバーを Unsloth に接続する

OpenAI、Anthropic、Ollama、llama.cpp、vLLM、その他のプロバイダーのモデルを、1つのローカルUIインターフェースで実行する方法を学びましょう Unsloth、LLMを実行・学習するためのオープンソースリポジトリです。ChatGPT/CodexサブスクリプションをUnslothに直接接続することもできます。

モデルがUnslothの推論経由で動作していても、自分のリモートOpenAI互換エンドポイントで動作していても、Web検索、コード実行、ディープリサーチなどを含むUnslothのツール一式にアクセスさせることができます。

接続すると、コード実行、ツール呼び出し、画像生成などを、ローカルモデルとクラウドモデルの両方で使う同じUnslothチャットインターフェースで実行できます。

Unslothは独自にサポートしています プロンプトキャッシュ (精度を落とさずに大量のトークンを節約しつつ)、OpenAIに組み込まれた機能など、プロバイダー固有の機能へのアクセスも維持します web search そして コード実行.

接続

接続は2つのグループに分かれます。モデルを実行してくれるホスト型APIプロバイダーと、あなたが運用または管理するモデルサーバーです。

クラウドプロバイダー - アカウントのAPIキーを使用するホスト型API:

接続
機能
セットアップガイド

ChatGPT / Codex

画像、検索、コード、思考

OpenAI

画像、検索、コード、思考

Anthropic

画像、検索、コード、思考

OpenRouter

1つのAPIキーで多数のホスト型モデルを利用できます。

モデルサーバー - ローカル、ネットワーク上、またはリモートマシンで動作する推論サーバー:

サーバー
説明
ガイド

Llama.cpp

効率的なGGUFモデル配信

vLLM

高スループット配信

Ollama

シンプルなローカルモデルサーバー

クイックスタート

外部プロバイダーのモデルを実行するには、APIキーを追加し、Unslothに表示させるモデルを選択します。この例では、 OpenAIを使用します。同じ設定はAnthropicやその他のプロバイダーでも使えます。

1

Unslothのセットアップ

始める最も簡単な方法は、 Unsloth Desktop アプリをインストールすることです。対応環境 MacOS、Linux、 Windows, NVIDIA, AMD、Intel、およびCPU環境に対応しています。

Unslothをダウンロード

または、手動インストールを希望する場合は:

MacOS、Linux、WSL:

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell:

irm https://unsloth.ai/install.ps1 | iex

こちらをご覧ください より詳しい手順について

2

APIを作成

プロバイダーのダッシュボードで新しいAPIキーを作成してコピーします。

3

Unslothのセットアップ

次に、 Unslothをインストールして設定する必要があります。これにより、UIインターフェースでクラウドモデルを実行できるようになります。 こちらをご覧ください より詳しい手順について。

4

接続を設定

次に、プロバイダーをUnslothに接続します。

  1. 開く 設定 → 接続、次に 接続を追加。

  2. 追加したいプロバイダーを選択し、先ほどコピーしたAPIキーを貼り付けます。

  3. クリックします モデルを再読み込み アカウントで利用可能なモデルで一覧を更新します。

  4. 有効にしたいモデルを選択して、保存を押します。

5

チャット準備完了

有効にしたモデルは、以下の 接続済み の モデルを選択 ドロップダウンに表示されます。

Unslothは、異なるモデルに対して互換性のある推論レベルと生成コントロールを動的に表示します。

モデルサーバーを接続

以下の場合はこの手順を使用します llama.cpp, vLLMと Ollama。接続したいサーバーを起動するか、見つけてください。

開始 llama-server 提供したいモデルで:

これにより、次のAPIエンドポイントが公開されます: http://localhost:8080/v1

APIキーを必須にするには、次を追加します:

起動します vLLM 提供したいモデルでサーバーを

APIキーを必須にするには、次を追加します:

これにより、次のAPIエンドポイントが公開されます: http://localhost:8000/v1

開始 Ollama、次に使用したいモデルを取得します:

これにより、次のAPIエンドポイントが公開されます: http://localhost:11434/v1

これでモデルサーバーを接続できます。 設定 → 接続、次に プロバイダーを追加.

llama.cpp、vLLM、またはOllamaを選択し、サーバーの ベースURL.

  • llama.cppの例: http://localhost:8080/v1

  • Ollamaの例: http://localhost:11434/v1

クリックします モデルを読み込む 利用可能なモデルIDを取得します。サーバーが公開していない場合は、モデルIDを手動で入力してください /models.

その後、 プロバイダーを追加 有効にしたモデルは、以下の 外部 の モデルを選択 ドロップダウンに表示されます。

コード実行

有効にすると、対応するOpenAIおよびAnthropicモデルは、プロバイダーのサンドボックス内でコードを実行し、問題を解決したり、データを分析したり、ファイルを扱ったりできます。\n\nAnthropicモデルはClaudeのプロバイダー側コード実行ツールを使用します。OpenAIは再利用可能なコンテナを使用し、作成、削除、選択ができます コード実行 設定で。新しいスレッドで同じコンテナを選択すると、そのファイルと状態を引き継いで続けられます。

プロンプトキャッシュ

プロンプトキャッシュは、リクエストが同じ長いプレフィックスを再利用する際の遅延とコストを削減します。OpenAI、Anthropic、llama.cppを含む互換性のあるプロバイダーとサーバーでサポートされています。 プロンプトキャッシュ 設定をサイドパネルで使って、対応する接続のキャッシュ動作を制御します。

llama.cppでは、プロンプトキャッシュはデフォルトで有効になっており、起動時に無効化できます llama-server 次を指定して:

Web検索と思考

プロバイダー側のWeb検索は、OpenAI、Anthropic、OpenRouter、Mistral、Gemini、Kimiの対応モデルで利用できます。Thinkコントロールは選択したモデルに応じて変化し、一部のモデルはオン/オフ切り替えを使用し、推論強度モデルはモデル固有の思考レベルを使用します。

画像生成

GPTやGeminiと同様に、Unslothも画像生成をサポートしています。「画像を編集」ボタンをクリックし、新しいプロンプトを入力して、画像を直接編集して改善または再生成できます。画像は要求されると自動的に生成されますが、この動作はオフにできます。ダウンロードボタンもあり、元のフル解像度で画像を保存できます。

トラブルシューティング

プロバイダーへの接続に失敗した場合は、APIキーが選択したプロバイダーのものであり、選択したモデルへのアクセス権があることを確認してください。

クリック後にモデルが表示されない場合は モデルを再読み込み、アカウントで利用できない可能性があります。それでもUnslothのデフォルトモデル一覧を使うか、別のモデルを選択できます。

最終更新

役に立ちましたか?