OllamaをUnslothに接続する方法

Ollama を使うと、自分のハードウェア上でローカル LLM を実行でき、 Unsloth を使うと、それらのモデルをオープンソースの UI チャットインターフェースに直接接続して実行するのが簡単になります。このガイドでは、Ollama のインストール方法、ネイティブな Ollama モデルまたは Hugging Face の GGUF モデルの実行方法、Ollama を Unsloth に接続する方法、そしてローカル AI モデルとのチャットの始め方を学べます。

次のようなモデルを使いたい場合でも Qwen、GGUF ファイルをインポートしたい場合でも、あるいは OpenAI 互換エンドポイントを通じてローカルの Ollama サーバーを公開したい場合でも、このウォークスルーではインストールから最初のチャットまでの完全なセットアップをカバーします。

セットアップ

Ollama をインストールまたは準備する

インストールスクリプトで Ollama をインストールします:

curl -fsSL https://ollama.com/install.sh | sh

Ollama は次から手動でダウンロードすることもできます ollama.com/download.

PowerShell から Ollama をインストールします:

irm https://ollama.com/install.ps1 | iex

Ollama は次から手動でダウンロードすることもできます ollama.com/download.

インストールスクリプトで Ollama をインストールします:

curl -fsSL https://ollama.com/install.sh | sh

Ollama は次から手動でダウンロードすることもできます ollama.com/download.

公式の Ollama Docker イメージは ollama/ollama で、Docker Hub 上にあります。

docker run -d \
  -v ollama:/root/.ollama \
  -p 11434:11434 \
  --name ollama \
  ollama/ollama

Ollama は通常、次で動作します:

http://localhost:11434

モデルを実行する

モデルは一般的に次の 2 つの方法で選べます:

ネイティブな Ollama モデルを次で検索します ollama.com/search、次にモデル名をコピーします。
Hugging Face の GGUF モデルを使用し、その後、次から Ollama コマンドをコピーします このモデルを使う.

Ollama モデルの場合は、pull して実行します:

ollama pull qwen3.6:35b-a3b
ollama run qwen3.6:35b-a3b

Ollama アプリまたはサービスがまだ実行されていない場合は、先に起動してください:

ollama serve

Hugging Face から GGUF を選ぶ

Hugging Face の GGUF モデルを使用している場合、コマンドを取得する最も簡単な方法はモデルページから取得することです。

使用したいモデルを開き、クリックします このモデルを使う、次に選択します Ollama をローカルアプリ一覧から選びます。ドロップダウンから必要な量子化を選択し、生成されたコマンドをコピーしてください。

たとえば、Ollama では:

ollama run hf.co/unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q4_K_XL

これにより、リポジトリ名や量子化タグの間違いを防ぐのに役立ちます。

Ollama を Unsloth に接続する

開く 設定 → 接続、次にクリックします 接続を追加.

選択します Ollama、次に接続の詳細を入力します:

Unsloth のフォームに表示されている Ollama URL を使用してください。ほとんどのローカルセットアップでは、これは次のとおりです:

http://localhost:11434

Unsloth が OpenAI 互換のベース URL を要求する場合は、次を使用します:

http://localhost:11434/v1

通常、Ollama に API キーは不要です。API キーが必要なプロキシを使用している場合を除き、API キー欄は空のままにしてください。

クリックします モデルを読み込む して Ollama で実行中のモデルを取得するか、 モデル ID を自分で入力します。たとえば qwen3.6.

チャットの準備完了

クリックすると 接続を追加、有効にしたモデルが 接続済み の下に表示されます モデルを選択 ドロップダウン内の。

一般的な Ollama コマンド

Unsloth に公開したいモデルをセットアップする際に、これらを使用します:

コマンド

その内容

ollama run qwen3.6:35b-a3b

モデルを実行して対話型チャットを開く

ollama pull qwen3.6:35b-a3b

チャットを開始せずにモデルをダウンロードする

ollama ls

ダウンロード済みモデルを一覧表示する

ollama ps

現在実行中のモデルを一覧表示する

ollama stop qwen3.6:35b-a3b

実行中のモデルを停止する

ollama rm qwen3.6:35b-a3b

ダウンロード済みモデルを削除する

ollama serve

Ollama サーバーを起動する

ローカルの GGUF を Ollama にインポートする場合は、 Modelfileを作成し、次を実行します:

ollama create -f Modelfile

Ollama が検出されない場合は、Ollama アプリまたはサービスが実行中であることを確認してください。次に、 モデルを読み込む を Unsloth でもう一度クリックします。

完全なコマンド一覧については、 Ollama CLI リファレンス.

前へvLLM 次へOpenRouter

最終更新 2 か月前

役に立ちましたか？