Introducing Unsloth Studio: a new web UI for local AI
🦥
Ctrlk
RedditDiscordGitHub
For the complete documentation index, see llms.txt. This page is also available as Markdown.

Hermes AgentでローカルAIモデルを実行する方法

Hermes AgentでオープンLLMをローカルで使うためのガイド。

このガイドでは、次の方法でオープンLLMをローカルで実行できます Hermes Agent 経由で Unsloth。Hermes Agent は オープンソースの 自律型AIエージェントで、モデルのエンドポイントに接続し、タスクを実行し、記憶と学習したスキルを通じて時間とともに改善します。

これは任意の ローカルモデル に対応しており、Unsloth の OpenAI互換APIを通じて公開されたものなら使用できます。たとえば DeepSeek、Qwen、Gemma などです。Hermes はエージェントクライアントとして機能し、Unsloth はローカルAPI経由でモデルを読み込み、提供します。

セットアップ後は、Hermes 経由で送信されるすべてのプロンプトが、リモートのプロバイダーではなくローカルモデルに対して実行されます。

Hermes のセットアップ🦥 Unsloth でオープンモデルを使う

このチュートリアルでは、Hermes をインストールし、次を使うように設定します unsloth/Qwen3.6-27B-GGUF Unsloth から提供されるモデルです。別のモデルを使いたいですか？Unsloth でそのモデルを読み込み、設定を更新すれば別のモデルに差し替えられます。

Hermes Agent のセットアップ

前提条件。 インストーラーはこれらを確認し、欠けているものがあれば停止します。まず、まだ入っていないものをインストールしてください:

  • OS Linux、macOS、または WSL 経由の Windows。

  • uv Python パッケージマネージャー。次でインストールします curl -LsSf https://astral.sh/uv/install.sh | sh.

  • Python 3.11+ インストーラーはこれを次でプロビジョニングできます uv もし未インストールなら。

  • Git Hermes リポジトリをクローンするため。

  • Node.js Hermes のブラウザツール用に 18+。

  • ripgrep (rg）で高速なファイル検索。

  • ffmpeg TTS/音声メッセージ用。

1. インストーラーを実行 を端末で:

curl -fsSL https://raw.githubusercontent.com/NousResearch/hermes-agent/main/scripts/install.sh | bash

インストーラーは次を行います:

  1. OS を検出します。

  2. 上記に列挙した各前提条件を確認し、それぞれに ✓ または ✗ を表示します。

  3. Hermes を次にクローンします ~/.hermes/hermes-agent/ （GitHub の SSH キーが設定されていれば SSH 経由、そうでなければ HTTPS）。

  4. 次に Python 3.11 の仮想環境を作成します ~/.hermes/hermes-agent/venv/.

  5. Hermes とすべての Python 依存関係をインストールします。

  6. ブラウザツール用の Node.js 依存関係をインストールします。

  7. Playwright の Chromium エンジンをインストールします。 この手順では sudo を要求します。これにより Playwright が共有ライブラリをインストールできます。Hermes 自体に root 権限は必要ありません。

2. シェルを再読み込み して hermes コマンドが PATH:

3. インストールを確認:

コマンドが解決できれば、Hermes はインストールされています。すべては次の下にあります ~/.hermes/:

パス
内容

~/.hermes/config.yaml

主な設定（モデル、プロバイダー、ツール、TTS など）

~/.hermes/.env

APIキーやその他の秘密情報

~/.hermes/hermes-agent/

Hermes のソース + 仮想環境

~/.hermes/cron/, sessions/, logs/

実行時データ

~/.hermes/skills/

インストール済みスキル（Skills Hub から同期）

インストールの完全な参照: hermes-agent.nousresearch.com/docs/getting-started/installation。インストーラーが不足している前提条件を報告した場合は、それをインストールしてから、そのワンライナーを再実行してください。インストーラーは冪等です。

Unsloth のインストール

⚡ クイックスタート

OpenCode をインストールした後、OpenCode がローカルモデルの推論を提供・実行できるようにするため、Unsloth Studio をインストールする必要があります。

  1. Unsloth Studio をインストールまたは更新します。 以前のバージョンでは外部APIが公開されません。インストールを参照してください。

  2. Unsloth を起動します。 起動時のポート番号は通常 8000 または 8888です。これは端末の出力とブラウザのURL（http://localhost:PORT).

  3. モデルを読み込みます。 クリック New Chatを選び、モデル（GGUF）を選択または検索して、読み込み完了まで待ちます。

  4. APIキーを作成します。 Unsloth で、左下の Unsloth アバターをクリック → 設定 → API → キー名を入力 → 作成。表示された sk-unsloth-… の値をコピーします。Unsloth で表示されるのは一度だけです。

  5. クライアントを Unsloth に向けます。 次を使います http://localhost:PORT をベースURLとして、 sk-unsloth-… を認証用キーにします。下のツール別レシピへ進んでください。

🔑 APIキーの作成

  1. サイドバーを開き、左下の Unsloth アバターをクリックします。

  2. 次へ移動 設定 → API.

  3. 親しみやすい名前を入力します（例: claude-code-macbook).

  4. （任意） 有効期限を設定します。

  5. クリック 作成.

  6. すぐにキーをコピーします。 Unsloth はハッシュのみを保存するため、再度表示することはできません。

すべてのキーは次で始まります sk-unsloth- というプレフィックスです。キーの失効は同じページからいつでも行えます。失効したキーで行われたリクエストは 401 Unauthorized.

APIキーはパスワードのように扱ってください。キーと Unsloth インスタンスへのネットワークアクセスを持つ人なら誰でも、読み込まれたモデルにリクエストを送信できます。

🦥 Hermes を Unsloth API に統合

Hermes は各チャットターンを設定済みの推論プロバイダーに送り、 OpenAI互換の エンドポイントに接続します。プロバイダーはインストール中または後でセットアップウィザードで設定できます。

1. セットアップウィザードを開く:

選択 Model & Provider を「What would you like to do?」メニューから選び、推論エンドポイントのみを設定します。あるいは Full Setup を選んで、すべて（TTS、ツール、メッセージングゲートウェイ、エージェント設定）を順に設定します。

2. カスタム OpenAI 互換エンドポイントを選択 Hermes が推論プロバイダーを尋ねたときに。

3. プロンプトに入力 Hermes の案内に従って:

プロンプト
値

API ベースURL

http://localhost:8888/v1 （Unsloth のポート + /v1)

APIキー

あなたの sk-unsloth-… キー

検出されたモデル: … このモデルを使用しますか?

Y （Hermes は次でモデルを自動検出します GET /v1/models)

トークン単位のコンテキスト長

（自動検出するには空欄のまま）

表示名

好きな名前で構いません。例: unsloth-api

Hermes は次に対してエンドポイントを検証します /v1/models を確認し、続行する前に検出されたモデルを確定します。

4. 残りのプロンプトではデフォルトを قبول （TTS、ツール、メッセージングゲートウェイ、エージェント設定）は後で再設定できます。Hermes はすべてを書き込みます ~/.hermes/config.yaml および ~/.hermes/.env.

5. Hermes を起動:

起動バナーにはステータスバーに Unsloth のモデル名が表示されます（例: unsloth/Qwen3.6-27B-GGUF）、そしてプロンプトは入力待ちになります。

後でモデルだけを再設定するには、次を実行します hermes setup model。設定ファイルを直接編集するには、 hermes config edit を開きます ~/.hermes/config.yaml あなたの $EDITOR.

任意: Unsloth サーバーを調整する

unsloth run はローカルAPIサーバーを起動し、アプリが接続するためのモデルを読み込みます。起動時のサーバーの動作もカスタマイズできます。

次を使います --reasoning off で思考をオフにするか、 --reasoning on で、推論をサポートするモデルでそれを有効にします。

これによりサーバーは 0.0.0.0:8888で起動し、同じローカルネットワーク上の他のデバイスが接続できるようになります。 -p はサーバーの実行ポートを変更します。ネットワーク上のスマートフォン、ノートPC、その他のデバイスをAPIサーバーに接続したい場合は、次を付けて起動してください -H 0.0.0.0.

一部のアプリは、個々のリクエストに対して生成設定を上書きすることがあります。より高度な実行時設定については、メインの API調整 セクションを参照してください。

前へOpenClaw次へPython SDK

最終更新

役に立ちましたか？