> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/shii/studio/chat.md).

# Unslothでモデルを実行する方法

Unsloth StudioでAIモデル、LLM、GGUFをローカルに実行します。

[Unsloth Studio](https://unsloth.ai/docs/jp/shii/studio.md) Unsloth Desktopを使えば、パソコン上でAIモデルを完全オフラインで実行できます。Hugging Faceやローカルファイルから、GGUFやsafetensorsなどのモデル形式を実行できます。

* **macOS、CPU、Windows、Linux、WSLのすべての環境で動作します！GPUは不要です**
* [**自己修復機能付きのツール呼び出し**](#auto-healing-tool-calling)**,** 高度な [**ウェブ検索**](#advanced-web-search), [**コード実行**](#code-execution)
* UnslothをOpenAI互換の推論 [**APIエンドポイントとして使用**](https://unsloth.ai/docs/jp/ji-chu/api.md) または [プロバイダーに接続](https://unsloth.ai/docs/jp/tong-he/connections.md)
* 検索 + ダウンロード + 実行 + [比較](#model-arena) GGUF、LoRAアダプター、safetensorsなど、あらゆるモデルに対応。
* [**推論パラメーターを自動**](#auto-parameter-tuning) 調整（temp、top-pなど）し、チャットテンプレートを編集
* 画像、音声、PDF、コード、DOCXなど、さまざまなファイルをアップロードしてチャットできます。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FVrjsMhR9uLeIlqzD2jAL%2Fqwen37b.gif?alt=media&amp;token=f1bb11b4-d4fa-4765-83b7-bbba563082c9" alt="" width="563"><figcaption></figcaption></figure>

### Unsloth Studio Chatの使用

{% hint style="success" %}
Unsloth Studio Chatは、推論時に **マルチGPU環境** で自動的に動作します。
{% endhint %}

{% columns %}
{% column %}

#### コード実行

Unsloth Studioでは、LLMがJavaScriptだけでなく、BashやPythonも実行できます。また、Claude Artifactsのようにプログラムをサンドボックスで実行できるため、モデルはコードのテスト、ファイルの生成、実際の計算による回答の検証を行えます。

これにより、モデルの回答の信頼性と正確性が高まります。
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fel6jjv4rUTRCRwcRpIr7%2Flong%20code%20exec.png?alt=media&amp;token=9d3d5930-0fdc-4d97-941c-983e5629296d" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}

#### ツール呼び出しの自動修復

Unsloth Studioは、 [ツール呼び出し](#id-50-tool-calling-accuracy)に対応するだけでなく、形式の不正なツール呼び出しや壊れたツール呼び出しを50%自動修正します。

これにより、推論結果を常に **ツール呼び出しの** 不具合なく得られます。&#x20;

たとえば、Qwen3.5-4Bは20以上のウェブサイトを検索して出典を引用しました。ウェブ検索は思考の過程の中で行われます。
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FXPQGEEr1YoKofrTatAKK%2Ftoolcallingif.gif?alt=media&amp;token=25d68698-fb13-4c46-99b2-d39fb025df08" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}

#### 高度なウェブ検索

Unslothの無制限かつ安全なウェブ検索は、ウェブサイトの概要を参照するだけでなく、ページを直接閲覧して関連情報やデータを収集します。そのため、より正確で詳細な情報や文脈を含む出力が得られます。検索にはDuckDuckGoのプライベートで安全なAPIを使用します。
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FVrjsMhR9uLeIlqzD2jAL%2Fqwen37b.gif?alt=media&amp;token=f1bb11b4-d4fa-4765-83b7-bbba563082c9" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}

#### UnslothをAPIエンドポイントとして使用

Claude Code [などのツールを使って、ローカルLLMを](https://unsloth.ai/docs/jp/ji-chu/claude-code.md) や [Codex](https://unsloth.ai/docs/jp/ji-chu/codex.md) Unslothの [APIエンドポイント](#use-unsloth-as-an-api-endpoint)に接続して利用できるようになりました。これにより、Unslothの推論機能を使って、これらのツール内でQwenやGemmaのモデルを直接実行できます。自己修復機能付きのツール呼び出しやウェブ検索などの機能も利用できます。
{% endcolumn %}

{% column %}

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F1s98Id9xclzwMfxjXw2O%2Funsloth%20api%20cropped.png?alt=media&amp;token=64fac263-ca5b-4447-a740-41f58ec94904" alt=""><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}

#### 推論設定の自動化

次のような推論パラメーターは、 **temperature**, **top-p**, **top-k**, [**MTP**](https://unsloth.ai/docs/jp/moderu/qwen3.6.md#mtp-guide) など、Qwen3.5のような新しいモデルでは自動的に設定されるため、設定を気にせず最適な出力を得られます。パラメーターを手動で調整したり、システムプロンプトを編集したりすることもできます。

llama.cppのスマートなコンテキスト自動調整機能により、コンテキスト長を調整する必要はありません。余分なものを読み込まず、必要なコンテキストだけを使用します。
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FAQKsjtynvCXKtadvKhq1%2FRecording%202026-03-13%20114257.gif?alt=media&amp;token=b5bfff0c-8189-4358-9344-08d0ae17782a" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}

#### プロバイダーを接続

[Unslothは](https://unsloth.ai/docs/jp/tong-he/connections.md) OpenAI、Anthropic、Ollama、llama.cpp、vLLMなどに接続できます。

APIキーまたはモデルサーバーのURLを追加すると、ローカルモデルやクラウドモデルと同じチャット画面で外部モデルを利用できます。 [プロンプトキャッシュ](https://unsloth.ai/docs/jp/tong-he/connections.md#prompt-caching)、ツール呼び出し、思考機能に加え、OpenAIの [ウェブ検索](#web-search-and-thinking) や [コード実行](#code-execution).
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FAQKsjtynvCXKtadvKhq1%2FRecording%202026-03-13%20114257.gif?alt=media&amp;token=b5bfff0c-8189-4358-9344-08d0ae17782a" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}

#### モデルを検索して実行

Hugging Faceでモデルを検索・ダウンロードするか、ローカルファイルを使用できます。

Unslothは、 **GGUF**、視覚言語モデル、音声合成モデルなど、幅広い種類のモデルに対応しています。 [Qwen3.5](https://unsloth.ai/docs/jp/moderu/qwen3.5.md) やNVIDIAの [Nemotron 3](https://unsloth.ai/docs/jp/moderu/nemotron-3.md).

画像、音声、PDF、コード、DOCXなど、さまざまなファイルをアップロードしてチャットできます。
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FBf3UDywdNSlvCBhUuVsp%2FScreenshot%202026-03-17%20at%2012.34.23%E2%80%AFAM.png?alt=media&amp;token=b6127cbf-76f7-48da-b869-3760ed5e9b42" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% columns %}
{% column %}

#### チャットワークスペース

プロンプトを入力し、追加のコンテキストとしてドキュメント、画像（webp、png）、コードファイル、txtファイル、音声を添付すると、モデルの応答をリアルタイムで確認できます。

思考機能とウェブ検索のオン・オフを切り替えられます。
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FHlOKWnSB6slhE1EXgAeZ%2Fimage.png?alt=media&amp;token=b5bdfe4e-fe0e-4a2a-9eba-b04b15a79018" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

### **ツール呼び出しの精度が50%以上向上**

Unslothには、ツール呼び出しを改善する独自機能がいくつかあります。

* Unslothのすべてのモデルで、ツール呼び出しの精度が **30～80%向上**.
* ウェブ検索では、要約だけでなく実際のウェブコンテンツを取得します。
* 許可されるツール呼び出しの最大数は **25回を超えます。**
* ツール呼び出しがより確実に終了するため、ループや呼び出しの繰り返しを減らせます。
* ツール呼び出しの修復機能と重複排除ロジックが改善され、出力にXMLが混入するのを防ぎます。

以下のモデルを使ったテスト結果をご覧ください。 `unsloth/Qwen3.5-4B-GGUF (UD-Q4_K_XL)` ウェブ検索、コード実行、思考機能を有効にした場合の結果です。

| 指標           | 通常のツール呼び出し | Unslothのツール呼び出し |
| ------------ | ---------- | --------------- |
| 応答にXMLが混入    | 10/10      | 0/10            |
| 使用したURL取得数   | 0          | 10回中4回          |
| 曲名が正しかった実行回数 | 0/10       | 2/10            |
| ツール呼び出しの平均回数 | 5.5        | 3.8             |
| 平均応答時間       | 12.3秒      | 9.8秒            |

### モデルアリーナ

Unsloth Chatでは、同じプロンプトを使って任意の2つのモデルを並べて比較できます。たとえば、ベースモデルとLoRAアダプターを比較できます。推論では、まず一方のモデルを読み込み、次にもう一方を読み込みます（並列推論は現在開発中です）。

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FC3xjqlunbpUr7nx6sQ4j%2Fimage.png?alt=media&amp;token=65501d63-1346-4a1e-b055-c94294a24305" alt="" width="563"><figcaption></figcaption></figure></div>

{% columns %}
{% column %}
トレーニング後は、同じプロンプトを使ってベースモデルとファインチューニング済みモデルを並べて比較し、何が変わったか、結果が改善したかを確認できます。

このワークフローを使えば、ファインチューニングによってモデルの応答がどう変わったか、また用途に応じて結果が改善したかを簡単に確認できます。
{% endcolumn %}

{% column %}

<div align="center" data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FVgnE7eMPQk2vaFboJ4BU%2Fmodel%20arena%20closeup.png?alt=media&amp;token=8b0a910b-440c-4859-a846-0060e61e157b" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% hint style="success" %}
Unsloth Studio Chatは、推論時に **マルチGPU環境** でも自動的に動作します。
{% endhint %}

### 古い／既存のGGUFモデルを使用する

{% columns %}
{% column %}
**4月1日更新：** 既存のフォルダーを選択して、Unslothに検出させることができるようになりました。

**3月27日更新：** Unsloth Studioが **Hugging Face、LM Studioなどからダウンロードした** 古い／既存のモデルを自動検出するようになりました。
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FBn3Fs1cchFchl328wSOs%2FScreenshot%202026-04-05%20at%205.43.57%E2%80%AFAM.png?alt=media&amp;token=cc57ec6e-653a-4824-8e8d-a6bfbcd27493" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

**手動で設定する方法：** Unsloth Studioは、Hugging Face Hubのキャッシュにダウンロードされたモデルを検出します `(C:\Users{your_username}.cache\huggingface\hub)`。LM Studio経由でダウンロードしたGGUFモデルは、次の場所に保存されます `C:\Users\{your_username}.cache\lm-studio\models` ***または*** `C:\Users{your_username}\lm-studio\models` これらはデフォルトではllama.cppから認識できません。Unsloth Studioで読み込むには、該当する.ggufファイルをHugging Face Hubのキャッシュディレクトリ（またはllama.cppからアクセスできる別のパス）に移動またはコピーする必要があります。

Unslothでモデルまたはアダプターをファインチューニングした後、GGUFにエクスポートして、 **llama.cpp** を使ってUnsloth Chat内で直接ローカル推論を実行できます。Unsloth Studioはllama.cppとHugging Faceを基盤としています。

### コンテキストとしてファイルを追加する

Unsloth Chatでは、会話にマルチモーダル入力を直接使用できます。プロンプトに追加のコンテキストとして、ドキュメント、画像、音声を添付できます。

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FSitddQpGkOwUvirMem5P%2Fimage.png?alt=media&amp;token=43b7af91-ea86-4279-a787-b4b444640d82" alt="" width="563"><figcaption></figcaption></figure></div>

これにより、PDF、スクリーンショット、参考資料など、実際の入力をモデルがどのように処理するかを簡単にテストできます。ファイルはローカルで処理され、モデルのコンテキストとして含められます。

### プロジェクトのソースとリンク済みフォルダー

個別のファイルには **ソースを追加** を、フォルダーをリンクするには **フォルダーを追加** を使用します。Unslothは30秒ごとにリンク済みフォルダーを確認し、元のファイルを編集することなく、追加・変更・削除されたファイルを検出します。

3つのインデックス作成カウンターは、それぞれ異なる項目を示します。

| カウンター                                | 意味                                                                                                            |
| ------------------------------------ | ------------------------------------------------------------------------------------------------------------- |
| **ソースフォルダー**: `750 of 7692 files`    | 見つかった対応ファイルの総数のうち、この同期で処理されたファイル数（追加、更新、削除、または失敗）。以前にインデックス作成済みのファイルはスキップされるため、同期を再開した場合、総数に達する前に完了することがあります。 |
| **フォルダーチップ**: `1342 files`           | このフォルダー内にあり、すでにプロジェクトのインデックスに含まれているファイル数。スピナーのパーセンテージは、インデックス作成が完了した割合を示します。                                  |
| **プロジェクトのソース**: `Indexing 2 of 1342` | フォルダーチップに表示された数のうち、現在読み取りと埋め込み処理が行われているファイル数。 **全体の進捗ではありません。**                                               |

インデックス作成が完了すると、 **ソースフォルダーの** スピナーが停止し、行には `N files indexed`と表示されます。スキップされたファイルは、フォルダーの下に一覧表示されます。対象は `.gitignore` に一致するファイル、ビルドフォルダー、非常に大きなデータファイル、および10,000ファイルの上限を超えるファイルです。

フォルダーメニューには、 **変更を同期**, **インデックスを再構築**、インデックス済みファイルを保持するかどうかを選んでリンクを解除できます。

### **モデルファイルの削除**

古いモデルファイルは、モデル検索画面のゴミ箱アイコンから削除するか、デフォルトの Hugging Face キャッシュディレクトリから該当するキャッシュ済みモデルフォルダーを削除できます。デフォルトでは、Hugging Face は `~/.cache/huggingface/hub/` を macOS/Linux/WSL で使用し、 `C:\Users\<username>\.cache\huggingface\hub\` を Windows で使用します。

* **macOS、Linux、WSL：** `~/.cache/huggingface/hub/`
* **Windows：** `%USERPROFILE%\.cache\huggingface\hub\`

もし `HF_HUB_CACHE` または `HF_HOME` が設定されている場合は、代わりにその場所を使用してください。Linux と WSL では、 `XDG_CACHE_HOME` によってデフォルトのキャッシュルートが変更されることもあります。

### **Unsloth が GPU を検出しない、または使用しない**

特に Docker でモデルが GPU を使用しない場合は、次を試してください。

最新のイメージを手動で取得する：

```bash
 docker pull unsloth/unsloth:latest
```

* GPU アクセスを有効にしてコンテナを起動する：
  * `docker run`: `--gpus all`
  * Docker Compose： `capabilities: [gpu]`
* Linux では、NVIDIA Container Toolkit がインストールされていることを確認してください。
* Windows の場合：
  * 次を確認してください： `nvcc --version` の CUDA バージョンが、 `nvidia-smi`
  * 次の手順に従ってください： <https://docs.docker.com/desktop/features/gpu/>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/jp/shii/studio/chat.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
