> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/moderu/inkling-2-mini.md).

# Inkling 2 Mini - ローカル実行ガイド

Unsloth と llama.cpp を使って Thinking Machines Lab の Inkling 2 Mini をローカルで実行する方法を学びましょう。

**Inkling 2 Mini** はThinking Machines Labの **26.4B MoE（アクティブパラメータ5.4B）** コーディング、エージェント、 **ビジョン** ワークロード向けモデルです。Apache 2.0ライセンスで公開され、Looped Transformersの派生版をベースに構築されています。 **コンテキスト長は1M** で、スコアは **DeepSWE v1.1で48.2%** 、 **SWEBench Pro v2（Hard）で77.9%**&#x3092;記録し、同サイズでは最も高性能で、Qwen3.8-27Bを上回ります。Terminal Bench 4.0ではQwen3.8-27Bと同率で、スコアは **5.6%**.

{% columns %}
{% column %}
このガイドでは、メモリ使用量を抑え、モデルの推論を高速化するUnsloth Desktopを使って、Mac、NVIDIAまたはAMD搭載デバイスでInkling 2 Miniを実行する方法を説明します。

RAM 16GBまたは **RAM 24GB** で **フル精度**で実行できます。GGUF： [**Inkling 2 Mini GGUF**](https://huggingface.co/unsloth/Inkling-2-Mini-GGUF)

<a href="https://unsloth.ai/docs/jp/moderu/inkling-2-mini.md#run-inkling-2-mini-guide" class="button primary">Inkling 2 実行ガイド</a><a href="https://unsloth.ai/download" class="button secondary">Unslothをダウンロード</a>
{% endcolumn %}

{% column %}

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fbnhx2GlFHFh3fjMdbN26%2Fgta%20example.gif?alt=media&amp;token=6f9605aa-3c77-4796-a014-96214063f1b0" alt="" width="563"><figcaption><p>Unslothで4ビット版Inkling Miniを実行している例</p></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

### ⚙️ 使用ガイド

#### Inkling 2 Miniの要件

**`UD-Q8_K_XL`** は **フル精度**です。推奨量子化形式は **`UD-Q4_K_XL` （17.6 GB）です。**

**表：ハードウェア要件** （RAM + VRAM、またはユニファイドメモリ）

| 1ビット | 2ビット     | 3ビット     | 4ビット     | 8ビット（ロスレス） |
| ---- | -------- | -------- | -------- | ---------- |
| 9 GB | 10～11 GB | 13～15 GB | 17～18 GB | 24 GB      |

すべてのGGUFサイズと結果については、 [量子化分析](#quantization-analysis) をご覧ください。

{% hint style="success" %}
これらの範囲を目安にしてください。コンテキストを長くしたり、画像を入力したり、ほかのアプリを使用したりすると、より多くのメモリが必要になる場合があります。 `mmproj-F16.gguf` ビジョンプロジェクターのファイルサイズは639 MBで、ダウンロード容量に加算されます。
{% endhint %}

#### 推奨設定

| 温度    | Top-p | Top-k | Min-p |
| ----- | ----- | ----- | ----- |
| `1.0` | `1.0` | `0`   | `0.0` |

## Inkling 2 Mini 実行ガイド

以下をサポートする Unsloth または llama.cpp のビルドを使用してください： **ループレイヤー** および **エキスパートごとの NVFP4 スケール**. [Inkling 2 Mini モデルカード](https://huggingface.co/unsloth/Inkling-2-Mini-GGUF)

<a href="https://unsloth.ai/docs/jp/moderu/inkling-2-mini.md#run-inkling-2-mini-in-unsloth-desktop" class="button primary">Unsloth Desktop で実行する</a><a href="https://unsloth.ai/docs/jp/moderu/inkling-2-mini.md#run-inkling-2-mini-in-llama-cpp" class="button secondary">llama.cpp で実行する</a>

<div><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fc9F8coH46gJj7gxZEhRU%2Fsnow-fall.webp?alt=media&amp;token=2ede2108-5204-405d-9e6a-57d1a903c5f0" alt=""><figcaption></figcaption></figure> <figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FXRbHGqQn9DJR1prbs4w5%2Flighthouse.webp?alt=media&amp;token=e17bd9b1-d5d4-4659-b532-8373188e3811" alt=""><figcaption></figcaption></figure></div>

### 🦥 Unsloth Desktop で Inkling 2 Mini を実行する <a href="#run-inkling-2-mini-in-unsloth-desktop" id="run-inkling-2-mini-in-unsloth-desktop"></a>

{% stepper %}
{% step %}

#### Unsloth をインストールする

以下をダウンロードして起動します： [Unsloth Desktop アプリ](https://unsloth.ai/docs/jp/desktop.md) macOS、Windows、または Linux 向けです。

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">Unslothをダウンロード</a>

* <i class="fa-apple">:apple:</i> [macOS 用をダウンロード](https://unsloth.ai/download/mac)
* <i class="fa-windows">:windows:</i> [Windows 用をダウンロード](https://unsloth.ai/download/windows)
* <i class="fa-linux">:linux:</i> [Linux 用をダウンロード](https://unsloth.ai/download/linux)

または、手動でインストールする場合：

{% tabs %}
{% tab title="ネイティブインストール" %}
**MacOS、Linux、WSL:**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows:**

```powershell
irm https://unsloth.ai/install.ps1 | iex
```

{% endtab %}

{% tab title="Docker" %}
その [UnslothのDockerイメージ](https://hub.docker.com/r/unsloth/unsloth) `unsloth/unsloth` Dockerで利用できます。 [ガイドを読む。](https://unsloth.ai/docs/get-started/install/docker)
{% endtab %}

{% tab title="Homebrew" %}
Unsloth Desktopをインストール:

{% code collapsedlinecount="10" %}

```bash
brew install --cask unsloth
```

{% endcode %}

Unsloth Desktopを更新:

```bash
brew upgrade --cask unsloth
```

{% endtab %}

{% tab title="WinGet" %}
Unsloth Desktopをインストール:

```powershell
winget install --id UnslothAI.Unsloth -e
```

Unsloth Desktopを更新:

```powershell
winget upgrade --id UnslothAI.Unsloth -e
```

{% endtab %}
{% endtabs %}
{% endstep %}

{% step %}

#### Inkling 2 Mini を検索してダウンロードする

「 **チャット**」で、 **モデルを選択**するか、 **モデルハブ**に移動します。 **Inkling 2 Mini**を検索し、 [**unsloth/Inkling-2-Mini-GGUF**](https://huggingface.co/unsloth/Inkling-2-Mini-GGUF) を選択して、お使いのデバイスに合った量子化版をダウンロードします。ダウンロードが完了したら、「チャット」でモデルを選択して会話を始めます。ローカルファイルから互換性のある Mini GGUF を読み込むこともできます。
{% endstep %}

{% step %}

#### Unsloth API で Inkling 2 Mini を実行してサーブする

この例では、4 ビットの `UD-Q4_K_XL` 量子化版（17.63 GB）を使用します。リポジトリ内の別の量子化版を選ぶには、コロンの後のサフィックスを変更してください。

{% code overflow="wrap" %}

```bash
unsloth run --model unsloth/Inkling-2-Mini-GGUF:UD-Q4_K_XL \
    --temp 1.0 --top-p 1.0 --top-k 0 --min-p 0.0
```

{% endcode %}

ターミナルに表示されたエンドポイント URL と API キーを使って、クライアントを接続します。 [Unsloth API ガイド](https://unsloth.ai/docs/jp/ji-chu/api.md)
{% endstep %}
{% endstepper %}

### 🦙 llama.cpp で Inkling 2 Mini を実行する <a href="#run-inkling-2-mini-in-llama-cpp" id="run-inkling-2-mini-in-llama-cpp"></a>

{% stepper %}
{% step %}

#### llama.cpp をインストールする

リポジトリのルートにある GGUF は Unsloth のループレイヤー形式を使用しているため、DSpark にも対応した当社の [b12588-mix-c0c3de8](https://github.com/unslothai/llama.cpp/releases/tag/b12588-mix-c0c3de8) ビルドを使用してください。上流版の llama.cpp は別の形式を読み込むため、メインライン版の llama.cpp では、 [Mainline\_Support](https://huggingface.co/unsloth/Inkling-2-Mini-GGUF/tree/main/Mainline_Support) ファイルを使用してください。GGUF をダウンロードするフォルダーで、以下のコマンドを実行します。各コマンドは `llama-server` を `llama.cpp` フォルダーに移動しておけば、以降の手順をそのまま実行できます。 [ビルド済みファイルのダウンロード](https://github.com/unslothai/llama.cpp/releases/tag/b12588-mix-c0c3de8)

{% tabs %}
{% tab title="Apple" %}
{% code overflow="wrap" %}

```bash
curl -L -o llama.tar.gz https://github.com/unslothai/llama.cpp/releases/download/b12588-mix-c0c3de8/llama-b12588-mix-c0c3de8-bin-macos-arm64.tar.gz
mkdir -p llama.cpp
tar -xzf llama.tar.gz -C llama.cpp --strip-components=1
./llama.cpp/llama-server --version
```

{% endcode %}
{% endtab %}

{% tab title="NVIDIA" %}
**CUDA 12** ほとんどのNVIDIA GPU（RTX 20～RTX 50シリーズ、V100、T4、A100、H100、B200）向けのビルドです。まず [CUDAツールキット](https://developer.nvidia.com/cuda-downloads) をインストールしてください。CUDA 13の場合は、 `cuda12-portable` を `cuda13-portable`に置き換えてください。GTX 10シリーズ以前の場合は、 `cuda12-legacy`.

{% code overflow="wrap" %}

```bash
curl -L -o llama.tar.gz https://github.com/unslothai/llama.cpp/releases/download/b12588-mix-c0c3de8/app-b12588-mix-c0c3de8-linux-x64-cuda12-portable.tar.gz
mkdir -p llama.cpp
tar -xzf llama.tar.gz -C llama.cpp
./llama.cpp/llama-server --version
```

{% endcode %}
{% endtab %}

{% tab title="AMD" %}
**ROCm** Radeon RX 9000（`gfx120X`）向けのビルドです。ROCmライブラリが同梱されているため、ROCm一式をインストールする必要はありません。他のGPUの場合は、 `gfx120X` を次のものに置き換えてください： `gfx1151` （Ryzen AI Max）、 `gfx1150` （Ryzen AI 300）、 `gfx110X` （RX 7000）、 `gfx103X` （RX 6000）、 `gfx90a` （MI200）、または `gfx908` （MI100）。それ以外のAMD GPUでは、 `vulkan` ビルドを使用してください。

{% code overflow="wrap" %}

```bash
curl -L -o llama.tar.gz https://github.com/unslothai/llama.cpp/releases/download/b12588-mix-c0c3de8/app-b12588-mix-c0c3de8-linux-x64-rocm-gfx120X.tar.gz
mkdir -p llama.cpp
tar -xzf llama.tar.gz -C llama.cpp
./llama.cpp/llama-server --version
```

{% endcode %}
{% endtab %}

{% tab title="Windows" %}
**CUDA 12** NVIDIA GPU向けのビルドです。まず [CUDAツールキット](https://developer.nvidia.com/cuda-downloads) をインストールし、その後PowerShellで次のコマンドを実行してください。CUDA 13の場合は、 `cuda12-portable` を `cuda13-portable`に置き換えてください。AMDの場合は、 `rocm-gfx120X` または、AMDタブからお使いのGPU向けビルドを選択します。 `vulkan` その他のGPUには `cpu` CPUのみの場合に使用します。

{% code overflow="wrap" %}

```powershell
curl.exe -L -o llama.zip https://github.com/unslothai/llama.cpp/releases/download/b12588-mix-c0c3de8/app-b12588-mix-c0c3de8-windows-x64-cuda12-portable.zip
Expand-Archive llama.zip -DestinationPath llama.cpp
.\llama.cpp\llama-server.exe --version
```

{% endcode %}
{% endtab %}

{% tab title="DGX Spark" %}
{% code overflow="wrap" %}

```bash
curl -L -o llama.tar.gz https://github.com/unslothai/llama.cpp/releases/download/b12588-mix-c0c3de8/app-b12588-mix-c0c3de8-linux-arm64-cuda13-portable.tar.gz
mkdir -p llama.cpp
tar -xzf llama.tar.gz -C llama.cpp
./llama.cpp/llama-server --version
```

{% endcode %}
{% endtab %}
{% endtabs %}

Intel Mac、CPUのみ、Vulkan、またはLinux ARM64の場合は、 [リリースページ](https://github.com/unslothai/llama.cpp/releases/tag/b12588-mix-c0c3de8)から対応するファイルを選びます。 `llama-server` と同梱ライブラリは、 `llama.cpp`.
{% endstep %}

{% step %}

#### GGUFをダウンロード

4ビット版の `UD-Q4_K_XL` GGUF、F16ビジョンプロジェクター、Q8\_0 DSparkドラフターをダウンロードします。別の量子化を使う場合は、リポジトリ内の対応するファイル名を使用してください。 [GGUFファイル](https://huggingface.co/unsloth/Inkling-2-Mini-GGUF/tree/main)

{% code overflow="wrap" collapsedlinecount="10" %}

```bash
pip install -U huggingface_hub
hf download unsloth/Inkling-2-Mini-GGUF \
    Inkling-2-Mini-UD-Q4_K_XL.gguf mmproj-F16.gguf dspark-Inkling-2-Mini-Q8_0.gguf \
    --local-dir Inkling-2-Mini-GGUF
```

{% endcode %}
{% endstep %}

{% step %}

#### Inkling 2 Miniを実行する

ビルド済みバイナリでローカルチャットサーバーを起動します。

{% tabs %}
{% tab title="macOS、Linux、またはWSL" %}
{% code overflow="wrap" collapsedlinecount="10" %}

```bash
./llama.cpp/llama-server \
    --model Inkling-2-Mini-GGUF/Inkling-2-Mini-UD-Q4_K_XL.gguf \
    --mmproj Inkling-2-Mini-GGUF/mmproj-F16.gguf \
    --model-draft Inkling-2-Mini-GGUF/dspark-Inkling-2-Mini-Q8_0.gguf \
    --spec-type draft-dspark --spec-draft-n-max 3 --n-gpu-layers-draft 99 \
    --temp 1.0 --top-p 1.0 --top-k 0 --min-p 0.0 \
    --host 127.0.0.1 --port 8080
```

{% endcode %}
{% endtab %}

{% tab title="Windows PowerShell" %}
{% code overflow="wrap" collapsedlinecount="10" %}

```powershell
.\llama.cpp\llama-server.exe `
    --model Inkling-2-Mini-GGUF/Inkling-2-Mini-UD-Q4_K_XL.gguf `
    --mmproj Inkling-2-Mini-GGUF/mmproj-F16.gguf `
    --model-draft Inkling-2-Mini-GGUF/dspark-Inkling-2-Mini-Q8_0.gguf `
    --spec-type draft-dspark --spec-draft-n-max 3 --n-gpu-layers-draft 99 `
    --temp 1.0 --top-p 1.0 --top-k 0 --min-p 0.0 `
    --host 127.0.0.1 --port 8080
```

{% endcode %}
{% endtab %}
{% endtabs %}

開く <http://127.0.0.1:8080> と、チャットしたり画像をアップロードしたりできます。 `--model-draft` と `--spec-type draft-dspark` のフラグを指定すると、0.4 GBのドラフターを使ったDSpark投機的デコードが有効になります。また、 `--spec-draft-n-max 3` が適切なデフォルト設定です。これを使わずに実行するには、ダウンロード対象からドラフターを除き、 `--model-draft` と `--spec-type` の行をサーバーコマンドから削除します。テキストのみのチャットでは、ダウンロード対象からプロジェクターを除き、 `--mmproj` をサーバーコマンドから削除します。メモリに余裕がない場合は、 `--ctx-size` または `--n-gpu-layers`を小さくしてください。CPUのみで推論する場合は、 `--n-gpu-layers 0` と `--n-gpu-layers-draft 0`.
{% endstep %}
{% endstepper %}

### :play\_pause:ループ型トランスフォーマーアーキテクチャ

Inkling-2-Miniは、レイヤー6～17を3回ループさせる、改変されたループ型トランスフォーマーアーキテクチャを採用しています。これを埋め込みと組み合わせると、活性化されるのはわずか5.4Bです。これは、各デコーダーレイヤーを1回だけ実行する他のLLMアーキテクチャとは異なります。Inkling-2-Miniは実質的にレイヤー6～17を3回実行することで、学習時のディスク容量とフットプリントを圧縮しています。

また、 **噂では** 、GPT-6 Astraクラスのモデルもループ型トランスフォーマーアーキテクチャの派生型を採用する可能性があるとされています。Inkling-2-Miniは、この仕組みの派生型を採用した初の強力なオープンモデルの1つです。

### 📊 量子化分析 <a href="#quantization-analysis" id="quantization-analysis"></a>

各GGUFを `UD-Q8_K_XL` と比較します。7つのドメインで、llama.cppの設定を統一して評価しました。参照用データでは、元のNVFP4エキスパート重みを保持し、残りの重みをBF16で保存しています。UD-Q4\_K\_XLも、MXFP8重みをQ8\_0に逆量子化することで、ほぼ損失のない結果になります。UD-Q8\_K\_XLはMXFP8をBF16にアップキャストするため、KLD = 0です。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FqWPOI9paCJed36b9qV1x%2Fsize_vs_top1(7).png?alt=media&amp;token=186fd174-4199-4d66-949e-fc851aa614ef" alt="" width="563"><figcaption></figcaption></figure>

4ビットの `UD-Q4_K_XL` は **平均KLD 0.0107** で、 **トップトークン一致率は98.0%** 、サイズは **17.63 GB**です。2ビットの `UD-IQ2_XXS` では、ダウンロードサイズが **8.49 GB** に抑えられ、 **一致率は90.6%**.

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FObpB27Pzg7eddzGOefoK%2Fsize_vs_kld(4).png?alt=media&amp;token=b388d982-caaa-402f-bc8f-f49938036713" alt="" width="563"><figcaption></figcaption></figure>

| 量子化方式        | サイズ（GB） | UD-Q8\_K\_XLとの平均KLD | トップトークン一致率 |
| ------------ | ------- | ------------------- | ---------- |
| UD-IQ1\_S    | 7.76    | 0.0911              | 89.4%      |
| UD-IQ1\_M    | 8.02    | 0.0867              | 90.2%      |
| UD-IQ2\_XXS  | 8.49    | 0.0726              | 90.6%      |
| UD-Q2\_K\_XL | 9.14    | 0.0595              | 91.6%      |
| UD-IQ3\_XXS  | 11.66   | 0.0269              | 94.7%      |
| UD-Q3\_K\_XL | 13.63   | 0.0174              | 96.3%      |
| UD-IQ4\_XS   | 15.73   | 0.0109              | 97.7%      |
| UD-Q4\_K\_M  | 16.61   | 0.0108              | 97.9%      |
| UD-Q4\_K\_XL | 17.63   | 0.0107              | 98.0%      |
| UD-Q8\_K\_XL | 22.87   | 参照                  |            |

### 📊 ベンチマーク

Thinking Machines Labの評価では、Miniは、以下に示す同規模の3モデルを、記載されたソフトウェアエンジニアリングおよび検索ベンチマークで上回っています。Miniのスコアは **DeepSWE v1.1でQwen3.8-27Bを6.0ポイント上回り** 、 **SWEBench Pro v2（Hard）で4.1ポイント上回ります**.

<details>

<summary>クリックしてベンチマーク表全体を表示</summary>

| ベンチマーク                       | Inkling 2 Mini   | Gemma 4 31B  | Muse Glimmer | Qwen3.8-27B  | Nemotron 3.5 Super VL |
| ---------------------------- | ---------------- | ------------ | ------------ | ------------ | --------------------- |
| パラメーター数（アクティブ／合計、B）          | 5 / 26           | 31 / 31      | 30 / 30      | 27 / 27      | 12 / 125              |
| SWE-bench Verified           | **79.2%**        | 46.1%        | 76.0%        | 77.8%        | 71.1%                 |
| DeepSWE v1.1                 | **48.2%**        | 0.3%         | 4.4%         | 42.2%        | 24.7%                 |
| Terminal Bench v4.0          | **5.6%**         | 0.0%         | 0.5%         | **5.6%**     | 0.0%                  |
| AA Index v5.0                | **20.1**         | 4.4          | 6.3          | **20.1**     | 13.6                  |
| Vals Index v2.2              | **46.5%**        | –            | –            | –            | 29.8%                 |
| SWE-bench Pro（Hard）          | **77.9%**        | 14.2%        | 44.3%        | 73.8%        | 44.1%                 |
| Terminal Bench v2.1          | 71.6%            | 43.4%        | 51.7%        | **73.0%**    | 60.7%                 |
| BrowseComp                   | **79.0%**        | 37.0%        | 63.9%        | 61.6%        | 78.9%                 |
| DeepSearchQA                 | **85.3%**        | 61.7%        | 74.6%        | 79.7%        | 77.7%                 |
| GDPVal-AA v2.1               | 1319             | 627          | 792          | **1427**     | 1162                  |
| AutomationBench-AA           | 41.8%            | 4.9%         | 6.8%         | **48.2%**    | 14.8%                 |
| JobBench                     | **49.6%**        | 8.2%         | 16.1%        | 33.4%        | 36.5%                 |
| MMMU Pro                     | 74.9%            | 73.4%        | 74.3%        | **76.3%**    | 72.3%                 |
| OmniDocBench v1.6            | **92.8%**        | 82.5%        | 90.4%        | 91.5%        | 77.9%                 |
| ScreenSpot Pro（オリジナル／Python） | **76.5 / 87.7%** | 5.9 / –      | 75.4 / –     | 57.6 / 78.9% | 43.5 / –              |
| Chartography（オリジナル／Python）   | **22.1 / 72.5%** | 12.0 / 11.8% | 17.4 / 25.1% | 12.2 / 52.1% | 9.7 / 29.3%           |
| HLE-Diamond                  | 15.2%            | 7.2%         | 9.1%         | **15.3%**    | 8.8%                  |
| ARC-AGI（v1／v2）               | **84.5 / 49.3%** | –            | –            | 87.5 / 42.4% | 22.7 / 1.5%           |
| LongBench v2                 | **66.9%**        | 52.9%        | 33.1%        | 52.3%        | 62.1%                 |
| AA-Omniscience（スコア）          | -8.6             | -48.5        | -32.2        | -6.4         | **-2.9**              |
| AA-Omniscience（非ハルシネーション）    | 63.4%            | 14.5%        | 16.4%        | **71.4%**    | 69.5%                 |
| FORTRESS（敵対的）                | 89.5%            | 67.8%        | **90.3%**    | 78.8%        | 79.6%                 |
| FORTRESS（良性）                 | 96.4%            | 97.6%        | 89.1%        | **97.8%**    | 92.7%                 |
| StrongREJECT                 | 97.8%            | 98.1%        | 99.0%        | 99.0%        | **99.4%**             |

</details>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/jp/moderu/inkling-2-mini.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
