> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/moderu/flint.md).

# Flint: ローカル実行ガイド

Unsloth Dynamic GGUFs、Unsloth Desktop、llama.cpp を使って Recursive Flint をローカルで実行します。

Recursive Flint は **39.8Bパラメータの MoE（2.5B アクティブ）**、推論、複数ターンのツール使用、および **256K コンテキスト**。Flint は Apache-2.0 で公開されており、 **最強の MoE モデル** エージェント型コーディングベンチマークで500億未満のパラメータを持つモデルの中で最強です。ローカルで実行するには [Unsloth Desktop](https://unsloth.ai/docs/jp/desktop.md) または、Unsloth の 3ビット GGUF を使って llama.cpp で 24GB RAM 上で実行できます。M4 Pro MacBook Pro では 125+ トークン/秒、64GB NVIDIA RTX Spark では 150+ トークン/秒で実行できます。

当社の **3ビット UD-Q3\_K\_XL GGUF** は18.50GBで、 **24GB RAM 構成** 短いコンテキストでは収まります。完全版の BF16 GGUF は 79.58GB で、UD-Q4\_K\_XL は 25.05GB です。GGUF： [unsloth/flint-GGUF](https://huggingface.co/unsloth/flint-GGUF)

#### ⚙️ 使用ガイド

**表：ハードウェア要件** （RAM + VRAM、またはユニファイドメモリ）。

| 2ビット     | 3ビット     | 4ビット  | 6ビット  | 8ビット  |
| -------- | -------- | ----- | ----- | ----- |
| 13〜15 GB | 16〜20 GB | 26 GB | 38 GB | 44 GB |

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FGXYEQqEXseTna162HHNa%2Fflint%20pic.webp?alt=media&amp;token=bcddff05-8e5d-4026-a05e-02cab135af2e" alt="" width="563"><figcaption><p>Unsloth 内で動作する Flint。</p></figcaption></figure>

#### 推奨設定

[Recursive は](https://huggingface.co/RecursiveSI/flint) 以下のサンプリング設定を推奨しています：

| パラメータ    | 設定                       |
| -------- | ------------------------ |
| 温度       | 1.0                      |
| Top-p    | 0.95                     |
| Top-k    | 20                       |
| 最大コンテキスト | 262,144 トークン（プロンプト + 出力） |

**チャットテンプレート：** GGUF に同梱されているテンプレートを使用してください。独自のマルチターンクライアントでは、返される `reasoning_content` およびツール呼び出しメッセージを、モデルカードに記載されているとおり会話履歴に保持してください。

### Flint 実行ガイド

ここでは **UD-Q4\_K\_XL（25.05GB）**。メモリが限られている場合は、 **UD-Q3\_K\_XL（18.5GB）** を選択してください。

Recursive の公式 [Flint ガイドはこちら](#usage-guide).

#### 🦥 Unsloth Desktop で Flint を実行

Flint を実行 [Unsloth Desktop](https://unsloth.ai/docs/desktop) するには **macOS、Windows、Linux**.

{% stepper %}
{% step %}

#### Unsloth をインストール

最新の [Unsloth Desktop アプリをダウンロードして起動](https://unsloth.ai/download) をお使いのデバイス向けに：

* [macOS 用をダウンロード](https://unsloth.ai/download/mac)
* [Windows 用をダウンロード](https://unsloth.ai/download/windows)
* [Linux 用をダウンロード](https://unsloth.ai/download/linux)

macOS、Linux、または WSL で手動インストールする場合：

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

Windows PowerShell では：

```powershell
irm https://unsloth.ai/install.ps1 | iex
```

{% endstep %}

{% step %}

#### Flint をダウンロードして実行

1. 開く **モデルハブ** または **モデルを選択** のドロップダウン（Chat 内）
2. 検索する `unsloth/flint-GGUF`、Unsloth リポジトリを選択し、ダウンロード `UD-Q4_K_XL` または、より小さい量子化版をダウンロードします。

Flint は **テキスト入力を受け付けます**。詳細は [Unsloth Chat ガイド](https://unsloth.ai/docs/new/studio/chat) で、モデルの読み込みと推論設定を確認してください。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FGXYEQqEXseTna162HHNa%2Fflint%20pic.webp?alt=media&amp;token=bcddff05-8e5d-4026-a05e-02cab135af2e" alt="" width="375"><figcaption></figcaption></figure>
{% endstep %}

{% step %}

#### コーディングエージェントを接続

Unsloth とお好みのエージェントをインストールしたら、プロジェクトフォルダから次を実行してください：

```bash
unsloth start claude \\
    --model unsloth/flint-GGUF:UD-Q4_K_XL \\
    --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0
```

これはコーディングタスク向けにより大きなコンテキストを使用するため、8K の例より多くのメモリが必要です。置き換えられます `claude` を、次のような別の対応エージェントに `opencode`。詳細は [Unsloth Start](https://unsloth.ai/docs/integrations/unsloth-start) で、セットアップと対応インテグレーションを確認してください。
{% endstep %}

{% step %}

#### Unsloth API で Flint を提供

使用するには `unsloth run` で量子化版を読み込み、ローカルで提供します。 `:UD-Q4_K_XL` というサフィックスで量子化を選択します：

```bash
unsloth run --model unsloth/flint-GGUF:UD-Q4_K_XL \\
    --parallel 1 --alias flint \\
    --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 \\
    --host 127.0.0.1 --port 8001
```

Unsloth に表示されるエンドポイントと認証情報を使用してください。Desktop API にアクセスするには、 **設定 → API** でキーを作成し、 [API ガイド](https://unsloth.ai/docs/basics/api) に従ってクライアントを接続してください。
{% endstep %}
{% endstepper %}

### 📊 量子化分析

以下のベンチマークは [Flint GGUF README](https://huggingface.co/unsloth/flint-GGUF) からのもので、量子化の品質とモデルサイズを比較しています。 **KLD は低いほど良く、top-1 精度は高いほど良いです。** これらは各量子化が参照モデルにどれだけ近いかを測定します。詳細はこちら： [Unsloth Dynamic 3.0 GGUF](https://unsloth.ai/docs/basics/unsloth-dynamic-v3.0-gguf).

<div><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FR3k6FK1PyIJuU7qBx6h8%2Fsize_vs_top1(3).png?alt=media&amp;token=1ffcb4fc-696f-4fec-92a8-68b2c160246b" alt="" width="563"><figcaption></figcaption></figure> <figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FtU9zTQiXR66yrHnGX19y%2Fsize_vs_kld(3).png?alt=media&amp;token=0d18a630-93d4-448f-b00b-df41000d61de" alt="" width="563"><figcaption></figcaption></figure></div>

### 🦙 llama.cpp で Flint を実行

{% stepper %}
{% step %}

#### llama.cpp をビルド

次の [最新の llama.cpp](https://github.com/ggml-org/llama.cpp) Flint 対応版を使用します。以下のコマンドは macOS/Linux/WSL のシェルで実行します。まず Git、CMake、C++ コンパイラをインストールしてください。NVIDIA の場合は CUDA Toolkit もインストールしてください。

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone --branch iq1-narrow https://github.com/unslothai/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

**Apple Silicon：** 置き換え `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF`；Metal は既定で有効です。CPU のみのビルドでは、さらに `-DGGML_METAL=OFF` を macOS で設定してください。 [ビルド手順](https://github.com/ggml-org/llama.cpp/blob/master/docs/build.md) を他のプラットフォームについて参照してください。
{% endstep %}

{% step %}

#### Unsloth GGUF をダウンロード

同じ作業ディレクトリから、正確な 4ビットファイルをダウンロードしてください：

```bash
python3 -m venv .venv
source .venv/bin/activate
pip install -U huggingface_hub
hf download unsloth/flint-GGUF \\
    flint-UD-Q4_K_XL.gguf \\
    --local-dir models/flint
```

より小さい 2ビットモデルの場合は、ファイル名を `flint-UD-IQ2_XXS.gguf` ダウンロードと実行の両方のコマンドでこれに置き換えてください。BF16 を選ぶ場合は、3 つすべての shard を同じフォルダにダウンロードし、実行時には最初の shard を指定してください。
{% endstep %}

{% step %}

#### Flint とチャット

```bash
./llama.cpp/llama-cli \\
    --model models/flint/flint-UD-Q4_K_XL.gguf \\
    --ctx-size 8192 --n-gpu-layers 99 \\
    --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 \\
    --prompt "重複する区間を結合する Python 関数を書き、テストも含めてください。"
```

`--jinja` モデルのチャットテンプレートを使用します。 `--n-gpu-layers` VRAM が限られている場合はこれを減らすか、 `0` CPU 推論では 0 に設定してください。オフロードされるレイヤー分の十分なシステム RAM を確保してください。
{% endstep %}
{% endstepper %}

### ベンチマーク

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fvx89npzlDGi6Mq3sWqmJ%2Fflint_benchmarks_nvfp4.png?alt=media&amp;token=759b8b48-8c15-4ca9-a1a5-3d3aab34a522" alt=""><figcaption></figcaption></figure>

| モデル           | Terminal-Bench 2.1 | SWE-bench Pro v2† | SWE-bench Verified | LiveCodeBench v6 | IFBench | IFEval |
| ------------- | ------------------ | ----------------- | ------------------ | ---------------- | ------- | ------ |
| Flint BF16    | 54.9               | 89.7              | 74.2               | 80.3             | 89.2    | 95.1   |
| Flint NVFP4   | 53.7               | 88.5              | 74.1               | 80.8             | 88.1    | 94.6   |
| Qwen 3.5      | 38.7               | 68.6              | 69.2               | 74.6             | 70.2    | 91.9   |
| Qwen 3.6      | 44.9               | 73.8              | 73.4               | 80.4             | 67.9    | 89.6   |
| Laguna XS 2.1 | 24.7†              | 38.6              | 70.9               | 49.5†            | 34.4†   | 73.7†  |
| Qwen 3.8      | 73.0               | 94.9              | 75.6†              | 90.3             | 79.5    | 94.6†  |
| Muse Glimmer  | 51.7               | 86.0              | 76.0               | 63.5†            | 77.0    | 94.7†  |
| Gemma 4       | 43.4               | 61.7              | 66.6               | 80.0             | 76.0    | 94.6   |

図表の注記：

* † = 内部測定（元の図表で示されているとおり）。
* Flint BF16：総パラメータ 40B、アクティブは約 2B。
* Flint NVFP4：Flint の量子化チェックポイント。
* Qwen 3.5、Qwen 3.6、Laguna XS 2.1：疎 MoE カテゴリ（総パラメータ 33〜35B、アクティブ 3B）。
* Qwen 3.8、Muse Glimmer、Gemma 4：密モデルカテゴリ（27〜31B）。
* すべてのベンチマークパネルは 0 基準のスケールを使用しています。


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/jp/moderu/flint.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
