| 終了（Ctrl+C）してから、次で再起動してください `codex --oss --profile unsloth_api`。カスタムプロバイダーではそれをスキップします |
| ツール呼び出しが不安定 | 自己修復フォールバックが必要 | Unsloth の [自己修復ツール呼び出し](file:///1382377/new/studio/#execute-code--heal-tool-calling) はデフォルトで有効です |
| WSL: `接続が拒否されました` から `localhost` | WSL のネットワーク名前空間 | で Windows ホストの IP を使用してください `base_url`、または WSL2 のミラーリング ネットワークを有効にしてください |
## 🦙 Llama.cpp チュートリアル
次も使用できます `llama.cpp` を直接。次をデプロイする必要があります `llama-server` これは Mac、Linux、Windows デバイスで LLM を効率的に実行・提供するためのオープンソースフレームワークです。モデルは次で提供されます **ポート 8001** すべてのエージェントのツール呼び出しは、その 1 つの OpenAI 互換エンドポイント経由でルーティングされます。
{% hint style="info" %}
llama.cpp のエンドポイントは次になります **ポート 8001** の代わりに `8888` （Unsloth Studio のデフォルト）です。Codex を調整してください `base_url` それに応じて `~/.codex/config.toml`.
{% endhint %}
{% stepper %}
{% step %}
#### **llama.cpp をインストールする**
インストールする必要があります `llama.cpp` Codex で使うためのローカル LLM をデプロイ／提供するために。正しい GPU バインディングと最大性能のため、公式のビルド手順に従います。次を変更してください `-DGGML_CUDA=ON` から `-DGGML_CUDA=OFF` GPU がない場合、または CPU 推論だけを使いたい場合。 **Apple Mac / Metal デバイスの場合**、次を設定してください `-DGGML_CUDA=OFF` その後は通常どおり続けてください—Metal サポートはデフォルトで有効です。
```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev git-all -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
-DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first \\
--target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```
{% endstep %}
{% step %}
#### **モデルをダウンロードしてローカルで使用する**
次を通じてモデルをダウンロードしてください `hf` CLI（`pip install huggingface_hub hf_transfer`）。次を使用します **UD-Q4\_K\_XL** 最適なサイズ／精度バランスのための量子化です。すべての Unsloth GGUF アップロードは次で見つけられます [こちらのコレクション](file:///1382377/get-started/unsloth-model-catalog.md)。ダウンロードが止まる場合は、次を参照してください [https://hugging-face-hub-xet-debugging.md](https://hugging-face-hub-xet-debugging.md "mention").
```bash
hf download unsloth/gemma-4-26B-A4B-it-GGUF \\
--local-dir unsloth/gemma-4-26B-A4B-it-GGUF \\
--include "*UD-Q4_K_XL*"
```
{% hint style="info" %}
**視覚サポートが必要ですか？** 追加してください `--include "*mmproj-BF16*"` を使ってビジョンプロジェクターも取得し、その後次を渡してください `--mmproj unsloth/gemma-4-26B-A4B-it-GGUF/mmproj-BF16.gguf` から `llama-server`。Codex 自体はテキストのみなので、これは任意です。
{% endhint %}
{% hint style="success" %}
次を使用しました `unsloth/gemma-4-26B-A4B-it-GGUF`、ただし次のようなものなら何でも使えます `unsloth/Qwen3.6-35B-A3B-GGUF` —参照: [Qwen3.6-35B-A3B](/docs/jp/moderu/qwen3.6.md).
{% endhint %}
{% endstep %}
{% step %}
#### **Llama-server を起動する**
エージェント型ワークロード向けに Gemma-4-26B-A4B をデプロイするには、次を使用します `llama-server`。Google 推奨のサンプリングパラメータ（`temp 1.0`, `top_p 0.95`, `top_k 64`）を適用し、次を有効にします `--jinja` 適切なツール呼び出しサポートのために。
このコマンドを新しい端末で実行してください（次を使用: `tmux` または新しい端末を開いてください）。以下は **24GB GPU（RTX 4090）に余裕を持って収まるはずです** 約 18GB で。 `--fit on` は自動オフロードも行いますが、性能が悪い場合は次を減らしてください `--ctx-size`.
```bash
./llama.cpp/llama-server \\
--model unsloth/gemma-4-26B-A4B-it-GGUF/gemma-4-26B-A4B-it-UD-Q4_K_XL.gguf \\
--alias "unsloth/gemma-4-26B-A4B" \\
--temp 1.0 \
--top-p 0.95 \
--top-k 64 \\
--port 8001 \\
--kv-unified \\
--cache-type-k q8_0 --cache-type-v q8_0 \\
--batch-size 4096 --ubatch-size 1024
```
{% hint style="info" %}
次を使用しました `--cache-type-k q8_0 --cache-type-v q8_0` VRAM 使用量を減らすための KV キャッシュ量子化です。品質低下が見られる場合は、次を使用してください `bf16` の代わりに（`--cache-type-k bf16 --cache-type-v bf16`）、ただし VRAM は 2 倍になります。
{% endhint %}
{% hint style="success" %}
**思考を無効にする** は、エージェント型コーディングタスクの性能を改善できます。Gemma 4 はチャットテンプレート経由でデフォルトで思考を有効にします。無効にするには、llama-server コマンドに次のフラグを追加してください:
**MacOS / Linux / WSL:**
`--chat-template-kwargs '{"enable_thinking":false}'`
**Windows PowerShell：**
`--chat-template-kwargs "{\"enable_thinking\":false}"`
{% endhint %}
{% endstep %}
{% step %}
#### **Codex をポート 8001 に向ける**
次を編集してください `~/.codex/config.toml` llama-server のポートを使用するように:
{% code title="\~/.codex/config.toml" %}
```toml
[model_providers.llama_cpp]
name = "llama.cpp"
base_url = "http://localhost:8001/v1"
env_key = "LLAMA_CPP_API_KEY"
wire_api = "responses"
```
{% endcode %}
その後、新しいプロファイルで起動します:
```bash
codex --oss llama_cpp
```
llama-server は実際のキーを必要としないため、認証トークンは何でも設定できます:
{% code title="MacOS / Linux / WSL" %}
```bash
export LLAMA_CPP_API_KEY=sk-no-key-required
```
{% endcode %}
{% code title="Windows PowerShell" %}
```powershell
$env:LLAMA_CPP_API_KEY = "sk-no-key-required"
```
{% endcode %}
{% endstep %}
{% endstepper %}
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.
Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:
```
GET https://unsloth.ai/docs/jp/ji-chu/codex.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
.png?alt=media&token=c59c7110-402c-4d21-96c5-cd96c921a184)
