> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/moderu/tutorials/qwen3-coder-how-to-run-locally.md). # Qwen3-Coder: ローカルでの実行方法 Qwen3-Coder-30B-A3B-Instructと480B-A35BをUnslothのDynamic量子化を使ってローカル実行します。 Qwen3-CoderはQwenの新しいコーディングエージェントモデル群で、30B（**Qwen3-Coder-Flash**）と480Bのパラメータで利用できます。 **Qwen3-480B-A35B-Instruct** は、Claude Sonnet-4、GPT-4.1、そして [Kimi K2](/docs/jp/moderu/tutorials/kimi-k2-thinking-how-to-run-locally.md)に匹敵するSOTAのコーディング性能を達成し、Aider Polygotで61.8%を記録し、256K（1Mまで拡張可能）のトークンコンテキストをサポートします。 また、ネイティブな **100万トークンのコンテキスト長** をYaRNで拡張したものと、フル精度の8bitおよび16bit版のQwen3-Coderもアップロードしました。 [Unsloth](https://github.com/unslothai/unsloth) も、今ではファインチューニングと [RL](/docs/jp/meru/reinforcement-learning-rl-guide.md) Qwen3-Coder のものです。 {% hint style="success" %} [**更新:** Qwen3-Coder のツール呼び出しを修正しました！ ](#tool-calling-fixes)現在、llama.cpp、Ollama、LMStudio、Open WebUI、Jan などでツール呼び出しをシームレスに使えます。この問題は共通で、すべてのアップロード（Unsloth だけでなく）に影響していました。修正については Qwen チームにも共有済みです！ [続きを読む](#tool-calling-fixes) {% endhint %} 30B-A3Bを実行480B-A35B を実行 {% hint style="success" %} **するか** [**Unsloth の Dynamic Quants**](/docs/jp/ji-chu/dynamic-3.0-ggufs.md) **は動作しますか？** はい、しかも非常によく動作します。Aider Polyglot ベンチマークの第三者テストでは、 **UD-Q4\_K\_XL (276GB)** のダイナミック量子化は **フル bf16 (960GB)** の Qwen3-coder モデルとほぼ同等で、60.9%対61.8%のスコアでした。 [詳細はこちら。](https://huggingface.co/unsloth/Qwen3-Coder-480B-A35B-Instruct-GGUF/discussions/8) {% endhint %} #### **Qwen3 Coder - Unsloth Dynamic 2.0 GGUF**: | Dynamic 2.0 GGUF（実行用） | 100万コンテキスト Dynamic 2.0 GGUF | | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | | | ## 🖥️ **Qwen3-Coder の実行** 以下は、 [**30B-A3B**](#run-qwen3-coder-30b-a3b-instruct) そして [**480B-A35B**](#run-qwen3-coder-480b-a35b-instruct) モデルのバリエーション。 ### :gear: 推奨設定 Qwen は、両モデルに対して次の推論設定を推奨しています: `temperature=0.7`, `top_p=0.8`, `top_k=20`, `repetition_penalty=1.05` * **温度 0.7** * Top\_K 20 * Min\_Pは0.00（任意ですが、0.01でもうまく動きます。llama.cppのデフォルトは0.1です） * Top\_P 0.8 * **繰り返しペナルティ 1.05** * チャットテンプレート: ``` <|im_start|>user やあ！<|im_end|> <|im_start|>assistant 1+1はいくつ？<|im_end|> <|im_start|>user 2<|im_end|> <|im_start|>assistant ``` * 推奨コンテキスト出力: 65,536トークン（増やすこともできます）。詳細はこちら。 **改行がレンダリングされていないチャットテンプレート/プロンプト形式** {% code overflow="wrap" %} ``` <|im_start|>user\nやあ！<|im_end|>\n<|im_start|>assistant\n1+1はいくつ？<|im_end|>\n<|im_start|>user\n2<|im_end|>\n<|im_start|>assistant\n ``` {% endcode %} **ツール呼び出し用チャットテンプレート** （サンフランシスコの現在の気温を取得）。ツール呼び出しの書式についての詳細はこちら。 ``` <|im_start|>user サンフランシスコの今の気温は？明日はどうですか？<|im_end|> <|im_start|>assistant \n\n\nサンフランシスコ, CA, USA \n\n<|im_end|> <|im_start|>user {"temperature": 26.1, "location": "San Francisco, CA, USA", "unit": "celsius"} \n<|im_end|> ``` {% hint style="info" %} このモデルは非思考モードのみをサポートし、出力に `` ブロックを生成しません。一方で、 `enable_thinking=False` はもはや必要ありません。 {% endhint %} ### Qwen3-Coder-30B-A3B-Instruct を実行: 当社の Dynamic 4-bit 量子化で 1 秒あたり 6 トークン以上の推論速度を達成するには、少なくとも **18GB のユニファイドメモリ** (VRAM と RAM の合計) または **18GB のシステムRAM** だけです。目安として、利用可能なメモリは使用するモデルのサイズ以上であるべきです。たとえば、32.5GB の UD\_Q8\_K\_XL 量子化版（フル精度）には、少なくとも **33GB のユニファイドメモリ** （VRAM + RAM）または **33GB のRAM** が最適なパフォーマンスのために必要です。 **注:** モデルは総サイズより少ないメモリでも動作できますが、その場合推論は遅くなります。最大メモリが必要なのは最速の速度を得る場合のみです。 これは非推論モデルなので、 `thinking=False` を設定する必要はなく、モデルは ` ` ブロックを生成しません。 {% hint style="info" %} 上記の [**ベストプラクティスに従ってください**](#recommended-settings)が必要です。これらは 480B モデルと同じです。 {% endhint %} #### 🦙 Ollama: Qwen3-Coder-30B-A3B-Instruct の実行チュートリアル 1. インストール `ollama` まだインストールしていない場合は！サイズが32Bまでのモデルしか実行できません。 ```bash apt-get update apt-get install pciutils -y curl -fsSL https://ollama.com/install.sh | sh ``` 2. モデルを実行してください！必要に応じて `ollama serve`を別のターミナルで呼び出せます。失敗した場合でも大丈夫です！私たちの修正と推奨パラメータ（temperature など）はすべて `params` として Hugging Face のアップロードに含めています！ ```bash ollama run hf.co/unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:UD-Q4_K_XL ``` #### :sparkles: Llama.cpp: Qwen3-Coder-30B-A3B-Instruct の実行チュートリアル 1. 最新の `llama.cpp` を [GitHubこちら](https://github.com/ggml-org/llama.cpp)。以下のビルド手順に従うこともできます。変更してください `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF` GPUがない場合、またはCPU推論のみを使いたい場合は。 **Apple Mac / Metalデバイスの場合**、次を設定します `-DGGML_CUDA=OFF` その後は通常どおり続けてください。Metalサポートはデフォルトで有効です。 ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` 2. HuggingFace から直接、以下を使って取得できます: ```bash ./llama.cpp/llama-cli \ -hf unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q4_K_XL \ --jinja -ngl 99 --ctx-size 32768 \ --temp 0.7 --min-p 0.0 --top-p 0.80 --top-k 20 --repeat-penalty 1.05 ``` 3. 以下をインストールした後、( `pip install huggingface_hub hf_transfer` ）。UD\_Q4\_K\_XL や他の量子化版を選べます。ダウンロードが止まる場合は、 [Hugging Face Hub、XET のデバッグ](/docs/jp/ji-chu/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) ```python # !pip install huggingface_hub hf_transfer import os os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1" from huggingface_hub import snapshot_download snapshot_download( repo_id = "unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF", local_dir = "unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF", allow_patterns = ["*UD-Q4_K_XL*"], ) ``` ### Qwen3-Coder-480B-A35B-Instruct を実行: 当社の 1-bit 量子化で 1 秒あたり 6 トークン以上の推論速度を達成するには、少なくとも **150GB のユニファイドメモリ** (VRAM と RAM の合計) または **150GB のシステムRAM** だけです。目安として、利用可能なメモリは使用するモデルのサイズ以上であるべきです。たとえば、180GB の Q2\_K\_XL 量子化版には、少なくとも **180GBのユニファイドメモリ** （VRAM + RAM）または **180GBのRAM** が最適なパフォーマンスのために必要です。 **注:** モデルは総サイズより少ないメモリでも動作できますが、その場合推論は遅くなります。最大メモリが必要なのは最速の速度を得る場合のみです。 {% hint style="info" %} 上記の [**ベストプラクティスに従ってください**](#recommended-settings)が必要です。これらは 30B モデルと同じです。 {% endhint %} #### 📖 Llama.cpp: Qwen3-Coder-480B-A35B-Instruct の実行チュートリアル Coder-480B-A35B では、最適化された推論と豊富なオプションのために、特に Llama.cpp を使用します。 {% hint style="success" %} もし **フル精度の非量子化版**が欲しいなら、当社の `Q8_K_XL、Q8_0` または `BF16` 版をご利用ください！ {% endhint %} 1. 最新の `llama.cpp` を [GitHubこちら](https://github.com/ggml-org/llama.cpp)。以下のビルド手順に従うこともできます。変更してください `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF` GPUがない場合、またはCPU推論のみを使いたい場合は。 ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` 2. モデルのダウンロードには llama.cpp を直接使うこともできますが、通常は `huggingface_hub` llama.cpp を直接使うには、以下を実行します: ```bash ./llama.cpp/llama-cli \ -hf unsloth/Qwen3-Coder-480B-A35B-Instruct-GGUF:Q2_K_XL \ --ctx-size 16384 \\ --n-gpu-layers 99 \\ -ot ".ffn_.*_exps.=CPU" \\ --temp 0.7 \\ --min-p 0.0 \\ --top-p 0.8 \ --top-k 20 \\ --repeat-penalty 1.05 ``` 3. または、次をインストールした後にモデルをダウンロードします: `pip install huggingface_hub hf_transfer` )。UD-Q2\_K\_XL やその他の量子化版を選べます。 ```python # !pip install huggingface_hub hf_transfer import os os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0" # 時々レート制限が発生することがあるため、無効にするには 0 に設定します from huggingface_hub import snapshot_download snapshot_download( repo_id = "unsloth/Qwen3-Coder-480B-A35B-Instruct-GGUF", local_dir = "unsloth/Qwen3-Coder-480B-A35B-Instruct-GGUF", allow_patterns = ["*UD-Q2_K_XL*"], ) ``` 4. 会話モードでモデルを実行し、任意のプロンプトを試してください。 5. 編集 `--threads -1` CPUスレッド数は `--ctx-size` コンテキスト長には 262114、 `--n-gpu-layers 99` GPUオフロードする層数です。GPUがメモリ不足になったら調整してみてください。CPUのみで推論する場合は削除してください。 {% hint style="success" %} 次を使います: `-ot ".ffn_.*_exps.=CPU"` すべての MoE 層を CPU にオフロードできます！これにより、MoE 以外の層を 1 枚の GPU に収められるようになり、生成速度が向上します。GPU の余力があれば、正規表現を調整してより多くの層を収めることもできます。その他のオプションについては [ここ](#improving-generation-speed). {% endhint %} {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \ --model unsloth/Qwen3-Coder-480B-A35B-Instruct-GGUF/UD-Q2_K_XL/Qwen3-Coder-480B-A35B-Instruct-UD-Q2_K_XL-00001-of-00004.gguf \ --ctx-size 16384 \\ --n-gpu-layers 99 \\ -ot ".ffn_.*_exps.=CPU" \\ --temp 0.7 \\ --min-p 0.0 \\ --top-p 0.8 \ --top-k 20 \\ --repeat-penalty 1.05 ``` {% endcode %} {% hint style="success" %} また、新しい Qwen3 アップデートもお忘れなく。 [**Qwen3-235B-A22B-Instruct-2507**](/docs/jp/moderu/tutorials/qwen3-next.md) を llama.cpp でローカル実行してください。 {% endhint %} #### :tools: 生成速度の向上 VRAM がさらにあれば、より多くの MoE 層、または層全体のオフロードを試せます。 通常は、 `-ot ".ffn_.*_exps.=CPU"` すべての MoE 層を CPU にオフロードします！これにより、非MoE層すべてを1枚のGPUに収められるようになり、生成速度が向上します。GPU容量がさらにあれば、正規表現を調整してより多くの層を収めることもできます。 GPU メモリがもう少し多ければ、 `-ot ".ffn_(up|down)_exps.=CPU"` を試してください。これは up と down の projection MoE 層をオフロードします。 試してみてください `-ot ".ffn_(up)_exps.=CPU"` GPU メモリがさらに多い場合はこちら。これは up projection の MoE 層のみをオフロードします。 これは最も少ない VRAM を使用します。 `-ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU"` は、6層目以降から gate、up、down の MoE 層をオフロードすることを意味します。 その [最新のllama.cppリリース](https://github.com/ggml-org/llama.cpp/pull/14363) には高スループットモードも導入されています。 `llama-parallel`を使用してください。 [ここ](https://github.com/ggml-org/llama.cpp/tree/master/examples/parallel)について詳しくはこちらを読む **KV キャッシュを 4bit に量子化する** ことで、VRAM / RAM の移動を減らし、生成処理をさらに高速化できます。 #### :triangular\_ruler:長いコンテキスト（256K から 1M）を収める方法 より長いコンテキストに対応するには、 **KV キャッシュ量子化** を使って K と V のキャッシュをより低い bit に量子化できます。これにより、RAM / VRAM のデータ移動が減るため生成速度も上がります。K の量子化で使用できるオプション（デフォルトは `f16`）は以下の通りです。 `--cache-type-k f32, f16, bf16, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1` 少し精度が向上する `_1` 版を使うべきです。少し遅くなりますが。たとえば `q4_1, q5_1` V キャッシュも量子化できますが、その場合は **Flash Attention 対応で llama.cpp をコンパイルする必要があります** を `-DGGML_CUDA_FA_ALL_QUANTS=ON`で有効にし、 `--flash-attn` を有効にするには。 YaRN スケーリングを使って 100万トークンのコンテキスト長の GGUF もアップロードしました [ここ](https://huggingface.co/unsloth/Qwen3-Coder-480B-A35B-Instruct-1M-GGUF). ## :toolbox: ツール呼び出しの修正 私たちは `llama.cpp --jinja` 経由のツール呼び出しを修正できました。 `llama-server`！30B-A3B の量子化版をダウンロードしているなら、これらにはすでに修正が含まれているので心配ありません。480B-A35B モデルについては、次のことを行ってください: 1. UD-Q2\_K\_XL 用に から最初のファイルをダウンロードし、現在のファイルを置き換えてください 2. 次を使います: `snapshot_download` 。通常どおり の手順で行えば、自動的に古いファイルを上書きします 3. 新しいチャットテンプレートを `--chat-template-file`。参照 [経由で使用してください](https://huggingface.co/unsloth/Qwen3-Coder-480B-A35B-Instruct-GGUF?chat_template=default) または [chat\_template.jinja](https://huggingface.co/unsloth/Qwen3-Coder-480B-A35B-Instruct/raw/main/chat_template.jinja) 4. おまけとして、Ollama でも動作するように、150GB の UD-IQ1\_M ファイルを 1 つだけ用意しました（ これで のような問題が解決するはずです ### ツール呼び出しの使用 ツール呼び出し用のプロンプト形式を説明するため、例を示します。 という Python 関数を作成しました `get_current_temperature` これは、ある場所の現在の気温を取得するはずの関数です。今のところは、常に摂氏21.6度を返すプレースホルダー関数を作成しています。これを本当の関数に変更してください!! {% code overflow="wrap" %} ```python def get_current_temperature(location: str, unit: str = "celsius"): """ある場所の現在の気温を取得します。 引数: location: 気温を取得する場所。形式は "City, State, Country"。 unit: 気温を返す単位。既定は "celsius" です。（選択肢: ["celsius", "fahrenheit"]） 戻り値: 気温、場所、単位を辞書にまとめる """ return { "temperature": 26.1, # あらかじめ設定済み -> ここを変更してください！ "location": location, "unit": unit, } ``` {% endcode %} それでは tokenizer を使ってプロンプト全体を作成します: {% code overflow="wrap" %} ```python from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("unsloth/Qwen3-Coder-480B-A35B-Instruct") messages = [ {'role': 'user', 'content': "サンフランシスコの今の気温は？明日はどうですか？"}, {'content': "", 'role': 'assistant', 'function_call': None, 'tool_calls': [ {'id': 'ID', 'function': {'arguments': {"location": "San Francisco, CA, USA"}, 'name': 'get_current_temperature'}, 'type': 'function'}, ]}, {'role': 'tool', 'content': '{"temperature": 26.1, "location": "San Francisco, CA, USA", "unit": "celsius"}', 'tool_call_id': 'ID'}, ] prompt = tokenizer.apply_chat_template(messages, tokenize = False) ``` {% endcode %} ## :bulb:性能ベンチマーク {% hint style="info" %} これらの公式ベンチマークはフル BF16 チェックポイント向けです。これを使うには、単に `Q8_K_XL、Q8_0、BF16` のチェックポイントを使えばよく、これらの版でも MoE オフローディングなどのテクニックを引き続き使えます！ {% endhint %} 480B モデルのベンチマークは次のとおりです: #### エージェント的コーディング
ベンチマークQwen3‑Coder 480B‑A35B‑InstructKimi‑K2DeepSeek‑V3-0324Claude 4 SonnetGPT‑4.1
Terminal‑Bench37.530.02.535.525.3
SWE‑bench Verified w/ OpenHands (500 turns)69.6––70.4–
SWE‑bench Verified w/ OpenHands (100 turns)67.065.438.868.048.6
SWE‑bench Verified w/ Private Scaffolding–65.8–72.763.8
SWE‑bench Live26.322.313.027.7–
SWE‑bench Multilingual54.747.313.053.331.5
Multi‑SWE‑bench mini25.819.87.524.8–
Multi‑SWE‑bench flash27.020.7–25.0–
Aider‑Polyglot61.860.056.956.452.4
Spider231.125.212.831.116.5
#### エージェント的ブラウザ利用
ベンチマークQwen3‑Coder 480B‑A35B‑InstructKimi‑K2DeepSeek‑V3 0324Claude Sonnet‑4GPT‑4.1
WebArena49.947.440.051.144.3
Mind2Web55.842.736.047.449.6
#### エージェント的ツール利用
ベンチマークQwen3‑Coder 480B‑A35B‑InstructKimi‑K2DeepSeek‑V3 0324Claude Sonnet‑4GPT‑4.1
BFCL‑v368.765.256.973.362.9
TAU‑Bench Retail77.570.759.180.5–
TAU‑Bench Airline60.053.540.060.0–
--- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/jp/moderu/tutorials/qwen3-coder-how-to-run-locally.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.