💜Qwen3.5 - ローカルで実行する方法ガイド

Qwen3.5 の新しい LLM（Medium: Qwen3.5-35B-A3B, 27B, 122B-A10B、Small: Qwen3.5-0.8B, 2B, 4B, 9B および 397B-A17B）をローカルデバイスで実行しましょう！

Qwen3.5はアリババの新しいモデルファミリーで、Qwen3.5-35B-A3B、 27B, 122B-A10Bと 397B-A17Bおよび新しい Small シリーズ：Qwen3.5-0.8B、2B、4B、9B。マルチモーダルハイブリッド推論LLMはサイズに対して最も強力な性能を発揮します。これらは 256Kコンテキスト 201言語にわたりサポートし、 思考 + 非思考、エージェント的コーディング、ビジョン、チャット、長文コンテキストタスクで優れています。35Bと27Bモデルは22GBのMac/ RAMデバイスで動作します。すべての GGUFはこちら.

3月5日更新： Qwen3.5-を再ダウンロードしてください35B, 27B, 122B および 397B.

• すべてのGGUFは現在、 改良された量子化 アルゴリズムで更新されています。

• すべては私たちの 新しいimatrixデータを使用しています。チャット、コーディング、長文コンテキスト、ツール呼び出しのユースケースでいくつかの改善が見られます。

• ツール呼び出しが改善されました 当社のチャットテンプレート修正に続いて。 修正は全体的で に適用されます 任意の Qwen3.5形式および 任意の アップローダーに。

• Unslothのパフォーマンス結果のための新しいGGUFベンチマークを確認してください および私たちの MXFP4の調査.

• 私たちは3つのQwen3.5 GGUFからMXFP4レイヤーを廃止します：Q2_K_XL、Q3_K_XL、Q4_K_XL。

すべてのアップロードはUnslothを使用します Dynamic 2.0 SOTAの量子化性能のために—したがって4ビットでは重要なレイヤーが8ビットまたは16ビットにアップキャストされています。日付初日にUnslothへアクセスを提供してくれたQwenに感謝します。あなたはまた 微調整 Qwen3.5 をUnslothで行うことができます。

思考を有効または無効にするにはこちらを参照してください Qwen3.5。Qwen3.5 Smallモデルはデフォルトで無効になっています。詳細は LM Studioガイド でThinkトグルを有効にする方法を参照してください。

35B-A3B27B122B-A10B397B-A17BQwen3.5を微調整する0.8B • 2B • 4B • 9B

⚙️ 使用ガイド

表：推論ハードウェア要件 （単位 = 合計メモリ：RAM + VRAM、またはユニファイドメモリ）

Qwen3.5	3ビット	4ビット	6ビット	8ビット	BF16
0.8B + 2B	3 GB	3.5 GB	5 GB	7.5 GB	9 GB
4B	4.5 GB	5.5 GB	7 GB	10 GB	14 GB
9B	5.5 GB	6.5 GB	9 GB	13 GB	19 GB
27B	14 GB	17 GB	24 GB	30 GB	54 GB
35B-A3B	17 GB	22 GB	30 GB	38 GB	70 GB
122B-A10B	60 GB	70 GB	106 GB	132 GB	245 GB
397B-A17B	180 GB	214 GB	340 GB	512 GB	810 GB

最高のパフォーマンスを得るには、使用可能な合計メモリ（VRAM + システムRAM）がダウンロードしている量子化モデルファイルのサイズを上回っていることを確認してください。そうでない場合、llama.cppはSSD/HDDオフローディングを介してまだ実行できますが、推論は遅くなります。

の間では 27B および 35B-A3Bデバイスに収まらず、わずかに正確な結果を望むなら27Bを使用してください。はるかに高速な推論を望むなら35B-A3Bを選んでください。

推奨設定

• 最大コンテキストウィンドウ： 262,144 （YaRNを介して1Mまで拡張可能）

• presence_penalty = 0.0 から 2.0 デフォルトではこれはオフですが、繰り返しを減らすためにこれを使用できます。ただし高い値を使用すると 性能がわずかに低下する

• 適切な出力長: 32,768 ほとんどのクエリに対するトークン数

もし意味不明な出力が出る場合、コンテキスト長が短すぎる可能性があります。あるいは次を試してください --cache-type-k bf16 --cache-type-v bf16 これが役立つかもしれません。

Qwen3.5はハイブリッド推論のため、思考モードと非思考モードは異なる設定を持ちます：

思考モード：

一般的な作業	精密なコーディング作業（例：WebDev）
temperature = 1.0	temperature = 0.6
top_p = 0.95	top_p = 0.95
top_k = 20	top_k = 20
min_p = 0.0	min_p = 0.0
presence_penalty = 1.5	presence_penalty = 0.0
リピートペナルティ = 無効 または 1.0	リピートペナルティ = 無効 または 1.0

一般タスク向けの思考モード：

temperature=1.0、top_p=0.95、top_k=20、min_p=0.0、presence_penalty=1.5、repetition_penalty=1.0

精密なコーディングタスク向けの思考モード：

temperature=0.6、top_p=0.95、top_k=20、min_p=0.0、presence_penalty=0.0、repetition_penalty=1.0

Instruct（非思考）モードの設定：

一般的な作業	推論タスク
temperature = 0.7	temperature = 1.0
top_p = 0.8	top_p = 0.95
top_k = 20	top_k = 20
min_p = 0.0	min_p = 0.0
presence_penalty = 1.5	presence_penalty = 1.5
リピートペナルティ = 無効 または 1.0	リピートペナルティ = 無効 または 1.0

するには 思考／推論を無効にするには、次を使用してください --chat-template-kwargs '{"enable_thinking":false}'

もしあなたが Windows Powershellを使用しているなら： --chat-template-kwargs "{\"enable_thinking\":false}"

'true' と 'false' は相互に交換して使用できます。

Qwen3.5の0.8B、2B、4B、9Bでは、推論はデフォルトで無効になっています。有効にするには、次を使用してください： --chat-template-kwargs '{"enable_thinking":true}'

一般タスク向けのInstruct（非思考）：

temperature=0.7、top_p=0.8、top_k=20、min_p=0.0、presence_penalty=1.5、repetition_penalty=1.0

推論タスク向けのInstruct（非思考）：

temperature=1.0、top_p=0.95、top_k=20、min_p=0.0、presence_penalty=1.5、repetition_penalty=1.0

Qwen3.5推論チュートリアル：

Qwen3.5は多くの異なるサイズがあるため、すべての推論ワークロードでDynamic 4-bitを使用します MXFP4_MOE GGUFバリアントを使用します。下のリンクをクリックして指定モデルの説明に移動してください：

Qwen3.5-35B-A3B27B122B-A10B397B-A17BSmall（0.8B • 2B • 4B • 9B）LM Studio

Unsloth Dynamic GGUFのアップロード：

Qwen3.5-35B-A3B	Qwen3.5-27B	Qwen3.5-122B-A10B	Qwen3.5-397B-A17B
Qwen3.5-0.8B	Qwen3.5-2B	Qwen3.5-4B	Qwen3.5-9B

presence_penalty = 0.0 から 2.0 デフォルトではこれはオフですが、繰り返しを減らすためにこれを使用できます。ただし高い値を使用すると 性能がわずかに低下します。

現在、Qwen3.5 GGUFは別個のmmprojビジョンファイルのためOllamaで動作しません。llama.cpp互換のバックエンドを使用してください。

Qwen3.5-35B-A3B

このガイドでは、24GB RAMのMacデバイスで高速な推論に適したDynamic 4-bitを利用します。モデルは完全なF16精度で約72GB程度なので、パフォーマンスについてあまり心配する必要はありません。GGUF： Qwen3.5-35B-A3B-GGUF

🦙 Llama.cppガイド

これらのチュートリアルでは、私たちは llama.cpp を使用して高速なローカル推論を行います。特にCPUをお持ちの場合に便利です。

1

最新のものを入手してください llama.cpp こちらの GitHubで。以下のビルド手順に従うこともできます。GPUがない、またはCPU推論のみを希望する場合は -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

直接使用してモデルをロードしたい場合は、以下を実行できます：（:Q4_K_M）は量子化タイプです。Hugging Face（ポイント3）経由でダウンロードすることもできます。これは llama.cpp ollama run に類似しています。 使用するには export LLAMA_CACHE="folder" を使用して強制的に llama.cpp 特定の場所に保存するようにしてください。モデルは最大256Kのコンテキスト長を持ちます。

ユースケースに応じて、以下の特定コマンドのいずれかに従ってください：

思考モード：

精密なコーディング作業（例：WebDev）：

export LLAMA_CACHE="unsloth/Qwen3.5-35B-A3B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

一般的な作業：

export LLAMA_CACHE="unsloth/Qwen3.5-35B-A3B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

非思考モード：

一般的な作業：

export LLAMA_CACHE="unsloth/Qwen3.5-35B-A3B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.7 \
    --top-p 0.8 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

推論タスク：

export LLAMA_CACHE="unsloth/Qwen3.5-35B-A3B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

3

モデルをダウンロードするには（先に pip install huggingface_hub hf_transfer をインストールしてください）。Q4_K_Mや他の量子化バージョンを選択できます。 UD-Q4_K_XL . 少なくとも2ビットのダイナミック量子化を使用することを推奨します UD-Q2_K_XL サイズと精度のバランスを取るために。ダウンロードが停止する場合は、次を参照してください： Hugging Face Hub、XET デバッグ

hf download unsloth/Qwen3.5-35B-A3B-GGUF \
    --local-dir unsloth/Qwen3.5-35B-A3B-GGUF \
    --include "*UD-Q4_K_XL*" # ダイナミック2ビットの場合は "*UD-Q2_K_XL*" を使用

4

その後、会話モードでモデルを実行します：

./llama.cpp/llama-cli \
    --model unsloth/Qwen3.5-35B-A3B-GGUF/Qwen3.5-35B-A3B-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Qwen3.5-35B-A3B-GGUF/mmproj-F16.gguf \
    --seed 3407 \
    --temp 1.0 \
    --top-p 0.95 \
    --min-p 0.01 \
    --top-k 40

Qwen3.5 Small（0.8B • 2B • 4B • 9B）

Qwen3.5 の 0.8B、2B、4B、9B について、 推論（reasoning）は無効になっています デフォルトでは。有効にするには、次を使用してください： --chat-template-kwargs '{"enable_thinking":true}'

Windowsでは次を使用します： --chat-template-kwargs "{\"enable_thinking\":true}"

Qwen3.5 Small シリーズは非常に小さいため、スクリプト内のモデル名を目的のバリアントに変更するだけで済みます。本ガイドでは特に9Bパラメータ版を使用します。ほぼフル精度で実行するには、RAM / VRAM / 統一メモリデバイスが12GB必要です。GGUFファイル：

Qwen3.5-0.8B	Qwen3.5-2B	Qwen3.5-4B	Qwen3.5-9B

1

最新のものを入手してください llama.cpp こちらの GitHubで。以下のビルド手順に従うこともできます。GPUがない、またはCPU推論のみを希望する場合は -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

直接使用してモデルをロードしたい場合は、以下を実行できます：（:Q4_K_M）は量子化タイプです。Hugging Face（ポイント3）経由でダウンロードすることもできます。これは llama.cpp モデルを直接読み込むには、以下のようにできます：（:Q4_K_XL）は量子化タイプです。Hugging Face（ポイント3）経由でダウンロードすることもできます。これは以下に類似しています に類似しています。 使用するには export LLAMA_CACHE="folder" を使用して強制的に llama.cpp 特定の場所に保存するようにしてください。モデルは最大256Kのコンテキスト長を持ちます。

ユースケースに応じて、以下の特定コマンドのいずれかに従ってください：

9B以外のバリアントを使用する場合は、'9B' を 0.8B、2B、4B 等に変更できます。

Thinking モード（デフォルトで無効）

Qwen3.5 Small モデルはデフォルトで Thinking を無効にしています。有効にするには llama-server を使用してください。

export LLAMA_CACHE="unsloth/Qwen3.5-9B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-9B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --alias "unsloth/Qwen3.5-9B-GGUF" \
    --port 8001 \
    --chat-template-kwargs '{"enable_thinking":true}'

一般的な作業：

export LLAMA_CACHE="unsloth/Qwen3.5-9B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-9B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --alias "unsloth/Qwen3.5-9B-GGUF" \
    --port 8001 \
    --chat-template-kwargs '{"enable_thinking":true}'

9B以外のバリアントを使用する場合は、'9B' を 0.8B、2B、4B 等に変更できます。

非Thinkingモードは既にデフォルトでオンです

一般的な作業：

export LLAMA_CACHE="unsloth/Qwen3.5-9B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-9B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.7 \
    --top-p 0.8 \
    --top-k 20 \
    --min-p 0.00

推論タスク：

export LLAMA_CACHE="unsloth/Qwen3.5-9B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-9B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

3

モデルをダウンロードするには（先に pip install huggingface_hub hf_transfer をインストールしてください）。Q4_K_Mや他の量子化バージョンを選択できます。 UD-Q4_K_XL . 少なくとも2ビットのダイナミック量子化を使用することを推奨します UD-Q2_K_XL サイズと精度のバランスを取るために。ダウンロードが停止する場合は、次を参照してください： Hugging Face Hub、XET デバッグ

hf download unsloth/Qwen3.5-9B-GGUF \
    --local-dir unsloth/Qwen3.5-9B-GGUF \
    --include "*UD-Q4_K_XL*" # ダイナミック2ビットの場合は "*UD-Q2_K_XL*" を使用

4

その後、会話モードでモデルを実行します：

./llama.cpp/llama-cli \
    --model unsloth/Qwen3.5-9B-GGUF/Qwen3.5-9B-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Qwen3.5-9B-GGUF/mmproj-F16.gguf \
    --seed 3407 \
    --temp 1.0 \
    --top-p 0.95 \
    --min-p 0.01 \
    --top-k 40

Qwen3.5-27B

本ガイドでは、18GB RAM / Mac デバイスで高速推論に適したダイナミック4ビットを使用します。GGUF： Qwen3.5-27B-GGUF

1

最新のものを入手してください llama.cpp こちらの GitHubで。以下のビルド手順に従うこともできます。GPUがない、またはCPU推論のみを希望する場合は -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

直接使用してモデルをロードしたい場合は、以下を実行できます：（:Q4_K_M）は量子化タイプです。Hugging Face（ポイント3）経由でダウンロードすることもできます。これは llama.cpp ollama run に類似しています。 使用するには export LLAMA_CACHE="folder" を使用して強制的に llama.cpp 特定の場所に保存するようにしてください。モデルは最大256Kのコンテキスト長を持ちます。

ユースケースに応じて、以下の特定コマンドのいずれかに従ってください：

思考モード：

精密なコーディング作業（例：WebDev）：

export LLAMA_CACHE="unsloth/Qwen3.5-27B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-27B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

一般的な作業：

export LLAMA_CACHE="unsloth/Qwen3.5-27B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-27B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

非思考モード：

一般的な作業：

export LLAMA_CACHE="unsloth/Qwen3.5-27B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-27B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.7 \
    --top-p 0.8 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

推論タスク：

export LLAMA_CACHE="unsloth/Qwen3.5-27B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-27B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

3

モデルをダウンロードするには（先に pip install huggingface_hub hf_transfer ）。選択できます MXFP4_MOE または他の量子化バージョン（例： UD-Q4_K_XL . 少なくとも2ビットのダイナミック量子化を使用することを推奨します UD-Q2_K_XL サイズと精度のバランスを取るために。ダウンロードが停止する場合は、次を参照してください： Hugging Face Hub、XET デバッグ

hf download unsloth/Qwen3.5-27B-GGUF \
    --local-dir unsloth/Qwen3.5-27B-GGUF \
    --include "*UD-Q4_K_XL*" # ダイナミック2ビットの場合は "*UD-Q2_K_XL*" を使用

4

その後、会話モードでモデルを実行します：

./llama.cpp/llama-cli \
    --model unsloth/Qwen3.5-27B-GGUF/Qwen3.5-27B-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Qwen3.5-27B-GGUF/mmproj-F16.gguf \
    --seed 3407 \
    --temp 1.0 \
    --top-p 0.95 \
    --min-p 0.01 \
    --top-k 40

Qwen3.5-122B-A10B

本ガイドでは、70GB RAM / Mac デバイスで高速推論に適したダイナミック4ビットを使用します。GGUF： Qwen3.5-122B-A10B-GGUF

1

最新のものを入手してください llama.cpp こちらの GitHubで。以下のビルド手順に従うこともできます。GPUがない、またはCPU推論のみを希望する場合は -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

直接使用してモデルをロードしたい場合は、以下を実行できます：（:Q4_K_M）は量子化タイプです。Hugging Face（ポイント3）経由でダウンロードすることもできます。これは llama.cpp ollama run に類似しています。 使用するには export LLAMA_CACHE="folder" を使用して強制的に llama.cpp 特定の場所に保存するようにしてください。モデルは最大256Kのコンテキスト長を持ちます。

ユースケースに応じて、以下の特定コマンドのいずれかに従ってください：

思考モード：

精密なコーディング作業（例：WebDev）：

export LLAMA_CACHE="unsloth/Qwen3.5-122B-A10B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-122B-A10B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

一般的な作業：

export LLAMA_CACHE="unsloth/Qwen3.5-122B-A10B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-122B-A10B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

非思考モード：

一般的な作業：

export LLAMA_CACHE="unsloth/Qwen3.5-122B-A10B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-122B-A10B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.7 \
    --top-p 0.8 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

推論タスク：

export LLAMA_CACHE="unsloth/Qwen3.5-122B-A10B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-122B-A10B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

3

モデルをダウンロードするには（先に pip install huggingface_hub hf_transfer ）。選択できます MXFP4_MOE （ダイナミック4ビット）または他の量子化バージョン（例： UD-Q4_K_XL . 少なくとも2ビットのダイナミック量子化を使用することを推奨します UD-Q2_K_XL サイズと精度のバランスを取るために。ダウンロードが停止する場合は、次を参照してください： Hugging Face Hub、XET デバッグ

hf download unsloth/Qwen3.5-122B-A10B-GGUF \
    --local-dir unsloth/Qwen3.5-122B-A10B-GGUF \
    --include "*UD-Q4_K_XL*" # ダイナミック2ビットの場合は "*UD-Q2_K_XL*" を使用

4

その後、会話モードでモデルを実行します：

./llama.cpp/llama-cli \
    --model unsloth/Qwen3.5-122B-A10B-GGUF/UD-Q4_K_XL/Qwen3.5-122B-A10B-UD-Q4_K_XL-00001-of-00003.gguf \
    --mmproj unsloth/Qwen3.5-122B-A10B-GGUF/mmproj-F16.gguf \
    --ctx-size 16384 \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00
    --seed 3407

Qwen3.5-397B-A17B

Qwen3.5-397B-A17B は Gemini 3 Pro、Claude Opus 4.5、GPT-5.2 と同じ性能階層にあります。フルの397Bチェックポイントはディスク上で約807GBですが、 Unsloth の 397B GGUF を使えば実行できます：

• 3ビット：に収まります 192GB RAM システム（例：192GB の Mac）

• 4ビット（MXFP4）：に収まります 256GB RAM。Unsloth 4ビットダイナミック UD-Q4_K_XL は ディスク上で約214GB - 直接ロードします（ 256GB M3 Ultra

• で動作） 単一の24GB GPU + 256GB システムRAM で動作します 経由で MoE オフローディング、到達 1秒あたり25トークン以上

• 8ビット 必要とします 約512GB の RAM/VRAM が必要です

参照してください 397B の量子化ベンチマーク Unsloth の GGUF がどのように動作するかについて。

1

最新のものを入手してください llama.cpp こちらの GitHubで。以下のビルド手順に従うこともできます。GPUがない、またはCPU推論のみを希望する場合は -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

直接使用してモデルをロードしたい場合は、以下を実行できます：（:Q4_K_M）は量子化タイプです。Hugging Face（ポイント3）経由でダウンロードすることもできます。これは llama.cpp ollama run に類似しています。 使用するには export LLAMA_CACHE="folder" を使用して強制的に llama.cpp 特定の場所に保存するには。モデルは最大で256Kのコンテキスト長しか持たないことを忘れないでください。

これに従ってください 思考 モード：

export LLAMA_CACHE="unsloth/Qwen3.5-397B-A17B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-397B-A17B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

これに従ってください 非Thinking モード：

export LLAMA_CACHE="unsloth/Qwen3.5-397B-A17B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-397B-A17B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.7 \
    --top-p 0.8 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

3

モデルをダウンロードするには（先に pip install huggingface_hub hf_transfer ）。選択できます MXFP4_MOE （ダイナミック4ビット）または他の量子化バージョン（例： UD-Q4_K_XL . 少なくとも2ビットのダイナミック量子化を使用することを推奨します UD-Q2_K_XL サイズと精度のバランスを取るために。ダウンロードが停止する場合は、次を参照してください： Hugging Face Hub、XET デバッグ

hf download unsloth/Qwen3.5-397B-A17B-GGUF \
    --local-dir unsloth/Qwen3.5-397B-A17B-GGUF \
    --include "*UD-Q4_K_XL" # ダイナミック2ビットの場合は "*UD-Q2_K_XL*" を使用

4

編集できます --threads 32 CPU スレッド数の指定、 --ctx-size 16384 コンテキスト長の指定、 --n-gpu-layers 2 GPU オフローディングするレイヤー数の指定。GPU がメモリ不足になる場合はこの値を調整してみてください。CPUのみの推論の場合はこれを削除してください。

./llama.cpp/llama-cli \
    --model unsloth/Qwen3.5-397B-A17B-GGUF/UD-Q4_K_XL/Qwen3.5-397B-A17B-UD-Q4_K_XL-00001-of-00006.gguf \
    --mmproj unsloth/Qwen3.5-397B-A17B-GGUF/mmproj-F16.gguf \
    --ctx-size 16384 \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00
    --seed 3407

👾 LM Studio ガイド

本ガイドでは、次を使用します LM Studio、LLM を実行するための統一 UI インターフェースです。'💡Thinking' と 'Non-thinking' の切り替えはデフォルトで表示されないことがあるため、動作させるにはいくつか追加の手順が必要です。

1

ダウンロード LM Studio お使いのデバイス用。次に Model Search を開き、'unsloth/qwen3.5' を検索して、希望する GGUF（量子化）をダウンロードしてください。

2

Thinking 切り替え手順： ダウンロード後、ターミナル / PowerShell を開いて次を試してください： lms --help。LM Studio が多くのコマンドで正常に表示される場合、次を実行します：

lms get unsloth/qwen3.5-4b

これにより、ダウンロードした GGUF に '💡Thinking' と 'Non-thinking' の切り替えを表示させる yaml ファイルが取得されます。変更することができます 4b を希望の量子化に変更してください。

あるいは、次に行くこともできます 当社の LM Studio ページ そして特定の yaml ファイルをダウンロードしてください。

3

LM Studio を再起動し、ダウンロードしたモデル（思考切り替えが含まれるもの）をロードします。これで Thinking 切り替えが有効になっているはずです。忘れずに 正しいパラメータ.

🦙 Llama-server の提供 & OpenAI の completion ライブラリ

Qwen3.5-397B-A17B を本番環境でデプロイするために、我々は次を使用します llama-server 新しいターミナルで（例えば tmux を通して）、次でモデルをデプロイします：

./llama.cpp/llama-server \
--model unsloth/Qwen3.5-35B-A3B-GGUF/Qwen3.5-35B-A3B-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Qwen3.5-35B-A3B-GGUF/mmproj-F16.gguf \
    --alias "unsloth/Qwen3.5-35B-A3B" \
    --temp 0.6 \
    --top-p 0.95 \
    --ctx-size 16384 \
    --top-k 20 \
    --min-p 0.00 \
    --port 8001

その後、新しいターミナルで、次を行った後に pip install openai、次を実行します：

from openai import OpenAI
import json
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/Qwen3.5-397B-A17B",
    messages = [{"role": "user", "content": "Create a Snake game."},],
)
print(completion.choices[0].message.content)

🤔 推論（reasoning）とThinking を有効または無効にする方法

以下のコマンドでは、'true' と 'false' を互換的に使用できます。にするには LM Studio の Think 切り替えについては、当社のガイドを読んでください.

するには 無効にする thinking / reasoning を無効にするには、llama-server 内で次を使用します：

    --chat-template-kwargs '{"enable_thinking":false}'

もしあなたが Windows または Powershell では次を使用します： --chat-template-kwargs "{\"enable_thinking\":false}"

するには 有効にする thinking / reasoning を無効にするには、llama-server 内で次を使用します：

    --chat-template-kwargs '{"enable_thinking":true}'

もしあなたが Windows または Powershell では次を使用します： --chat-template-kwargs "{\"enable_thinking\":true}"

Qwen3.5の0.8B、2B、4B、9Bでは、推論はデフォルトで無効になっています。有効にするには、次を使用してください： --chat-template-kwargs '{"enable_thinking":true}'

そして Windows または Powershell では： --chat-template-kwargs "{\"enable_thinking\":true}"

例として Qwen3.5-9B で Thinking を有効にする（デフォルトは無効）：

./llama.cpp/llama-server \
    --model unsloth/Qwen3.5-9B-GGUF/Qwen3.5-9B-BF16.gguf \
    --alias "unsloth/Qwen3.5-9B-GGUF" \
    --temp 0.6 \
    --top-p 0.95 \
    --ctx-size 16384 \
    --top-k 20 \
    --min-p 0.00 \
    --port 8001 \
    --chat-template-kwargs '{"enable_thinking":true}'

そして Python では：

from openai import OpenAI
import json
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/Qwen3.5-9B-GGUF",
    messages = [{"role": "user", "content": "What is 2+2?"},],
)
print(completion.choices[0].message.content)
print(completion.choices[0].message.reasoning_content)

👨‍💻 OpenAI Codex & Claude Code

ローカルでのコード志向ワークロードでモデルを実行するには、次を行うことができます 当社のガイドに従ってください。単にモデル名 'GLM-4.7-Flash' を希望の 'Qwen3.5' バリアントに変更し、正しい Qwen3.5 のパラメータと使用手順に従っていることを確認してください。先ほど設定した llama-server を使用します。

Claude Code

OpenAI Codex

例えば Claude Code の手順に従った後、次のように表示されます：

その後、次のように頼むことができます チェスの Python ゲームを作成して :

🔨Qwen3.5 によるツールコーリング

参照してください Tool Calling Guide ツールコーリングの詳細については。新しいターミナルで（tmux を使用している場合は CTRL+B+D を使用）、2つの数を加える、Python コードを実行する、Linux 関数を実行するなどのツールを作成します：

import json, subprocess, random
from typing import Any
def add_number(a: float | str, b: float | str) -> float:
    return float(a) + float(b)
def multiply_number(a: float | str, b: float | str) -> float:
    return float(a) * float(b)
def substract_number(a: float | str, b: float | str) -> float:
    return float(a) - float(b)
def write_a_story() -> str:
    return random.choice([
        "昔々、遠い遠い銀河で...",
        "怠け者（スロース）とコードを愛する2人の友人がいました...",
        "すべてのスロースが超人的な知能を獲得したため、世界は終わりを迎えようとしていた...",
        "ある友人が気づかぬうちに、もう一人が誤ってスロースを進化させるプログラムを書いてしまった...",
    ])
def terminal(command: str) -> str:
    if "rm" in command or "sudo" in command or "dd" in command or "chmod" in command:
        msg = "危険なため 'rm, sudo, dd, chmod' コマンドは実行できません"
        print(msg); return msg
    print(f"ターミナルコマンド `{command}` を実行しています")
    try:
        return str(subprocess.run(command, capture_output = True, text = True, shell = True, check = True).stdout)
    except subprocess.CalledProcessError as e:
        return f"コマンドが失敗しました: {e.stderr}"
def python(code: str) -> str:
    data = {}
    exec(code, data)
    del data["__builtins__"]
    return str(data)
MAP_FN = {
    "add_number": add_number,
    "multiply_number": multiply_number,
    "substract_number": substract_number,
    "write_a_story": write_a_story,
    "terminal": terminal,
    "python": python,
}
tools = [
    {
        "type": "function",
        "function": {
            "name": "add_number",
            "description": "2つの数を足します。",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "最初の数。",
                    },
                    "b": {
                        "type": "string",
                        "description": "2番目の数。",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "multiply_number",
            "description": "2つの数を掛けます。",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "最初の数。",
                    },
                    "b": {
                        "type": "string",
                        "description": "2番目の数。",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "substract_number",
            "description": "2つの数を引きます。",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "最初の数。",
                    },
                    "b": {
                        "type": "string",
                        "description": "2番目の数。",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "write_a_story",
            "description": "ランダムな物語を書きます。",
            "parameters": {
                "type": "object",
                "properties": {},
                "required": [],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "terminal",
            "description": "ターミナルから操作を実行します。",
            "parameters": {
                "type": "object",
                "properties": {
                    "command": {
                        "type": "string",
                        "description": "起動したいコマンド（例: `ls`, `rm`, ...）。",
                    },
                },
                "required": ["command"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "python",
            "description": "実行されるPythonコードを指定してPythonインタプリタを呼び出します。",
            "parameters": {
                "type": "object",
                "properties": {
                    "code": {
                        "type": "string",
                        "description": "実行するPythonコード",
                    },
                },
                "required": ["code"],
            },
        },
    },
]

次に、以下の関数を使用します（コピーして貼り付けて実行）。これらは関数呼び出しを自動的に解析し、任意のモデルに対してOpenAIエンドポイントを呼び出します:

from openai import OpenAI
def unsloth_inference(
    messages,
    temperature = 0.6,
    top_p = 0.95,
    top_k = 20,
    min_p = 0.00,
    repetition_penalty = 1.0,
):
    messages = messages.copy()
    openai_client = OpenAI(
        base_url = "http://127.0.0.1:8001/v1",
        api_key = "sk-no-key-required",
    )
    model_name = next(iter(openai_client.models.list())).id
    print(f"Using model = {model_name}")
    has_tool_calls = True
    original_messages_len = len(messages)
    while has_tool_calls:
        print(f"Current messages = {messages}")
        response = openai_client.chat.completions.create(
            model = model_name,
            messages = messages,
            temperature = temperature,
            top_p = top_p,
            tools = tools if tools else None,
            tool_choice = "auto" if tools else None,
            extra_body = {"top_k": top_k, "min_p": min_p, "repetition_penalty" :repetition_penalty,}
        )
        tool_calls = response.choices[0].message.tool_calls or []
        content = response.choices[0].message.content or ""
        tool_calls_dict = [tc.to_dict() for tc in tool_calls] if tool_calls else tool_calls
        messages.append({"role": "assistant", "tool_calls": tool_calls_dict, "content": content,})
        for tool_call in tool_calls:
            fx, args, _id = tool_call.function.name, tool_call.function.arguments, tool_call.id
            out = MAP_FN[fx](**json.loads(args))
            messages.append({"role": "tool", "tool_call_id": _id, "name": fx, "content": str(out),})
        else:
            has_tool_calls = False
    return messages

Qwen3.5を次のように起動した後、 llama-server のように Qwen3.5 または参照 Tool Calling Guide 詳しくは、いくつかのツール呼び出しを行うことができます。

📊 ベンチマーク

Unsloth GGUF ベンチマーク

Qwen3.5-35B Unsloth 動的量子化を更新しました ほぼすべての点で最先端（SOTA）になっています 150以上のKLダイバージェンスベンチマークを行い、合計で 9TBのGGUF。すべての研究成果物をアップロードしました。また、 ツール呼び出し チャットテンプレート バグ （すべての量子化アップローダーに影響）

• すべてのGGUFは現在、 改良された量子化 アルゴリズムで更新されています。

• すべては私たちの 新しいimatrixデータを使用しています。チャット、コーディング、長文コンテキスト、ツール呼び出しのユースケースでいくつかの改善が見られます。

• Qwen3.5-35B-A3BのGGUFは新しい修正を適用して更新されました（112B、27Bはまだ変換中で、更新後に再ダウンロードしてください）

• 99.9%のKLダイバージェンスがSOTAを示しています UD-Q4_K_XL、IQ3_XXSなどのパレートフロンティア上で。

• MXFP4の引退 すべてのGGUF量子化から: Q2_K_XL, Q3_K_XL, Q4_K_XL（純粋なMXFP4_MOEは除く）。

35B-A3B - KLD ベンチマーク（小さいほど良い）

122B-A10B - KLD ベンチマーク（小さいほど良い）

詳細なQWEN3.5の分析とベンチマークをここで読む:

Qwen3.5 GGUF ベンチマーク

Qwen3.5-397B-A17B ベンチマーク

Benjamin Marie（サードパーティ）がベンチマークを実施しました Qwen3.5-397B-A17B Unsloth GGUFを使用して、 750プロンプトの混合スイートで （LiveCodeBench v6、MMLU Pro、GPQA、Math500）、全体の 総合精度 および 相対誤差の増加 （量子化モデルが元のモデルに比べてどれだけ多く間違いを犯すか）。

主要な結果（精度；元のモデルに対する変化；相対誤差増加）:

• 元の重み: 81.3%

• UD-Q4_K_XL: 80.5% （−0.8ポイント；相対誤差増加+4.3%）

• UD-Q3_K_XL: 80.7% （−0.6ポイント；相対誤差増加+3.5%）

UD-Q4_K_XL および UD-Q3_K_XL 元のモデルに非常に近く留まっており、 このスイートで1ポイント未満の精度低下に収まります ベンはこれにより、 メモリフットプリントを大幅に削減できるとほのめかしています (約500GB少なく）テストされたタスクにおいてほとんど実用的な損失がないままです。

選び方: ここでQ3がQ4よりわずかに高いスコアを示すのは、この規模では通常のラン間変動として十分あり得るため、 このベンチマークではQ3とQ4を実質的に同等の品質と見なしてください 。

• 選択: Q3 もしあなたが望むなら 最小のフットプリント / 最高のメモリ節約

• 選択: Q4 もしあなたが望むなら やや保守的な オプションで 類似した 結果

リストされているすべての量子化は当社の動的手法を利用しています。たとえ UD-IQ2_M も同じ動的手法を使用していますが、変換プロセスはUD-Q2-K-XLとは異なります。 UD-Q2-K-XL ここではK-XLは通常より高速であり、 UD-IQ2_M それがより大きくても、したがって UD-IQ2_M がより良い性能を示す可能性があります UD-Q2-K-XL.

公式のQwenベンチマーク

Qwen3.5-35B-A3B、27Bおよび122B-A10B ベンチマーク

Qwen3.5-4Bと9B ベンチマーク

Qwen3.5-397B-A17B ベンチマーク