💜Qwen3.5 - ローカルで実行する方法ガイド

Qwen3.5 の新しい LLM（Medium: Qwen3.5-35B-A3B、27B、122B-A10B、Small: Qwen3.5-0.8B、2B、4B、9B、397B-A17B）をローカルデバイスで実行しましょう！

Qwen3.5はアリババの新しいモデルファミリーで、Qwen3.5-35B-A3B、 27B, 122B-A10Bと 397B-A17Bおよび新しい Small シリーズ：Qwen3.5-0.8B、2B、4B、9B。マルチモーダルハイブリッド推論LLMはサイズに対して最も強力な性能を発揮します。これらは 256Kコンテキスト 201言語で対応し、 思考 + 非思考、エージェント的なコーディング、ビジョン、チャット、長文コンテキストのタスクに優れています。35Bおよび27Bモデルは22GBのMac / RAMデバイスで動作します。すべてを参照 ここでのGGUF.

3月5日更新： Qwen3.5-を再ダウンロードしてください35B, 27B, 122B および 397B.

• すべてのGGUFは現在、 改良された量子化 アルゴリズムで更新されています。

• すべてが私たちの 新しいimatrixデータを使用しています。チャット、コーディング、長文コンテキスト、ツール呼び出しのユースケースでいくつかの改善が見られます。

• ツール呼び出しが改善されました チャットテンプレートの修正に続いて。 修正は普遍的で に適用されます 任意の Qwen3.5形式および 任意の アップローダーに。

• 新しいGGUFベンチマークを確認してください Unslothの性能結果 + 私たちの MXFP4調査.

• 私たちは3つのQwen3.5 GGUF（Q2_K_XL、Q3_K_XL、Q4_K_XL）からMXFP4レイヤーを撤去しています。

すべてのアップロードはUnslothを使用しています Dynamic 2.0 でSOTAの量子化性能を実現しています - したがって4ビットでは重要なレイヤーが8ビットまたは16ビットにアップキャストされています。Unslothにデイゼロアクセスを提供してくれたQwenに感謝します。あなたも 微調整 Qwen3.5 をUnslothで行うことができます。

思考を有効または無効にするには、次を参照してください Qwen3.5。Qwen3.5 Smallモデルはデフォルトで無効になっています。詳細は LM Studioガイド でThinkトグルを有効にする方法を参照してください。

35B-A3B27B122B-A10B397B-A17BQwen3.5を微調整する0.8B • 2B • 4B • 9B

⚙️ 使用ガイド

表：推論ハードウェア要件 （単位 = 合計メモリ：RAM + VRAM、またはユニファイドメモリ）

Qwen3.5	3ビット	4ビット	6ビット	8ビット	BF16
0.8B + 2B	3 GB	3.5 GB	5 GB	7.5 GB	9 GB
4B	4.5 GB	5.5 GB	7 GB	10 GB	14 GB
9B	5.5 GB	6.5 GB	9 GB	13 GB	19 GB
27B	14 GB	17 GB	24 GB	30 GB	54 GB
35B-A3B	17 GB	22 GB	30 GB	38 GB	70 GB
122B-A10B	60 GB	70 GB	106 GB	132 GB	245 GB
397B-A17B	180 GB	214 GB	340 GB	512 GB	810 GB

最高のパフォーマンスを得るには、利用可能な合計メモリ（VRAM + システムRAM）がダウンロードしようとしている量子化モデルファイルのサイズを上回っていることを確認してください。そうでない場合、llama.cppはSSD/HDDオフロード経由で実行できますが、推論は遅くなります。

の間では 27B および 35B-A3B、デバイスに収まらないがわずかに正確な結果が欲しい場合は27Bを使用してください。はるかに高速な推論を望む場合は35B-A3Bを選んでください。

推奨設定

• 最大コンテキストウィンドウ： 262,144 （YaRNを使えば1Mまで拡張可能）

• presence_penalty = 0.0 から 2.0 デフォルトではこれはオフですが、繰り返しを減らすために使用できます。ただし値を高くしすぎると パフォーマンスがやや低下する

• 十分な出力長: 32,768 ほとんどのクエリに対するトークン数

意味不明な出力が出る場合、コンテキスト長が短すぎる可能性があります。または次を試してください --cache-type-k bf16 --cache-type-v bf16 これが役立つことがあります。

Qwen3.5はハイブリッド推論であるため、思考モードと非思考モードでは設定が異なります：

思考モード：

一般的なタスク	精密なコーディングタスク（例：Web開発）
temperature = 1.0	temperature = 0.6
top_p = 0.95	top_p = 0.95
top_k = 20	top_k = 20
min_p = 0.0	min_p = 0.0
presence_penalty = 1.5	presence_penalty = 0.0
repeat penalty = 無効または1.0	repeat penalty = 無効または1.0

一般タスク向け思考モード：

temperature=1.0、top_p=0.95、top_k=20、min_p=0.0、presence_penalty=1.5、repetition_penalty=1.0

精密なコーディングタスク向け思考モード：

temperature=0.6、top_p=0.95、top_k=20、min_p=0.0、presence_penalty=0.0、repetition_penalty=1.0

指示（非思考）モードの設定：

一般的なタスク	推論タスク
temperature = 0.7	temperature = 1.0
top_p = 0.8	top_p = 0.95
top_k = 20	top_k = 20
min_p = 0.0	min_p = 0.0
presence_penalty = 1.5	presence_penalty = 1.5
repeat penalty = 無効または1.0	repeat penalty = 無効または1.0

を 思考／推論を無効にするには、次を使用してください --chat-template-kwargs '{"enable_thinking":false}'

もしあなたが Windows Powershellを使用している場合、次を使用してください： --chat-template-kwargs "{\"enable_thinking\":false}"

'true' と 'false' は互換的に使用できます。

Qwen3.5の0.8B、2B、4B、9Bでは、推論はデフォルトで無効になっています。有効にするには、次を使用してください： --chat-template-kwargs '{"enable_thinking":true}'

指示（非思考）モード：一般タスク向け：

temperature=0.7、top_p=0.8、top_k=20、min_p=0.0、presence_penalty=1.5、repetition_penalty=1.0

指示（非思考）モード：推論タスク向け：

temperature=1.0、top_p=0.95、top_k=20、min_p=0.0、presence_penalty=1.5、repetition_penalty=1.0

Qwen3.5推論チュートリアル：

Qwen3.5は多くの異なるサイズがあるため、すべての推論ワークロードでDynamic 4-bitを使用します MXFP4_MOE GGUFバリアントを使用します。下のリンクをクリックして指定されたモデルの説明に移動してください：

Qwen3.5-35B-A3B27B122B-A10B397B-A17BSmall（0.8B • 2B • 4B • 9B）LM Studio

Unsloth Dynamic GGUFアップロード：

Qwen3.5-35B-A3B	Qwen3.5-27B	Qwen3.5-122B-A10B	Qwen3.5-397B-A17B
Qwen3.5-0.8B	Qwen3.5-2B	Qwen3.5-4B	Qwen3.5-9B

presence_penalty = 0.0 から 2.0 デフォルトではこれはオフですが、繰り返しを減らすために使用できます。ただし値を高くしすぎると パフォーマンスがわずかに低下します。

現在、個別のmmprojビジョンファイルのためにどのQwen3.5 GGUFもOllamaでは動作しません。llama.cpp互換のバックエンドを使用してください。

🦙 Llama.cppガイド

Qwen3.5-35B-A3B

このガイドでは、24GB RAM / Macデバイスで高速な推論に適したDynamic 4-bitを使用します。モデルは完全なF16精度でも約72GB程度のため、パフォーマンスについてあまり心配する必要はありません。GGUF： Qwen3.5-35B-A3B-GGUF

これらのチュートリアルでは、私たちは llama.cpp を使用して高速なローカル推論を行います。特にCPUしかない場合に有用です。

1

最新のものを入手してください llama.cpp で GitHubはこちら。以下のビルド手順に従うこともできます。を変更してください -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更すると、GPUがない場合やCPU推論のみを行いたい場合に対応します。 Apple Mac / Metalデバイスの場合は、を設定し -DGGML_CUDA=OFF その後は通常どおり続けてください - Metalサポートはデフォルトで有効です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

もしあなたが直接モデルをロードするために llama.cpp を使いたい場合、以下のようにできます：( :Q4_K_M) は量子化タイプです。Hugging Face（ポイント3）経由でもダウンロードできます。これは ollama run に似ています。を使用してください export LLAMA_CACHE="folder" で特定の場所に保存するように llama.cpp を強制できます。モデルは最大256Kのコンテキスト長を持っています。

ユースケースに応じて、以下の特定のコマンドのいずれかに従ってください：

思考モード：

精密なコーディングタスク（例：Web開発）：

export LLAMA_CACHE="unsloth/Qwen3.5-35B-A3B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

一般タスク：

export LLAMA_CACHE="unsloth/Qwen3.5-35B-A3B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

非思考モード：

一般タスク：

export LLAMA_CACHE="unsloth/Qwen3.5-35B-A3B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.7 \
    --top-p 0.8 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

推論タスク：

export LLAMA_CACHE="unsloth/Qwen3.5-35B-A3B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

3

（をインストールした後）モデルをダウンロードします pip install huggingface_hub hf_transfer ）。Q4_K_Mや他の量子化バージョン（例： UD-Q4_K_XL ）を選択できます。サイズと精度のバランスを取るには少なくとも2ビットの動的量子化を推奨します。 UD-Q2_K_XL ダウンロードが停滞する場合は、次を参照してください： Hugging Face Hub、XET デバッグ

hf download unsloth/Qwen3.5-35B-A3B-GGUF \
    --local-dir unsloth/Qwen3.5-35B-A3B-GGUF \
    --include "*UD-Q4_K_XL*" # 動的2ビットの場合は "*UD-Q2_K_XL*" を使用

4

次に会話モードでモデルを実行します：

./llama.cpp/llama-cli \
    --model unsloth/Qwen3.5-35B-A3B-GGUF/Qwen3.5-35B-A3B-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Qwen3.5-35B-A3B-GGUF/mmproj-F16.gguf \
    --temp 1.0 \
    --top-p 0.95 \
    --min-p 0.00 \
    --top-k 20

Qwen3.5 Small（0.8B・2B・4B・9B）

Qwen3.5 0.8B、2B、4B、9Bについては、 推論（reasoning）は無効になっています デフォルトでは。有効にするには、次を使用してください： --chat-template-kwargs '{"enable_thinking":true}'

Windowsでは次を使用します： --chat-template-kwargs "{\"enable_thinking\":true}"

Qwen3.5 Smallシリーズは非常に小さいため、スクリプト内のモデル名を希望するバリアントに変更するだけで済みます。本ガイドでは9Bパラメータバリアントを使用します。ほぼフル精度で実行するには、RAM/VRAM/統合メモリデバイスが12GB必要です。GGUF：

Qwen3.5-0.8B	Qwen3.5-2B	Qwen3.5-4B	Qwen3.5-9B

1

最新のものを入手してください llama.cpp で GitHubはこちら。以下のビルド手順に従うこともできます。を変更してください -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更すると、GPUがない場合やCPU推論のみを行いたい場合に対応します。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

もしあなたが直接モデルをロードするために llama.cpp モデルを直接読み込むには、以下のようにできます：（:Q4_K_XL）は量子化タイプです。Hugging Face（ポイント3）からもダウンロードできます。これは次に類似しています： ollama run に似ています。を使用してください export LLAMA_CACHE="folder" で特定の場所に保存するように llama.cpp を強制できます。モデルは最大256Kのコンテキスト長を持っています。

ユースケースに応じて、以下の特定のコマンドのいずれかに従ってください：

9B以外のバリアントを使用するには、スクリプト内の '9B' を 0.8B、2B、4B 等に変更してください。

Thinkingモード（デフォルトで無効）

Qwen3.5 SmallモデルはデフォルトでThinkingを無効にしています。有効にするには llama-server を使用してください。

export LLAMA_CACHE="unsloth/Qwen3.5-9B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-9B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --alias "unsloth/Qwen3.5-9B-GGUF" \
    --port 8001 \
    --chat-template-kwargs '{"enable_thinking":true}'

一般タスク：

export LLAMA_CACHE="unsloth/Qwen3.5-9B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-9B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --alias "unsloth/Qwen3.5-9B-GGUF" \
    --port 8001 \
    --chat-template-kwargs '{"enable_thinking":true}'

9B以外のバリアントを使用するには、スクリプト内の '9B' を 0.8B、2B、4B 等に変更してください。

非Thinkingモードはデフォルトで既にオンです

一般タスク：

export LLAMA_CACHE="unsloth/Qwen3.5-9B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-9B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.7 \
    --top-p 0.8 \
    --top-k 20 \
    --min-p 0.00

推論タスク：

export LLAMA_CACHE="unsloth/Qwen3.5-9B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-9B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

3

（をインストールした後）モデルをダウンロードします pip install huggingface_hub hf_transfer ）。Q4_K_Mや他の量子化バージョン（例： UD-Q4_K_XL ）を選択できます。サイズと精度のバランスを取るには少なくとも2ビットの動的量子化を推奨します。 UD-Q2_K_XL ダウンロードが停滞する場合は、次を参照してください： Hugging Face Hub、XET デバッグ

hf download unsloth/Qwen3.5-9B-GGUF \
    --local-dir unsloth/Qwen3.5-9B-GGUF \
    --include "*UD-Q4_K_XL*" # 動的2ビットの場合は "*UD-Q2_K_XL*" を使用

4

次に会話モードでモデルを実行します：

./llama.cpp/llama-cli \
    --model unsloth/Qwen3.5-9B-GGUF/Qwen3.5-9B-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Qwen3.5-9B-GGUF/mmproj-F16.gguf \
    --temp 1.0 \
    --top-p 0.95 \
    --min-p 0.00 \
    --top-k 20

Qwen3.5-27B

本ガイドでは、18GB RAMのMacデバイスで高速推論に適した動的4ビットを使用します。GGUF： Qwen3.5-27B-GGUF

1

最新のものを入手してください llama.cpp で GitHubはこちら。以下のビルド手順に従うこともできます。を変更してください -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更すると、GPUがない場合やCPU推論のみを行いたい場合に対応します。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

もしあなたが直接モデルをロードするために llama.cpp を使いたい場合、以下のようにできます：( :Q4_K_M) は量子化タイプです。Hugging Face（ポイント3）経由でもダウンロードできます。これは ollama run に似ています。を使用してください export LLAMA_CACHE="folder" で特定の場所に保存するように llama.cpp を強制できます。モデルは最大256Kのコンテキスト長を持っています。

ユースケースに応じて、以下の特定のコマンドのいずれかに従ってください：

思考モード：

精密なコーディングタスク（例：Web開発）：

export LLAMA_CACHE="unsloth/Qwen3.5-27B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-27B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

一般タスク：

export LLAMA_CACHE="unsloth/Qwen3.5-27B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-27B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

非思考モード：

一般タスク：

export LLAMA_CACHE="unsloth/Qwen3.5-27B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-27B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.7 \
    --top-p 0.8 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

推論タスク：

export LLAMA_CACHE="unsloth/Qwen3.5-27B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-27B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

3

（をインストールした後）モデルをダウンロードします pip install huggingface_hub hf_transfer ）。次のものを選択できます MXFP4_MOE または他の量子化バージョン（例： UD-Q4_K_XL ）を選択できます。サイズと精度のバランスを取るには少なくとも2ビットの動的量子化を推奨します。 UD-Q2_K_XL ダウンロードが停滞する場合は、次を参照してください： Hugging Face Hub、XET デバッグ

hf download unsloth/Qwen3.5-27B-GGUF \
    --local-dir unsloth/Qwen3.5-27B-GGUF \
    --include "*UD-Q4_K_XL*" # 動的2ビットの場合は "*UD-Q2_K_XL*" を使用

4

次に会話モードでモデルを実行します：

./llama.cpp/llama-cli \
    --model unsloth/Qwen3.5-27B-GGUF/Qwen3.5-27B-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Qwen3.5-27B-GGUF/mmproj-F16.gguf \
    --temp 1.0 \
    --top-p 0.95 \
    --min-p 0.00 \
    --top-k 20

Qwen3.5-122B-A10B

本ガイドでは、70GB RAMのMacデバイスで高速推論に適した動的4ビットを使用します。GGUF： Qwen3.5-122B-A10B-GGUF

1

最新のものを入手してください llama.cpp で GitHubはこちら。以下のビルド手順に従うこともできます。を変更してください -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更すると、GPUがない場合やCPU推論のみを行いたい場合に対応します。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

もしあなたが直接モデルをロードするために llama.cpp を使いたい場合、以下のようにできます：( :Q4_K_M) は量子化タイプです。Hugging Face（ポイント3）経由でもダウンロードできます。これは ollama run に似ています。を使用してください export LLAMA_CACHE="folder" で特定の場所に保存するように llama.cpp を強制できます。モデルは最大256Kのコンテキスト長を持っています。

ユースケースに応じて、以下の特定のコマンドのいずれかに従ってください：

思考モード：

精密なコーディングタスク（例：Web開発）：

export LLAMA_CACHE="unsloth/Qwen3.5-122B-A10B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-122B-A10B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

一般タスク：

export LLAMA_CACHE="unsloth/Qwen3.5-122B-A10B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-122B-A10B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

非思考モード：

一般タスク：

export LLAMA_CACHE="unsloth/Qwen3.5-122B-A10B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-122B-A10B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.7 \
    --top-p 0.8 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

推論タスク：

export LLAMA_CACHE="unsloth/Qwen3.5-122B-A10B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-122B-A10B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

3

（をインストールした後）モデルをダウンロードします pip install huggingface_hub hf_transfer ）。次のものを選択できます MXFP4_MOE （動的4ビット）や他の量子化バージョン（例： UD-Q4_K_XL ）を選択できます。サイズと精度のバランスを取るには少なくとも2ビットの動的量子化を推奨します。 UD-Q2_K_XL ダウンロードが停滞する場合は、次を参照してください： Hugging Face Hub、XET デバッグ

hf download unsloth/Qwen3.5-122B-A10B-GGUF \
    --local-dir unsloth/Qwen3.5-122B-A10B-GGUF \
    --include "*UD-Q4_K_XL*" # 動的2ビットの場合は "*UD-Q2_K_XL*" を使用

4

次に会話モードでモデルを実行します：

./llama.cpp/llama-cli \
    --model unsloth/Qwen3.5-122B-A10B-GGUF/UD-Q4_K_XL/Qwen3.5-122B-A10B-UD-Q4_K_XL-00001-of-00003.gguf \
    --mmproj unsloth/Qwen3.5-122B-A10B-GGUF/mmproj-F16.gguf \
    --ctx-size 16384 \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

Qwen3.5-397B-A17B

Qwen3.5-397B-A17BはGemini 3 Pro、Claude Opus 4.5、GPT-5.2と同等の性能クラスです。フルの397Bチェックポイントはディスク上で約807GBですが、 Unslothの397B GGUF を使えば次のように実行できます：

• 3ビット：に収まります 192GB RAM システム（例：192GBのMac）

• 4ビット（MXFP4）：に収まります 256GB RAM。Unslothは 4ビット動的 UD-Q4_K_XL は ディスク上で約214GBです - 直接ロードします（ 256GB M3 Ultra

• で動作します 単一の24GB GPU + 256GBシステムRAMで動作します 経由で MoEオフローディング、達成します トークン/秒 25以上

• 8ビット には必要です 約512GBのRAM/VRAMが

参照： 397B量子化ベンチマーク Unsloth GGUFの動作については、を参照してください。

1

最新のものを入手してください llama.cpp で GitHubはこちら。以下のビルド手順に従うこともできます。を変更してください -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更すると、GPUがない場合やCPU推論のみを行いたい場合に対応します。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

もしあなたが直接モデルをロードするために llama.cpp を使いたい場合、以下のようにできます：( :Q4_K_M) は量子化タイプです。Hugging Face（ポイント3）経由でもダウンロードできます。これは ollama run に似ています。を使用してください export LLAMA_CACHE="folder" で特定の場所に保存するように llama.cpp 特定の場所に保存するには。モデルは最大で256Kのコンテキスト長しか持たないことを忘れないでください。

これに従ってください： 思考 モード：

export LLAMA_CACHE="unsloth/Qwen3.5-397B-A17B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-397B-A17B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

これに従ってください： 非Thinking モード：

export LLAMA_CACHE="unsloth/Qwen3.5-397B-A17B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-397B-A17B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.7 \
    --top-p 0.8 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

3

（をインストールした後）モデルをダウンロードします pip install huggingface_hub hf_transfer ）。次のものを選択できます MXFP4_MOE （動的4ビット）や他の量子化バージョン（例： UD-Q4_K_XL ）を選択できます。サイズと精度のバランスを取るには少なくとも2ビットの動的量子化を推奨します。 UD-Q2_K_XL ダウンロードが停滞する場合は、次を参照してください： Hugging Face Hub、XET デバッグ

hf download unsloth/Qwen3.5-397B-A17B-GGUF \
    --local-dir unsloth/Qwen3.5-397B-A17B-GGUF \
    --include "*UD-Q4_K_XL" # 動的2ビットの場合は "*UD-Q2_K_XL*" を使用

4

を編集できます --threads 32 CPUスレッド数用、 --ctx-size 16384 コンテキスト長用、 --n-gpu-layers 2 GPUオフローディングするレイヤー数用です。GPUがメモリ不足になる場合はこれを調整してみてください。CPUのみの推論の場合はこれを削除してください。

./llama.cpp/llama-cli \
    --model unsloth/Qwen3.5-397B-A17B-GGUF/UD-Q4_K_XL/Qwen3.5-397B-A17B-UD-Q4_K_XL-00001-of-00006.gguf \
    --mmproj unsloth/Qwen3.5-397B-A17B-GGUF/mmproj-F16.gguf \
    --ctx-size 16384 \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

👾 LM Studio ガイド

本ガイドでは、次を使用します： LM Studio、LLMを実行するための統一UIインターフェースです。'💡Thinking'と'Non-thinking'の切り替えはデフォルトで表示されない場合があるため、動作させるには追加の手順が必要です。

1

をダウンロードしてください LM Studio あなたのデバイス用。次にモデル検索を開き、'unsloth/qwen3.5' を検索して、望むGGUF（量子化）をダウンロードします。

2

Thinking切り替え手順： ダウンロード後、ターミナル／PowerShellを開いて次を試してください： lms --help。その後、LM Studioが多数のコマンドと共に正常に表示される場合は次を実行します：

lms get unsloth/qwen3.5-4b

これにより、あなたのGGUFに'💡Thinking'と'Non-thinking'の切り替えを表示させるyamlファイルが取得されます。 4b を希望する量子化に変更できます。

あるいは、次に行ってください： 当社のLM Studioページ に行き、特定のyamlファイルをダウンロードしてください。

3

LM Studioを再起動し、ダウンロードしたモデル（ダウンロードしたThinking切り替え付き）を読み込みます。これでThinking切り替えが有効になっているはずです。正しいパラメータを設定するのを忘れないでください： 正しいパラメータ.

🦙 Llama-server のサービングと OpenAI の completion ライブラリ

Qwen3.5-397B-A17B を本番環境にデプロイするには、次を使用します： llama-server 新しいターミナルで（例：tmux経由で）、次のようにモデルをデプロイします：

./llama.cpp/llama-server \
--model unsloth/Qwen3.5-35B-A3B-GGUF/Qwen3.5-35B-A3B-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Qwen3.5-35B-A3B-GGUF/mmproj-F16.gguf \
    --alias "unsloth/Qwen3.5-35B-A3B" \
    --temp 0.6 \
    --top-p 0.95 \
    --ctx-size 16384 \
    --top-k 20 \
    --min-p 0.00 \
    --port 8001

次に別のターミナルで、次を実行した後： pip install openai、次を行います：

from openai import OpenAI
import json
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/Qwen3.5-397B-A17B",
    messages = [{"role": "user", "content": "Create a Snake game."},],
)
print(completion.choices[0].message.content)

🤔 推論（reasoning）とThinkingを有効または無効にする方法

以下のコマンドでは、'true' と 'false' を互換的に使用できます。〜を有効にするには LM StudioのThink切り替えについては、ガイドをお読みください.

を 無効にする thinking / reasoning を無効にするには、llama-server内で次を使用してください：

    --chat-template-kwargs '{"enable_thinking":false}'

もしあなたが Windows または Powershell では、次を使用します： --chat-template-kwargs "{\"enable_thinking\":false}"

を 有効にする thinking / reasoning を無効にするには、llama-server内で次を使用してください：

    --chat-template-kwargs '{"enable_thinking":true}'

もしあなたが Windows または Powershell では、次を使用します： --chat-template-kwargs "{\"enable_thinking\":true}"

Qwen3.5の0.8B、2B、4B、9Bでは、推論はデフォルトで無効になっています。有効にするには、次を使用してください： --chat-template-kwargs '{"enable_thinking":true}'

WindowsまたはPowershellでは： --chat-template-kwargs "{\"enable_thinking\":true}"

例としてQwen3.5-9BでThinkingを有効にする場合（デフォルトは無効）：

./llama.cpp/llama-server \
    --model unsloth/Qwen3.5-9B-GGUF/Qwen3.5-9B-BF16.gguf \
    --alias "unsloth/Qwen3.5-9B-GGUF" \
    --temp 0.6 \
    --top-p 0.95 \
    --ctx-size 16384 \
    --top-k 20 \
    --min-p 0.00 \
    --port 8001 \
    --chat-template-kwargs '{"enable_thinking":true}'

そしてPythonでは：

from openai import OpenAI
import json
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/Qwen3.5-9B-GGUF",
    messages = [{"role": "user", "content": "What is 2+2?"},],
)
print(completion.choices[0].message.content)
print(completion.choices[0].message.reasoning_content)

👨‍💻 OpenAI Codex と Claude Code

ローカルでのエージェント的なコーディングワークロードでモデルを実行するには、次を行えます： ガイドに従ってください単にモデル名を希望の 'Qwen3.5' バリアントに変更し、Qwen3.5の正しいパラメータと使用手順に従っていることを確認してください。先ほど設定した llama-server を使用してください。

Claude Code

OpenAI Codex

例えばClaude Codeの手順に従った後、次のように表示されます：

その後、次のように尋ねることができます： チェスのPythonゲームを作成して :

🔨Tool Calling（ツール呼び出し）とQwen3.5

参照： Tool Calling Guide ツール呼び出しの詳細については〜を参照してください。新しいターミナルで（tmux使用時は CTRL+B+D）、2つの数を足す、Pythonコードを実行する、Linuxコマンドを実行するなどのツールを作成します：

import json, subprocess, random
from typing import Any
def add_number(a: float | str, b: float | str) -> float:
    return float(a) + float(b)
def multiply_number(a: float | str, b: float | str) -> float:
    return float(a) * float(b)
def substract_number(a: float | str, b: float | str) -> float:
    return float(a) - float(b)
def write_a_story() -> str:
    return random.choice([
        "昔々、遠い銀河で…",
        "スロースとコードを愛する2人の友人がいて…",
        "世界は終わりかけていた。なぜならすべてのスロースが超人的な知能を持つように進化したからだ…",
        "ある友人が知らぬ間に、もう一方の友人がスロースを進化させるプログラムを誤って書いてしまった…",
    ])
def terminal(command: str) -> str:
    if "rm" in command or "sudo" in command or "dd" in command or "chmod" in command:
        msg = "危険なため 'rm, sudo, dd, chmod' コマンドは実行できません"
        print(msg); return msg
    print(f"ターミナルコマンド `{command}` を実行します")
    try:
        return str(subprocess.run(command, capture_output = True, text = True, shell = True, check = True).stdout)
    except subprocess.CalledProcessError as e:
        return f"コマンドが失敗しました: {e.stderr}"
def python(code: str) -> str:
    data = {}
    exec(code, data)
    del data["__builtins__"]
    return str(data)
MAP_FN = {
    "add_number": add_number,
    "multiply_number": multiply_number,
    "substract_number": substract_number,
    "write_a_story": write_a_story,
    "terminal": terminal,
    "python": python,
}
tools = [
    {
        "type": "function",
        "function": {
            "name": "add_number",
            "description": "2つの数字を加算します。",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "最初の数値。",
                    },
                    "b": {
                        "type": "string",
                        "description": "2番目の数値。",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "multiply_number",
            "description": "2つの数字を乗算します。",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "最初の数値。",
                    },
                    "b": {
                        "type": "string",
                        "description": "2番目の数値。",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "substract_number",
            "description": "2つの数字を減算します。",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "最初の数値。",
                    },
                    "b": {
                        "type": "string",
                        "description": "2番目の数値。",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "write_a_story",
            "description": "ランダムな物語を書きます。",
            "parameters": {
                "type": "object",
                "properties": {},
                "required": [],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "terminal",
            "description": "端末から操作を実行します。",
            "parameters": {
                "type": "object",
                "properties": {
                    "command": {
                        "type": "string",
                        "description": "実行したいコマンド、例：`ls`、`rm`、...",
                    },
                },
                "required": ["command"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "python",
            "description": "実行するPythonコードでPythonインタプリタを呼び出します。",
            "parameters": {
                "type": "object",
                "properties": {
                    "code": {
                        "type": "string",
                        "description": "実行するPythonコード",
                    },
                },
                "required": ["code"],
            },
        },
    },
]

次に、以下の関数を（コピーして貼り付けて実行）使用します。これらは関数呼び出しを自動的に解析し、任意のモデル用にOpenAIエンドポイントを呼び出します：

from openai import OpenAI
def unsloth_inference(
    messages,
    temperature = 0.6,
    top_p = 0.95,
    top_k = 20,
    min_p = 0.00,
    repetition_penalty = 1.0,
):
    messages = messages.copy()
    openai_client = OpenAI(
        base_url = "http://127.0.0.1:8001/v1",
        api_key = "sk-no-key-required",
    )
    model_name = next(iter(openai_client.models.list())).id
    print(f"Using model = {model_name}")
    has_tool_calls = True
    original_messages_len = len(messages)
    while has_tool_calls:
        print(f"Current messages = {messages}")
        response = openai_client.chat.completions.create(
            model = model_name,
            messages = messages,
            temperature = temperature,
            top_p = top_p,
            tools = tools if tools else None,
            tool_choice = "auto" if tools else None,
            extra_body = {"top_k": top_k, "min_p": min_p, "repetition_penalty" :repetition_penalty,}
        )
        tool_calls = response.choices[0].message.tool_calls or []
        content = response.choices[0].message.content or ""
        tool_calls_dict = [tc.to_dict() for tc in tool_calls] if tool_calls else tool_calls
        messages.append({"role": "assistant", "tool_calls": tool_calls_dict, "content": content,})
        for tool_call in tool_calls:
            fx, args, _id = tool_call.function.name, tool_call.function.arguments, tool_call.id
            out = MAP_FN[fx](**json.loads(args))
            messages.append({"role": "tool", "tool_call_id": _id, "name": fx, "content": str(out),})
        else:
            has_tool_calls = False
    return messages

Qwen3.5を起動した後、 llama-server のように Qwen3.5 または参照してください Tool Calling Guide 詳細については、次にいくつかのツール呼び出しを行うことができます。

📊 ベンチマーク

Unsloth GGUF ベンチマーク

Qwen3.5-35B Unsloth ダイナミック量子化を更新しました ほぼすべての面で最先端（SOTA）です 150以上のKLダイバージェンスベンチマークを実施し、合計で 9TBのGGUF。研究成果をすべてアップロードしました。また、 ツール呼び出し チャットテンプレート バグ （すべての量子化アップローダーに影響）

• すべてのGGUFは現在、 改良された量子化 アルゴリズムで更新されています。

• すべてが私たちの 新しいimatrixデータを使用しています。チャット、コーディング、長文コンテキスト、ツール呼び出しのユースケースでいくつかの改善が見られます。

• Qwen3.5-35B-A3BのGGUFは新しい修正を適用するよう更新されました（112B、27Bはまだ変換中で、更新後に再ダウンロードしてください）

• 99.9%のKLダイバージェンスが最先端を示しています UD-Q4_K_XL、IQ3_XXSなどのパレートフロンティア上で。

• MXFP4の廃止 すべてのGGUF量子化から：Q2_K_XL、Q3_K_XL、Q4_K_XL（純粋なMXFP4_MOEを除く）。

35B-A3B - KLD ベンチマーク（低いほど良い）

122B-A10B - KLD ベンチマーク（低いほど良い）

詳細なQWEN3.5の分析とベンチマークはこちら：

Qwen3.5 GGUF ベンチマーク

Qwen3.5-397B-A17B ベンチマーク

Benjamin Marie（第三者）がベンチマークを実施しました Qwen3.5-397B-A17B Unsloth GGUFを使用して、 750プロンプト混合スイートで （LiveCodeBench v6、MMLU Pro、GPQA、Math500）、全体の 総合精度 および 相対誤差増加 （量子化モデルがオリジナルよりどれだけ多く誤るか）。

主要な結果（精度；オリジナルとの変化；相対誤差増加）：

• オリジナルの重み： 81.3%

• UD-Q4_K_XL： 80.5% （−0.8ポイント；相対誤差増加+4.3%）

• UD-Q3_K_XL： 80.7% （−0.6ポイント；相対誤差増加+3.5%）

UD-Q4_K_XL および UD-Q3_K_XL オリジナルに非常に近く保たれ、 このスイートで1ポイント未満の精度低下に収まります Benはこれにより、次のことが可能だと示唆しています： メモリフットプリントを大幅に削減する (約500GB少なくなる）テストされたタスクで実用的な損失がほとんどないままです。

選び方： この規模では実行ごとのばらつきとしてQ3がQ4よりわずかに高いスコアになることは十分にあり得るので、 このベンチマークではQ3とQ4を実質的に同等の品質として扱ってください ：

• 選択してください Q3 もしあなたが望むなら 最小のフットプリント／最高のメモリ節約

• 選択してください Q4 もしあなたが望むなら、 やや保守的な オプションで 類似した 結果

ここに挙げられたすべての量子化は当社のダイナミック手法を利用しています。UD-IQ2_Mでさえ同じダイナミック手法を使用していますが、変換プロセスはUD-Q2-K-XLとは異なります。 UD-IQ2_M は同じダイナミック手法を使用しますが、変換プロセスは異なります UD-Q2-K-XL 通常、K-XLはより大きいにもかかわらず高速であるため、 UD-IQ2_M そのため UD-IQ2_M はより良く動作する可能性があります UD-Q2-K-XL.

公式Qwenベンチマーク

Qwen3.5-35B-A3B、27Bおよび122B-A10B ベンチマーク

Qwen3.5-4Bおよび9B ベンチマーク

Qwen3.5-397B-A17B ベンチマーク