💜Qwen3.5 - ローカルでの実行ガイド

Qwen3.5の新しいLLM（Medium: Qwen3.5-35B-A3B, 27B, 122B-A10B、Small: Qwen3.5-0.8B, 2B, 4B, 9B、そして397B-A17B）をローカルデバイスで実行しましょう！

Qwen3.5はアリババの新しいモデルファミリーで、Qwen3.5-35B-A3B, 27B, 122B-A10Bおよび 397B-A17Bと新しい Small シリーズ：Qwen3.5-0.8B、2B、4B、9B。マルチモーダルなハイブリッド推論LLMは、そのサイズに対して最も強力な性能を発揮します。これらは 256Kコンテキスト 201言語にわたり、 thinking + non-thinking、エージェント型コーディング、ビジョン、チャット、長文コンテキストのタスクで優れています。35Bおよび27Bモデルは22GBのMac/ RAMデバイスで動作します。すべてを見る GGUFはここ.

3月5日アップデート： Qwen3.5-を再ダウンロードしてください35B, 27B, 122B および 397B.

• すべてのGGUFは現在、 改善された量子化 アルゴリズムで更新されています。

• すべては当社の 新しいimatrixデータを使用しています。チャット、コーディング、長文コンテキスト、およびツール呼び出しのユースケースでいくつかの改善が見られます。

• チャットテンプレートの修正に伴いツール呼び出しが改善されました 。 修正はユニバーサルで 適用されます 任意の Qwen3.5フォーマットおよび 任意の アップローダーに。

• 新しいGGUFベンチマークを確認してください Unslothの性能結果 + 当社の MXFP4調査.

• 当社は3つのQwen3.5 GGUFからMXFP4レイヤーを廃止します：Q2_K_XL、Q3_K_XL、およびQ4_K_XL。

すべてのアップロードはUnslothを使用しています Dynamic 2.0 で最先端の量子化性能を実現しているため、4ビットでは重要なレイヤーが8または16ビットにアップキャストされています。Unslothにデイゼロのアクセスを提供してくれたQwenに感謝します。さらに 微調整（fine-tune）することもできます Qwen3.5 をUnslothで。

thinkingを有効または無効にするには、次を参照してください Qwen3.5。Qwen3.5 Smallモデルはデフォルトで無効になっています。詳細は LM Studioガイド を参照してThinkトグルを有効にしてください。

35B-A3B27B122B-A10B397B-A17BQwen3.5を微調整する0.8B • 2B • 4B • 9B

⚙️ 使用ガイド

表：推論ハードウェア要件 （単位＝合計メモリ：RAM + VRAM、または統合メモリ）

Qwen3.5	3ビット	4ビット	6ビット	8ビット	BF16
0.8B + 2B	3 GB	3.5 GB	5 GB	7.5 GB	9 GB
4B	4.5 GB	5.5 GB	7 GB	10 GB	14 GB
9B	5.5 GB	6.5 GB	9 GB	13 GB	19 GB
27B	14 GB	17 GB	24 GB	30 GB	54 GB
35B-A3B	17 GB	22 GB	30 GB	38 GB	70 GB
122B-A10B	60 GB	70 GB	106 GB	132 GB	245 GB
397B-A17B	180 GB	214 GB	340 GB	512 GB	810 GB

最高のパフォーマンスを得るには、利用可能な合計メモリ（VRAM + システムRAM）がダウンロードする量子化モデルファイルのサイズを超えていることを確認してください。超えていない場合でも、llama.cppはSSD/HDDオフローディングで動作できますが、推論は遅くなります。

の間では、 27B および 35B-A3Bデバイスに収まらないが少し精度の高い結果が欲しい場合は27Bを使用してください。より高速な推論が欲しい場合は35B-A3Bを選んでください。

推奨設定

• 最大コンテキストウィンドウ： 262,144 （YaRNを介して1Mまで拡張可能）

• presence_penalty = 0.0 〜 2.0 デフォルトではオフですが、繰り返しを減らすためにこれを使用できます。ただし、高い値を使用すると パフォーマンスがわずかに低下する

• 可能性があります: 32,768 ほとんどのクエリに対する適切な出力長の

トークン数 意味不明な出力が出る場合、コンテキスト長が短すぎる可能性があります。あるいは --cache-type-k bf16 --cache-type-v bf16

を試してみてください。これが役立つ場合があります。

Qwen3.5はハイブリッド推論であるため、thinkingモードとnon-thinkingモードでは設定が異なります：

Thinkingモード：	一般的なタスク
精密なコーディングタスク（例：Web開発）	temperature = 1.0
temperature = 0.6	temperature = 0.6
top_p = 0.95	top_p = 0.95
top_k = 20	top_k = 20
min_p = 0.0	presence_penalty = 1.5
presence_penalty = 0.0	presence_penalty = 0.0

repeat penalty = 無効 または 1.0

一般タスク向けのThinkingモード：

temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0

精密コーディングタスク向けのThinkingモード：

temperature=0.6, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0

Thinkingモード：	Instruct（non-thinking）モードの設定：
推論タスク	精密なコーディングタスク（例：Web開発）
temperature = 0.7	temperature = 0.6
top_p = 0.95	top_p = 0.95
top_k = 20	top_k = 20
min_p = 0.0	min_p = 0.0
presence_penalty = 0.0	presence_penalty = 0.0

top_p = 0.8 するには、thinking / reasoningを無効にする には、次を使用してください

--chat-template-kwargs '{"enable_thinking":false}' もしあなたが Windows Powershellを使っている場合は、次を使用してください：

--chat-template-kwargs "{\"enable_thinking\":false}"

'true'と'false'は互換的に使用できます。Qwen3.5の0.8B、2B、4B、9Bでは、推論（reasoning）はデフォルトで無効になっています 。有効にするには、次を使用してください：

--chat-template-kwargs '{"enable_thinking":true}'

一般タスク向けのInstruct（non-thinking）：

temperature=0.7, top_p=0.8, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0

一般タスク向けのThinkingモード：

推論タスク向けのInstruct（non-thinking）：

Qwen3.5推論チュートリアル： Qwen3.5は多くの異なるサイズがあるため、すべての推論ワークロードでDynamic 4-bitを使用します MXFP4_MOE

GGUFバリアントを使用します。下のリンクをクリックして指定されたモデルの説明に移動してください：27B122B-A10B397B-A17BQwen3.5-35B-A3BSmall（0.8B • 2B • 4B • 9B）

LM Studio

Unsloth Dynamic GGUFアップロード：35B-A3B	Unsloth Dynamic GGUFアップロード：27B	Unsloth Dynamic GGUFアップロード：122B-A10B	Unsloth Dynamic GGUFアップロード：397B-A17B
Unsloth Dynamic GGUFアップロード：0.8B	Unsloth Dynamic GGUFアップロード：2B	Unsloth Dynamic GGUFアップロード：4B	Unsloth Dynamic GGUFアップロード：9B

presence_penalty = 0.0 〜 2.0 デフォルトではオフですが、繰り返しを減らすためにこれを使用できます。ただし、高い値を使用すると Qwen3.5-

現在、個別のmmprojビジョンファイルのためOllamaではどのQwen3.5 GGUFも動作しません。llama.cpp互換のバックエンドを使用してください。

🦙 Llama.cppガイド

GGUFバリアントを使用します。下のリンクをクリックして指定されたモデルの説明に移動してください：

このガイドではDynamic 4-bitを利用します。これは24GB RAMのMacデバイスで高速な推論に適しています。モデルは完全なF16精度で約72GB程度なので、パフォーマンスについてあまり心配する必要はありません。GGUF： Qwen3.5-35B-A3B-GGUF

これらのチュートリアルでは、私たちは llama.cpp を使用して高速なローカル推論を行います。特にCPUをお持ちの場合に有用です。

1

最新の llama.cpp を入手してください GitHubはこちら。以下のビルド手順に従うこともできます。GPUがない場合またはCPUのみで推論したい場合は、 -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。 Apple Mac / Metalデバイスの場合は、次を設定し -DGGML_CUDA=OFF その後通常通り続けてください - Metalサポートはデフォルトでオンです。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

直接モデルを読み込むために llama.cpp を使用したい場合、以下のようにできます：（:Q4_K_M）は量子化タイプです。Hugging Faceから（ポイント3）ダウンロードすることもできます。これは ollama run に類似しています。 export LLAMA_CACHE="folder" を使用して保存先を強制することができます llama.cpp モデルは最大256Kのコンテキスト長を持っています。

ユースケースに応じて、以下のいずれかのコマンドに従ってください：

Qwen3.5はハイブリッド推論であるため、thinkingモードとnon-thinkingモードでは設定が異なります：

精密なコーディングタスク（例：Web開発）：

export LLAMA_CACHE="unsloth/Qwen3.5-35B-A3B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

一般的なタスク：

export LLAMA_CACHE="unsloth/Qwen3.5-35B-A3B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

Non-thinkingモード：

一般的なタスク：

export LLAMA_CACHE="unsloth/Qwen3.5-35B-A3B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.7 \
    --top-p 0.8 \
    --top-k 20 \
    --min-p 0.00 \
    には、次を使用してください

推論タスク：

export LLAMA_CACHE="unsloth/Qwen3.5-35B-A3B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    には、次を使用してください

3

モデルをダウンロードするには（先に pip install huggingface_hub hf_transfer をインストールしてください）。Q4_K_Mや他の量子化バージョンを選択できます、例えば UD-Q4_K_XL 。サイズと精度のバランスを取るために、少なくとも2ビットのdynamic quantを使用することを推奨します UD-Q2_K_XL 。ダウンロードが停止した場合は次を参照してください： Hugging Face Hub、XETデバッグ

hf download unsloth/Qwen3.5-35B-A3B-GGUF \
    --local-dir unsloth/Qwen3.5-35B-A3B-GGUF \
    --include "*mmproj-F16*" \
    --include "*UD-Q4_K_XL*" # Dynamic 2bitの場合は "*UD-Q2_K_XL*" を使用

4

その後会話モードでモデルを実行します：

./llama.cpp/llama-cli \
    --model unsloth/Qwen3.5-35B-A3B-GGUF/Qwen3.5-35B-A3B-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Qwen3.5-35B-A3B-GGUF/mmproj-F16.gguf \
    --temp 1.0 \
    --top-p 0.95 \
    --min-p 0.00 \
    --top-k 20

Qwen3.5 Small（0.8B • 2B • 4B • 9B）

Qwen3.5の0.8B、2B、4B、9Bについては、 reasoningは無効になっています デフォルトでQwen3.5の0.8B、2B、4B、9Bでは、推論（reasoning）はデフォルトで無効になっています 。有効にするには、次を使用してください：

Windowsでは次を使用してください： --chat-template-kwargs "{\"enable_thinking\":true}"

Qwen3.5 Smallシリーズは非常に小さいため、スクリプト内のモデル名を希望のバリアントに変更するだけで済みます。本ガイドでは9Bパラメータバリアントを使用します。ほぼフル精度で実行するには、12GBのRAM/VRAM/統合メモリデバイスが必要です。GGUF：

Unsloth Dynamic GGUFアップロード：0.8B	Unsloth Dynamic GGUFアップロード：2B	Unsloth Dynamic GGUFアップロード：4B	Unsloth Dynamic GGUFアップロード：9B

1

最新の llama.cpp を入手してください GitHubはこちら。以下のビルド手順に従うこともできます。GPUがない場合またはCPUのみで推論したい場合は、 -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

直接モデルを読み込むために llama.cpp 直接モデルを読み込むために以下のようにできます：（:Q4_K_XL）は量子化タイプです。Hugging Faceから（ポイント3）ダウンロードすることもできます。これは ollama run に類似しています。 export LLAMA_CACHE="folder" を使用して保存先を強制することができます llama.cpp モデルは最大256Kのコンテキスト長を持っています。

ユースケースに応じて、以下のいずれかのコマンドに従ってください：

9B以外のバリアントを使用するには、スクリプト内の '9B' を0.8B、2B、4Bなどに変更できます。

Thinkingモード（デフォルトで無効）

Qwen3.5 Smallモデルはデフォルトでthinkingを無効にしています。有効にするにはllama-serverを使用してください。

export LLAMA_CACHE="unsloth/Qwen3.5-9B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-9B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --alias "unsloth/Qwen3.5-9B-GGUF" \
    --port 8001 \
    。有効にするには、次を使用してください：

一般的なタスク：

export LLAMA_CACHE="unsloth/Qwen3.5-9B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-9B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --alias "unsloth/Qwen3.5-9B-GGUF" \
    --port 8001 \
    。有効にするには、次を使用してください：

9B以外のバリアントを使用するには、スクリプト内の '9B' を0.8B、2B、4Bなどに変更できます。

Non-thinkingモードはデフォルトで既にオンになっています

一般的なタスク：

export LLAMA_CACHE="unsloth/Qwen3.5-9B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-9B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.7 \
    --top-p 0.8 \
    --top-k 20 \
    --min-p 0.00

推論タスク：

export LLAMA_CACHE="unsloth/Qwen3.5-9B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-9B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

3

モデルをダウンロードするには（先に pip install huggingface_hub hf_transfer をインストールしてください）。Q4_K_Mや他の量子化バージョンを選択できます、例えば UD-Q4_K_XL 。サイズと精度のバランスを取るために、少なくとも2ビットのdynamic quantを使用することを推奨します UD-Q2_K_XL 。ダウンロードが停止した場合は次を参照してください： Hugging Face Hub、XETデバッグ

hf download unsloth/Qwen3.5-9B-GGUF \
    --local-dir unsloth/Qwen3.5-9B-GGUF \
    --include "*mmproj-F16*" \
    --include "*UD-Q4_K_XL*" # Dynamic 2bitの場合は "*UD-Q2_K_XL*" を使用

4

その後会話モードでモデルを実行します：

./llama.cpp/llama-cli \
    --model unsloth/Qwen3.5-9B-GGUF/Qwen3.5-9B-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Qwen3.5-9B-GGUF/mmproj-F16.gguf \
    --temp 1.0 \
    --top-p 0.95 \
    --min-p 0.00 \
    --top-k 20

Qwen3.5-27B

このガイドでは、18GB RAMのMacデバイスで高速な推論に適したDynamic 4-bitを利用します。GGUF： Qwen3.5-27B-GGUF

1

最新の llama.cpp を入手してください GitHubはこちら。以下のビルド手順に従うこともできます。GPUがない場合またはCPUのみで推論したい場合は、 -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

直接モデルを読み込むために llama.cpp を使用したい場合、以下のようにできます：（:Q4_K_M）は量子化タイプです。Hugging Faceから（ポイント3）ダウンロードすることもできます。これは ollama run に類似しています。 export LLAMA_CACHE="folder" を使用して保存先を強制することができます llama.cpp モデルは最大256Kのコンテキスト長を持っています。

ユースケースに応じて、以下のいずれかのコマンドに従ってください：

Qwen3.5はハイブリッド推論であるため、thinkingモードとnon-thinkingモードでは設定が異なります：

精密なコーディングタスク（例：Web開発）：

export LLAMA_CACHE="unsloth/Qwen3.5-27B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-27B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

一般的なタスク：

export LLAMA_CACHE="unsloth/Qwen3.5-27B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-27B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

Non-thinkingモード：

一般的なタスク：

export LLAMA_CACHE="unsloth/Qwen3.5-27B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-27B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.7 \
    --top-p 0.8 \
    --top-k 20 \
    --min-p 0.00 \
    には、次を使用してください

推論タスク：

export LLAMA_CACHE="unsloth/Qwen3.5-27B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-27B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    には、次を使用してください

3

モデルをダウンロードするには（先に pip install huggingface_hub hf_transfer ）。Q4_K_Mや他の量子化バージョンを選択することができます Qwen3.5は多くの異なるサイズがあるため、すべての推論ワークロードでDynamic 4-bitを使用します または他の量子化バージョンのような UD-Q4_K_XL 。サイズと精度のバランスを取るために、少なくとも2ビットのdynamic quantを使用することを推奨します UD-Q2_K_XL 。ダウンロードが停止した場合は次を参照してください： Hugging Face Hub、XETデバッグ

hf download unsloth/Qwen3.5-27B-GGUF \
    --local-dir unsloth/Qwen3.5-27B-GGUF \
    --include "*mmproj-F16*" \
    --include "*UD-Q4_K_XL*" # Dynamic 2bitの場合は "*UD-Q2_K_XL*" を使用

4

その後会話モードでモデルを実行します：

./llama.cpp/llama-cli \
    --model unsloth/Qwen3.5-27B-GGUF/Qwen3.5-27B-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Qwen3.5-27B-GGUF/mmproj-F16.gguf \
    --temp 1.0 \
    --top-p 0.95 \
    --min-p 0.00 \
    --top-k 20

Qwen3.5-122B-A10B

このガイドでは、70GB RAMのMacデバイスで高速な推論に適したDynamic 4-bitを利用します。GGUF： Qwen3.5-122B-A10B-GGUF

1

最新の llama.cpp を入手してください GitHubはこちら。以下のビルド手順に従うこともできます。GPUがない場合またはCPUのみで推論したい場合は、 -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

直接モデルを読み込むために llama.cpp を使用したい場合、以下のようにできます：（:Q4_K_M）は量子化タイプです。Hugging Faceから（ポイント3）ダウンロードすることもできます。これは ollama run に類似しています。 export LLAMA_CACHE="folder" を使用して保存先を強制することができます llama.cpp モデルは最大256Kのコンテキスト長を持っています。

ユースケースに応じて、以下のいずれかのコマンドに従ってください：

Qwen3.5はハイブリッド推論であるため、thinkingモードとnon-thinkingモードでは設定が異なります：

精密なコーディングタスク（例：Web開発）：

export LLAMA_CACHE="unsloth/Qwen3.5-122B-A10B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-122B-A10B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

一般的なタスク：

export LLAMA_CACHE="unsloth/Qwen3.5-122B-A10B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-122B-A10B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

Non-thinkingモード：

一般的なタスク：

export LLAMA_CACHE="unsloth/Qwen3.5-122B-A10B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-122B-A10B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.7 \
    --top-p 0.8 \
    --top-k 20 \
    --min-p 0.00 \
    には、次を使用してください

推論タスク：

export LLAMA_CACHE="unsloth/Qwen3.5-122B-A10B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-122B-A10B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    には、次を使用してください

3

モデルをダウンロードするには（先に pip install huggingface_hub hf_transfer ）。Q4_K_Mや他の量子化バージョンを選択することができます Qwen3.5は多くの異なるサイズがあるため、すべての推論ワークロードでDynamic 4-bitを使用します （dynamic 4bit）または他の量子化バージョンのような UD-Q4_K_XL 。サイズと精度のバランスを取るために、少なくとも2ビットのdynamic quantを使用することを推奨します UD-Q2_K_XL 。ダウンロードが停止した場合は次を参照してください： Hugging Face Hub、XETデバッグ

hf download unsloth/Qwen3.5-122B-A10B-GGUF \
    --local-dir unsloth/Qwen3.5-122B-A10B-GGUF \
    --include "*mmproj-F16*" \
    --include "*UD-Q4_K_XL*" # Dynamic 2bitの場合は "*UD-Q2_K_XL*" を使用

4

その後会話モードでモデルを実行します：

./llama.cpp/llama-cli \
    --model unsloth/Qwen3.5-122B-A10B-GGUF/UD-Q4_K_XL/Qwen3.5-122B-A10B-UD-Q4_K_XL-00001-of-00003.gguf \
    --mmproj unsloth/Qwen3.5-122B-A10B-GGUF/mmproj-F16.gguf \
    --ctx-size 16384 \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

Qwen3.5-397B-A17B

Qwen3.5-397B-A17BはGemini 3 Pro、Claude Opus 4.5、GPT-5.2と同じ性能カテゴリにあります。フルの397Bチェックポイントはディスク上で約807GBですが、 Unslothの397B GGUFを通じて 次のように実行できます：

• 3ビット: はに収まります 192GB RAM システム（例：192GBのMac）

• 4ビット（MXFP4）: はに収まります 256GB RAM。Unsloth 4ビットダイナミックは UD-Q4_K_XL であり、 ディスク上で約214GBです - 直接ロードできます 256GB M3 Ultra上で

• 単一の24GB GPU + 256GBシステムRAMで動作します を介して MoEオフローディング 、到達する25+ トークン/秒 には

• 8ビット 約512GBのRAM/VRAMが必要です 要します

Unsloth GGUFの性能がどのようになるかは、 397B量子化ベンチマーク を参照してください。

1

最新の llama.cpp を入手してください GitHubはこちら。以下のビルド手順に従うこともできます。GPUがない場合またはCPUのみで推論したい場合は、 -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

直接モデルを読み込むために llama.cpp を使用したい場合、以下のようにできます：（:Q4_K_M）は量子化タイプです。Hugging Faceから（ポイント3）ダウンロードすることもできます。これは ollama run に類似しています。 export LLAMA_CACHE="folder" を使用して保存先を強制することができます llama.cpp 特定の場所に保存するにはを使用してください。モデルは最大256Kのコンテキスト長しか持たないことを忘れないでください。

これに従ってください thinking モード：

export LLAMA_CACHE="unsloth/Qwen3.5-397B-A17B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-397B-A17B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

これに従ってください non-thinking モード：

export LLAMA_CACHE="unsloth/Qwen3.5-397B-A17B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-397B-A17B-GGUF:UD-Q4_K_XL \
    --ctx-size 16384 \
    --temp 0.7 \
    --top-p 0.8 \
    --top-k 20 \
    --min-p 0.00 \
    には、次を使用してください

3

モデルをダウンロードするには（先に pip install huggingface_hub hf_transfer ）。Q4_K_Mや他の量子化バージョンを選択することができます Qwen3.5は多くの異なるサイズがあるため、すべての推論ワークロードでDynamic 4-bitを使用します （dynamic 4bit）または他の量子化バージョンのような UD-Q4_K_XL 。サイズと精度のバランスを取るために、少なくとも2ビットのdynamic quantを使用することを推奨します UD-Q2_K_XL 。ダウンロードが停止した場合は次を参照してください： Hugging Face Hub、XETデバッグ

hf download unsloth/Qwen3.5-397B-A17B-GGUF \
    --local-dir unsloth/Qwen3.5-397B-A17B-GGUF \
    --include "*mmproj-F16*" \
    --include "*UD-Q4_K_XL" # Dynamic 2bitの場合は "*UD-Q2_K_XL*" を使用

4

--threads 32 を編集してCPUスレッド数を変更できます、 --threads 32 CPUスレッド数用、 --ctx-size 16384 はコンテキスト長用、 --n-gpu-layers 2 はGPUオフローディングするレイヤー数用です。GPUがメモリ不足になる場合は調整を試みてください。CPUのみの推論の場合はこれを削除してください。

./llama.cpp/llama-cli \
    --model unsloth/Qwen3.5-397B-A17B-GGUF/UD-Q4_K_XL/Qwen3.5-397B-A17B-UD-Q4_K_XL-00001-of-00006.gguf \
    --mmproj unsloth/Qwen3.5-397B-A17B-GGUF/mmproj-F16.gguf \
    --ctx-size 16384 \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

👾 LM Studioガイド

このガイドでは、LLMを実行するための統合UIインターフェースである Small（0.8B • 2B • 4B • 9B）を使用します。「💡Thinking」と「Non-thinking」のトグルはデフォルトで表示されない場合があるため、それを動作させるために追加の手順が必要です。

1

をダウンロードしてください Small（0.8B • 2B • 4B • 9B） あなたのデバイス用に。そしてModel Searchを開き、'unsloth/qwen3.5'を検索して、希望するGGUF（量子化）をダウンロードしてください。

2

Thinkingトグルの手順： ダウンロード後、ターミナル/PowerShellを開いて次を試してください： lms --help。その後LM Studioが多くのコマンドとともに正常に表示される場合、次を実行してください：

lms get unsloth/qwen3.5-4b

これにより、GGUFに「💡Thinking」と「Non-thinking」トグルを表示させるyamlファイルが取得されます。 4b を希望する量子化に変更できます。

または、次に移動して 当社のLM Studioページ から特定のyamlファイルをダウンロードできます。

3

LM Studioを再起動し、ダウンロードしたモデル（思考トグル付き）をロードしてください。Thinkingトグルが有効になっているはずです。忘れずに 正しいパラメータ.

を設定してください。

🦙 Llama-serverによる配信 & OpenAIのcompletionライブラリ Qwen3.5-397B-A17Bを本番用にデプロイするには、 llama-server

./llama.cpp/llama-server \
--model unsloth/Qwen3.5-35B-A3B-GGUF/Qwen3.5-35B-A3B-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Qwen3.5-35B-A3B-GGUF/mmproj-F16.gguf \
    を使用します。
    --temp 0.6 \
    --top-p 0.95 \
    --ctx-size 16384 \
    --top-k 20 \
    --min-p 0.00 \
    新しいターミナルでtmux等を使い、次のようにモデルをデプロイしてください：

--alias "unsloth/Qwen3.5-35B-A3B" \ --port 8001その後、新しいターミナルで、

pip install openai
を実行した後、次を行ってください：
from openai import OpenAI
    import json
    openai_client = OpenAI(
)
base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
    completion = openai_client.chat.completions.create(
)
model = "unsloth/Qwen3.5-397B-A17B",

🤔 messages = [{"role": "user", "content": "Create a Snake game."},],

print(completion.choices[0].message.content)推論（reasoning）とthinkingを有効または無効にする方法以下のコマンドでは、'true' と ' false.

top_p = 0.8 ' を互換的に使用できます。 LM StudioでThinkトグルを表示するには、当社のガイドを参照してください

    には、次を使用してください

--chat-template-kwargs '{"enable_thinking":false}' もしあなたが thinking / reasoningを無効にするには、llama-server内で次を使用してください： Powershellを使っている場合は、次を使用してください：

top_p = 0.8 またはPowerShellでは次を使用してください： LM StudioでThinkトグルを表示するには、当社のガイドを参照してください

    。有効にするには、次を使用してください：

--chat-template-kwargs '{"enable_thinking":false}' もしあなたが thinking / reasoningを無効にするには、llama-server内で次を使用してください： --chat-template-kwargs "{\"enable_thinking\":true}"

'true'と'false'は互換的に使用できます。Qwen3.5の0.8B、2B、4B、9Bでは、推論（reasoning）はデフォルトで無効になっています 。有効にするには、次を使用してください：

有効にする --chat-template-kwargs "{\"enable_thinking\":true}"

WindowsまたはPowerShellでは：

./llama.cpp/llama-server \
    例として、Qwen3.5-9Bでthinkingを有効にするには（デフォルトは無効）：
    --alias "unsloth/Qwen3.5-9B-GGUF" \
    --temp 0.6 \
    --top-p 0.95 \
    --ctx-size 16384 \
    --top-k 20 \
    --min-p 0.00 \
    --port 8001 \
    。有効にするには、次を使用してください：

--model unsloth/Qwen3.5-9B-GGUF/Qwen3.5-9B-BF16.gguf \

pip install openai
を実行した後、次を行ってください：
from openai import OpenAI
    import json
    openai_client = OpenAI(
)
base_url = "http://127.0.0.1:8001/v1",
    そしてPythonでは：
    model = "unsloth/Qwen3.5-9B-GGUF",
)
model = "unsloth/Qwen3.5-397B-A17B",
messages = [{"role": "user", "content": "What is 2+2?"},],

print(completion.choices[0].message.reasoning_content)

👨‍💻 OpenAI Codex & Claude Code ローカルのコーディングエージェントワークロードでモデルを実行するには、当社のガイドに従ってください Qwen3.5-397B-A17Bを本番用にデプロイするには、 。モデル名を希望の'Qwen3.5'バリアントに変更し、正しいQwen3.5のパラメータと使用手順に従ってください。先ほど設定したものを使用してください。

Claude Code

OpenAI Codex

先ほどのClaude Codeの指示に従うと、次のように表示されます：

その後、例えば次のように依頼できます チェスのPythonゲームを作成してください :

🔨Qwen3.5でのツール呼び出し

Unsloth GGUFの性能がどのようになるかは、 Tool Calling Guide ツール呼び出しの詳細についてはを参照してください。新しいターミナルで（tmuxを使用している場合はCTRL+B+D）、2つの数値を加える、Pythonコードを実行する、Linux関数を実行するなどのツールを作成します：

import json, subprocess, random
from typing import Any
def add_number(a: float | str, b: float | str) -> float:
    return float(a) + float(b)
def multiply_number(a: float | str, b: float | str) -> float:
    return float(a) * float(b)
def substract_number(a: float | str, b: float | str) -> float:
    return float(a) - float(b)
def write_a_story() -> str:
    return random.choice([
        "昔々、遠い銀河で…",
        "スロースとコードを愛する2人の友達がいた…",
        "すべてのスロースが超人的な知性を持つように進化したため、世界は終わりかけていた…",
        "片方の友人が知らぬ間に、もう一方がスロースを進化させるプログラムを誤ってコーディングしてしまった…",
    ])
def terminal(command: str) -> str:
    if "rm" in command or "sudo" in command or "dd" in command or "chmod" in command:
        msg = "危険なため 'rm, sudo, dd, chmod' コマンドは実行できません"
        print(msg); return msg
    print(f"ターミナルコマンド `{command}` を実行しています")
    try:
        return str(subprocess.run(command, capture_output = True, text = True, shell = True, check = True).stdout)
    except subprocess.CalledProcessError as e:
        return f"コマンド失敗: {e.stderr}"
def python(code: str) -> str:
    data = {}
    exec(code, data)
    del data["__builtins__"]
    return str(data)
MAP_FN = {
    "add_number": add_number,
    "multiply_number": multiply_number,
    "substract_number": substract_number,
    "write_a_story": write_a_story,
    "terminal": terminal,
    "python": python,
}
tools = [
    {
        "type": "function",
        "function": {
            "name": "add_number",
            "description": "2つの数を加算します。",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "最初の数。",
                    },
                    "b": {
                        "type": "string",
                        "description": "2番目の数。",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "multiply_number",
            "description": "2つの数を乗算します。",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "最初の数。",
                    },
                    "b": {
                        "type": "string",
                        "description": "2番目の数。",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "substract_number",
            "description": "2つの数を減算します。",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "最初の数。",
                    },
                    "b": {
                        "type": "string",
                        "description": "2番目の数。",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "write_a_story",
            "description": "ランダムな物語を書きます。",
            "parameters": {
                "type": "object",
                "properties": {},
                "required": [],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "terminal",
            "description": "ターミナルから操作を実行します。",
            "parameters": {
                "type": "object",
                "properties": {
                    "command": {
                        "type": "string",
                        "description": "実行したいコマンド、例: `ls`、`rm`、...",
                    },
                },
                "required": ["command"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "python",
            "description": "実行されるPythonコードを使ってPythonインタープリタを呼び出します。",
            "parameters": {
                "type": "object",
                "properties": {
                    "code": {
                        "type": "string",
                        "description": "実行するPythonコード",
                    },
                },
                "required": ["code"],
            },
        },
    },
]

その後、以下の関数を使用します（コピーして貼り付けて実行）。これらは関数呼び出しを自動的に解析し、任意のモデルのためにOpenAIエンドポイントを呼び出します：

pip install openai
def unsloth_inference(
    messages,
    temperature = 0.6,
    top_p = 0.95,
    top_k = 20,
    min_p = 0.00,
    repetition_penalty = 1.0,
):
    messages = messages.copy()
    from openai import OpenAI
        import json
        openai_client = OpenAI(
    )
    model_name = next(iter(openai_client.models.list())).id
    print(f"Using model = {model_name}")
    has_tool_calls = True
    original_messages_len = len(messages)
    while has_tool_calls:
        print(f"Current messages = {messages}")
        response = openai_client.chat.completions.create(
            model = model_name,
            messages = messages,
            temperature = temperature,
            top_p = top_p,
            tools = tools if tools else None,
            tool_choice = "auto" if tools else None,
            extra_body = {"top_k": top_k, "min_p": min_p, "repetition_penalty" :repetition_penalty,}
        )
        tool_calls = response.choices[0].message.tool_calls or []
        content = response.choices[0].message.content or ""
        tool_calls_dict = [tc.to_dict() for tc in tool_calls] if tool_calls else tool_calls
        messages.append({"role": "assistant", "tool_calls": tool_calls_dict, "content": content,})
        for tool_call in tool_calls:
            fx, args, _id = tool_call.function.name, tool_call.function.arguments, tool_call.id
            out = MAP_FN[fx](**json.loads(args))
            messages.append({"role": "tool", "tool_call_id": _id, "name": fx, "content": str(out),})
        else:
            has_tool_calls = False
    return messages

Qwen3.5を次のように起動した後、 Qwen3.5-397B-A17Bを本番用にデプロイするには、 次のように Qwen3.5 または参照してください Tool Calling Guide 詳細については、その後いくつかのツール呼び出しを行うことができます。

📊 ベンチマーク

Unsloth GGUF ベンチマーク

Qwen3.5-35B Unsloth ダイナミック量子化を更新しました ほぼすべての点で最先端（SOTA）です 我々は150以上のKLダイバージェンスベンチマークを実施し、合計で 9TBのGGUF。すべての研究成果をアップロードしました。また、 ツール呼び出し チャットテンプレート バグを修正しました （すべての量子化アップローダーに影響）

• すべてのGGUFは現在、 改善された量子化 アルゴリズムで更新されています。

• すべては当社の 新しいimatrixデータを使用しています。チャット、コーディング、長文コンテキスト、およびツール呼び出しのユースケースでいくつかの改善が見られます。

• Qwen3.5-35B-A3B の GGUF は新しい修正を使用するように更新されました（112B、27B はまだ変換中で、更新後に再ダウンロードしてください）

• 99.9% の KL ダイバージェンスは最先端を示しています UD-Q4_K_XL、IQ3_XXS などのパレートフロンティア上で。

• MXFP4 の廃止 すべての GGUF 量子化から: Q2_K_XL、Q3_K_XL、Q4_K_XL（純粋な MXFP4_MOE を除く）。

35B-A3B - KLD ベンチマーク（値が低いほど良い）

122B-A10B - KLD ベンチマーク（値が低いほど良い）

詳しい QWEN3.5 の分析とベンチマークはこちらをお読みください：

Qwen3.5 GGUFベンチマーク

Qwen3.5-397B-A17B ベンチマーク

Benjamin Marie（サードパーティ）がベンチマークを実施しました Qwen3.5-397B-A17B Unsloth GGUF を使用して、 750プロンプトの混合スイートで （LiveCodeBench v6、MMLU Pro、GPQA、Math500）、両方を報告しています 全体的な精度 および 相対誤差の増加 （量子化モデルが元のモデルと比べてどれだけ多く誤りを犯すか）。

主要な結果（精度；元のモデルとの変化；相対誤差の増加）：

• 元の重み： 81.3%

• UD-Q4_K_XL： 80.5% （−0.8 ポイント；相対誤差 +4.3%）

• UD-Q3_K_XL： 80.7% （−0.6 ポイント；相対誤差 +3.5%）

UD-Q4_K_XL および UD-Q3_K_XL 元のモデルに非常に近いままで、 このスイートで1ポイント未満の精度低下にとどまります これはBenが示唆しているように、あなたが〜できることを意味します メモリ使用量を大幅に削減する (約500 GB 少なく）テストされたタスクで実用的な損失がほとんどないかまったくないままです。

選び方： ここでQ3がQ4よりわずかに高得点なのは、この規模では通常の実行間のばらつきとして完全にあり得るため、 このベンチマークでは Q3 と Q4 を実質的に同等の品質として扱ってください ：

• 選択してください Q3 もしあなたが望むなら 最小のフットプリント／最高のメモリ節約

• 選択してください Q4 もしあなたが望むなら やや保守的な オプションで 類似した 結果

ここに挙げたすべての量子化は我々の動的手法を利用しています。UD-IQ2_M でさえも 同じ動的手法を使用していますが、変換プロセスは UD-Q2-K-XL と異なります ここで K-XL は通常よりも高速です サイズが大きくても、そのため 同じ動的手法を使用していますが、変換プロセスは がより良い性能を示すことがあります 同じ動的手法を使用していますが、変換プロセスは より良く動作するかもしれません ここで K-XL は通常よりも高速です.

公式 Qwen ベンチマーク

Qwen3.5-35B-A3B、27B および 122B-A10B ベンチマーク

Qwen3.5-4B および 9B ベンチマーク

Qwen3.5-397B-A17B ベンチマーク