💜Qwen3.5 - ローカルでの実行方法

新しいQwen3.5 LLMを、Medium: Qwen3.5-35B-A3B、27B、122B-A10B、Small: Qwen3.5-0.8B、2B、4B、9B、397B-A17Bを含めて自分のローカルデバイスで実行しましょう！

Qwen3.5はAlibabaの新しいモデルファミリーで、Qwen3.5-を含みます35B-A3B, 27B, 122B-A10B と 397B-A17B と新しい Small シリーズ: Qwen3.5-0.8B、2B、4B、9B。マルチモーダルなハイブリッド推論LLMは、同規模の中で最も高い性能を発揮します。対応するのは 256Kコンテキスト 201言語にわたり、 thinking + non-thinkingに対応し、エージェント的コーディング、画像認識、チャット、長文コンテキストの各タスクで優れています。35Bと27Bのモデルは22GBのMac / RAMデバイスで動作します。すべての GGUFはこちら.

Qwen3.5チュートリアルを実行Qwen3.5をファインチューニング

3月17日更新: Qwen3.5を Unsloth Studio.

3月5日更新: Qwen3.5-を再ダウンロード35B, 27B, 122B と 397B.

• すべてのGGUFが 改善された量子化 アルゴリズムで更新されました。

• すべてで 新しいimatrixデータを使用しています。チャット、コーディング、長文コンテキスト、ツール呼び出しのユースケースでいくつかの改善が見られます。

• ツール呼び出しが改善 されました。これはチャットテンプレートの修正に続くものです。 修正は共通 で、 あらゆる Qwen3.5形式と あらゆる アップローダーに適用されます。

• 新しいGGUFベンチマークを確認 Unslothの性能結果と、私たちの MXFP4の調査.

• 3つのQwen3.5 GGUFからMXFP4レイヤーを廃止します: Q2_K_XL、Q3_K_XL、Q4_K_XL。

すべてのアップロードはUnsloth Dynamic 2.0 を使用し、SOTAの量子化性能を実現しています。そのため4ビットでは重要なレイヤーが8ビットまたは16ビットにアップキャストされています。Day 0でUnslothにアクセスを提供してくれたQwenに感謝します。また、 ファインチューニング Qwen3.5を Unslothで行うこともできます。

thinkingの有効化/無効化については Qwen3.5.Qwen3.5のSmallモデルはデフォルトで無効です。

⚙️ 使用ガイド

表: 推論用ハードウェア要件 (単位 = 総メモリ: RAM + VRAM、またはユニファイドメモリ)

Qwen3.5を	3ビット	4ビット	6ビット	8ビット	BF16
0.8B + 2B	3 GB	3.5 GB	5 GB	7.5 GB	9 GB
4B	4.5 GB	5.5 GB	7 GB	10 GB	14 GB
9B	5.5 GB	6.5 GB	9 GB	13 GB	19 GB
27B	14 GB	17 GB	24 GB	30 GB	54 GB
35B-A3B	17 GB	22 GB	30 GB	38 GB	70 GB
122B-A10B	60 GB	70 GB	106 GB	132 GB	245 GB
397B-A17B	180 GB	214 GB	340 GB	512 GB	810 GB

最高の性能を得るには、利用可能な総メモリ（VRAM + システムRAM）が、ダウンロードする量子化済みモデルファイルのサイズを上回っていることを確認してください。そうでない場合でも、llama.cppはSSD/HDDへのオフロード経由で実行できますが、推論は遅くなります。

〜の間で 27B と 35B-A3B、より少し精度の高い結果が欲しく、デバイスに収まらない場合は27Bを使ってください。はるかに高速な推論が欲しいなら35B-A3Bを選んでください。

推奨設定

• 最大コンテキストウィンドウ: 262,144 (YaRNで最大1Mまで拡張可能)

• presence_penalty = 0.0 〜 2.0 デフォルトではオフですが、繰り返しを減らすためにこれを使うことができます。ただし、値を高くすると 性能がわずかに低下する可能性があります

• 適切な出力長: 32,768 ほとんどのクエリでのトークン数

もし意味不明な文字列が出るなら、コンテキスト長が短すぎる可能性があります。あるいは次を使ってみてください: --cache-type-k bf16 --cache-type-v bf16 。これで改善する場合があります。

Qwen3.5はハイブリッド推論なので、thinkingモードとnon-thinkingモードでは設定が異なります:

Thinkingモード:

一般的なタスク	正確性が必要なコーディングタスク（例: WebDev）
temperature = 1.0	temperature = 0.6
top_p = 0.95	top_p = 0.95
top_k = 20	top_k = 20
min_p = 0.0	min_p = 0.0
presence_penalty = 1.5	presence_penalty = 0.0
repeat_penalty = 無効または1.0	repeat_penalty = 無効または1.0

一般タスク向けThinkingモード:

temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0

正確なコーディングタスク向けThinkingモード:

temperature=0.6, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0

Instruct（non-thinking）モードの設定:

一般的なタスク	推論タスク
temperature = 0.7	temperature = 1.0
top_p = 0.8	top_p = 0.95
top_k = 20	top_k = 20
min_p = 0.0	min_p = 0.0
presence_penalty = 1.5	presence_penalty = 1.5
repeat_penalty = 無効または1.0	repeat_penalty = 無効または1.0

〜するには thinking / reasoning を無効化するには、 --chat-template-kwargs '{"enable_thinking":false}'

もし Windows のPowershellを使っているなら、次を使ってください: --chat-template-kwargs "{\"enable_thinking\":false}"

true と false は同じ意味で使えます。

Qwen3.5 0.8B、2B、4B、9Bでは、推論はデフォルトで無効です。有効にするには次を使ってください: --chat-template-kwargs '{"enable_thinking":true}'

一般タスク向けInstruct（non-thinking）:

temperature=0.7, top_p=0.8, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0

推論タスク向けInstruct（non-thinking）:

temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0

Qwen3.5推論チュートリアル:

Qwen3.5には多くの異なるサイズがあるため、すべての推論でDynamic 4-bitを使用します。 MXFP4_MOE GGUFバリアントを使用します。以下をクリックして、指定されたモデルの手順に移動してください:

Unsloth Studioで実行Qwen3.5-35B-A3B27B122B-A10B397B-A17BSmall（0.8B - 9B）

Unsloth Dynamic GGUFアップロード:

Qwen3.5-35B-A3B	Qwen3.5-27B	Qwen3.5-122B-A10B	Qwen3.5-397B-A17B
Qwen3.5-0.8B	Qwen3.5-2B	Qwen3.5-4B	Qwen3.5-9B

presence_penalty = 0.0 〜 2.0 デフォルトではオフですが、繰り返しを減らすためにこれを使うことができます。ただし、値を高くすると 性能がわずかに低下します。

現時点では、別々のmmproj画像ファイルが必要なため、Qwen3.5のGGUFはどれもOllamaでは動作しません。llama.cpp互換のバックエンドを使ってください。

🦥 Unsloth Studioガイド

Qwen3.5は Unsloth Desktopで実行およびファインチューニングできます。これはローカルAI向けの新しいオープンソースのデスクトップUIです。Unsloth Studioでは、モデルをローカルで MacOS、Windows、Linux上で次のことができます:

• 検索、ダウンロード、 GGUFの実行 およびsafetensorモデル

• 自己修復 ツール呼び出し + ウェブ検索

• コード実行 (Python、Bash)

• 自動推論 パラメータ調整（temp、top-pなど）

• llama.cpp経由の高速なCPU + GPU推論

• LLMを学習 VRAMを70%少なくして2倍高速

1

Unslothをインストール

始める最も簡単な方法は、 Unsloth Desktopアプリをダウンロードすることです。対応OSは macOS, Windows、そして Linux.

Unslothをダウンロード

• macOS用をダウンロード

• Windows用をダウンロード

• Linux用をダウンロード

または、手動でインストールしたい場合は:

MacOS、Linux、WSL:

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell:

irm https://unsloth.ai/install.ps1 | iex

インストールはすぐに完了し、約1〜2分かかります。

2

Unslothを起動

MacOS、Linux、WSL、Windows:

unsloth studio -H 0.0.0.0 -p 8888

その後、 http://localhost:8888 をブラウザで開いてください。

3

Qwen3.5を検索してダウンロード

初回起動時には、アカウントを保護するためのパスワードを作成し、後で再度サインインする必要があります。その後、 Unsloth Chat タブに移動し、検索バーでQwen3.5を検索して、希望のモデルと量子化版をダウンロードしてください。

4

Qwen3.5を実行

Unsloth Studioを使うと推論パラメータは自動設定されるはずですが、手動で変更することもできます。コンテキスト長、チャットテンプレート、その他の設定も編集できます。

詳細については、こちらをご覧ください: Unsloth Studio推論ガイド.

🦙 Llama.cppガイド

Qwen3.5-35B-A3B

このガイドでは、Dynamic 4-bitを使用します。これは24GB RAM / Macデバイスで高速推論に非常によく機能します。モデルはF16のフル精度でも約72GBしかないため、性能についてあまり心配する必要はありません。GGUF: Qwen3.5-35B-A3B-GGUF

これらのチュートリアルでは、 llama.cpp を使って高速なローカル推論を行います。特にCPUを持っている場合に有効です。

1

最新の llama.cpp を GitHubで入手できます。以下のビルド手順に従ってもかまいません。 -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。GPUがない場合、またはCPU推論だけを使いたい場合です。 Apple Mac / Metalデバイスでは、 -DGGML_CUDA=OFF を設定し、その後は通常どおり続けてください。Metalサポートはデフォルトで有効です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

もし llama.cpp を直接使ってモデルを読み込みたい場合は、以下のようにできます。(:Q4_K_M) は量子化タイプです。Hugging Face経由でもダウンロードできます（ポイント3）。これは ollama run に似ています。 export LLAMA_CACHE="folder" を使って llama.cpp を特定の場所に保存するよう強制できます。モデルの最大コンテキスト長は256Kです。

ユースケースに応じて、以下のいずれかの特定コマンドに従ってください:

Thinkingモード:

正確性が必要なコーディングタスク（例: WebDev）:

export LLAMA_CACHE="unsloth/Qwen3.5-35B-A3B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

一般タスク:

export LLAMA_CACHE="unsloth/Qwen3.5-35B-A3B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

Non-thinkingモード:

一般タスク:

export LLAMA_CACHE="unsloth/Qwen3.5-35B-A3B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
    --temp 0.7 \
    --top-p 0.8 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

推論タスク:

export LLAMA_CACHE="unsloth/Qwen3.5-35B-A3B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

3

モデルをダウンロードするには、（ pip install huggingface_hub hf_transfer をインストールした後で）次を使用できます。 UD-Q4_K_XL 。サイズと精度のバランスを取るため、少なくとも2ビットのダイナミック量子化を使うことを推奨します。 UD-Q2_K_XL ダウンロードが止まった場合は、以下を参照してください: Hugging Face Hub、XET のデバッグ

hf download unsloth/Qwen3.5-35B-A3B-GGUF \
    --local-dir unsloth/Qwen3.5-35B-A3B-GGUF \
    --include "*mmproj-F16*" \
    --include "*UD-Q4_K_XL*" # Dynamic 2bitでは "*UD-Q2_K_XL*" を使用

4

その後、会話モードでモデルを実行します:

./llama.cpp/llama-cli \
    --model unsloth/Qwen3.5-35B-A3B-GGUF/Qwen3.5-35B-A3B-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Qwen3.5-35B-A3B-GGUF/mmproj-F16.gguf \
    --temp 1.0 \
    --top-p 0.95 \
    --min-p 0.00 \
    --top-k 20

Qwen3.5 Small（0.8B • 2B • 4B • 9B）

Qwen3.5 0.8B、2B、4B、9Bでは、 推論は無効です デフォルトで。有効にするには次を使ってください: --chat-template-kwargs '{"enable_thinking":true}'

Windowsでは次を使ってください: --chat-template-kwargs "{\"enable_thinking\":true}"

Qwen3.5 Smallシリーズは非常に小さいため、スクリプト内のモデル名を目的のバリアントに変えるだけで使えます。このガイドでは、9Bパラメータ版を使用します。ほぼフル精度で全部を実行するには、12GBのRAM / VRAM / ユニファイドメモリを持つデバイスが必要です。GGUF:

Qwen3.5-0.8B	Qwen3.5-2B	Qwen3.5-4B	Qwen3.5-9B

1

最新の llama.cpp を GitHubで入手できます。以下のビルド手順に従ってもかまいません。 -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。GPUがない場合、またはCPU推論だけを使いたい場合です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

もし llama.cpp を直接使ってモデルを読み込む場合は、以下のようにできます。(:Q4_K_XL) は量子化タイプです。Hugging Face経由でもダウンロードできます（ポイント3）。これは ollama run に似ています。 export LLAMA_CACHE="folder" を使って llama.cpp を特定の場所に保存するよう強制できます。モデルの最大コンテキスト長は256Kです。

ユースケースに応じて、以下のいずれかの特定コマンドに従ってください:

9B以外の別バリアントを使うには、'9B' を 0.8B、2B、4B などに変更できます。

Thinkingモード（デフォルトでは無効）

Qwen3.5 Smallモデルでは、thinkingはデフォルトで無効です。有効にするには llama-server を使ってください。

export LLAMA_CACHE="unsloth/Qwen3.5-9B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-9B-GGUF:UD-Q4_K_XL \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --alias "unsloth/Qwen3.5-9B-GGUF" \
    --port 8001 \
    --chat-template-kwargs '{"enable_thinking":true}'

一般タスク:

export LLAMA_CACHE="unsloth/Qwen3.5-9B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-9B-GGUF:UD-Q4_K_XL \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --alias "unsloth/Qwen3.5-9B-GGUF" \
    --port 8001 \
    --chat-template-kwargs '{"enable_thinking":true}'

9B以外の別バリアントを使うには、'9B' を 0.8B、2B、4B などに変更できます。

Non-thinkingモードはすでにデフォルトで有効です

一般タスク:

export LLAMA_CACHE="unsloth/Qwen3.5-9B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-9B-GGUF:UD-Q4_K_XL \
    --temp 0.7 \
    --top-p 0.8 \
    --top-k 20 \
    --min-p 0.00

推論タスク:

export LLAMA_CACHE="unsloth/Qwen3.5-9B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-9B-GGUF:UD-Q4_K_XL \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

3

モデルをダウンロードするには、（ pip install huggingface_hub hf_transfer をインストールした後で）次を使用できます。 UD-Q4_K_XL 。サイズと精度のバランスを取るため、少なくとも2ビットのダイナミック量子化を使うことを推奨します。 UD-Q2_K_XL ダウンロードが止まった場合は、以下を参照してください: Hugging Face Hub、XET のデバッグ

hf download unsloth/Qwen3.5-9B-GGUF \
    --local-dir unsloth/Qwen3.5-9B-GGUF \
    --include "*mmproj-F16*" \
    --include "*UD-Q4_K_XL*" # Dynamic 2bitでは "*UD-Q2_K_XL*" を使用

4

その後、会話モードでモデルを実行します:

./llama.cpp/llama-cli \
    --model unsloth/Qwen3.5-9B-GGUF/Qwen3.5-9B-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Qwen3.5-9B-GGUF/mmproj-F16.gguf \
    --temp 1.0 \
    --top-p 0.95 \
    --min-p 0.00 \
    --top-k 20

Qwen3.5-27B

このガイドでは、Dynamic 4-bitを使用します。これは18GB RAM / Macデバイスで高速推論に非常によく機能します。GGUF: Qwen3.5-27B-GGUF

1

最新の llama.cpp を GitHubで入手できます。以下のビルド手順に従ってもかまいません。 -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。GPUがない場合、またはCPU推論だけを使いたい場合です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

もし llama.cpp を直接使ってモデルを読み込みたい場合は、以下のようにできます。(:Q4_K_M) は量子化タイプです。Hugging Face経由でもダウンロードできます（ポイント3）。これは ollama run に似ています。 export LLAMA_CACHE="folder" を使って llama.cpp を特定の場所に保存するよう強制できます。モデルの最大コンテキスト長は256Kです。

ユースケースに応じて、以下のいずれかの特定コマンドに従ってください:

Thinkingモード:

正確性が必要なコーディングタスク（例: WebDev）:

export LLAMA_CACHE="unsloth/Qwen3.5-27B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-27B-GGUF:UD-Q4_K_XL \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

一般タスク:

export LLAMA_CACHE="unsloth/Qwen3.5-27B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-27B-GGUF:UD-Q4_K_XL \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

Non-thinkingモード:

一般タスク:

export LLAMA_CACHE="unsloth/Qwen3.5-27B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-27B-GGUF:UD-Q4_K_XL \
    --temp 0.7 \
    --top-p 0.8 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

推論タスク:

export LLAMA_CACHE="unsloth/Qwen3.5-27B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-27B-GGUF:UD-Q4_K_XL \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

3

モデルをダウンロードするには、（ pip install huggingface_hub hf_transfer ）。選べます MXFP4_MOE または次のような他の量子化版: UD-Q4_K_XL 。サイズと精度のバランスを取るため、少なくとも2ビットのダイナミック量子化を使うことを推奨します。 UD-Q2_K_XL ダウンロードが止まった場合は、以下を参照してください: Hugging Face Hub、XET のデバッグ

hf download unsloth/Qwen3.5-27B-GGUF \
    --local-dir unsloth/Qwen3.5-27B-GGUF \
    --include "*mmproj-F16*" \
    --include "*UD-Q4_K_XL*" # Dynamic 2bitでは "*UD-Q2_K_XL*" を使用

4

その後、会話モードでモデルを実行します:

./llama.cpp/llama-cli \
    --model unsloth/Qwen3.5-27B-GGUF/Qwen3.5-27B-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Qwen3.5-27B-GGUF/mmproj-F16.gguf \
    --temp 1.0 \
    --top-p 0.95 \
    --min-p 0.00 \
    --top-k 20

Qwen3.5-122B-A10B

このガイドでは、Dynamic 4-bitを使用します。これは70GB RAM / Macデバイスで高速推論に非常によく機能します。GGUF: Qwen3.5-122B-A10B-GGUF

1

最新の llama.cpp を GitHubで入手できます。以下のビルド手順に従ってもかまいません。 -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。GPUがない場合、またはCPU推論だけを使いたい場合です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

もし llama.cpp を直接使ってモデルを読み込みたい場合は、以下のようにできます。(:Q4_K_M) は量子化タイプです。Hugging Face経由でもダウンロードできます（ポイント3）。これは ollama run に似ています。 export LLAMA_CACHE="folder" を使って llama.cpp を特定の場所に保存するよう強制できます。モデルの最大コンテキスト長は256Kです。

ユースケースに応じて、以下のいずれかの特定コマンドに従ってください:

Thinkingモード:

正確性が必要なコーディングタスク（例: WebDev）:

export LLAMA_CACHE="unsloth/Qwen3.5-122B-A10B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-122B-A10B-GGUF:UD-Q4_K_XL \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

一般タスク:

export LLAMA_CACHE="unsloth/Qwen3.5-122B-A10B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-122B-A10B-GGUF:UD-Q4_K_XL \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

Non-thinkingモード:

一般タスク:

export LLAMA_CACHE="unsloth/Qwen3.5-122B-A10B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-122B-A10B-GGUF:UD-Q4_K_XL \
    --temp 0.7 \
    --top-p 0.8 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

推論タスク:

export LLAMA_CACHE="unsloth/Qwen3.5-122B-A10B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-122B-A10B-GGUF:UD-Q4_K_XL \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

3

モデルをダウンロードするには、（ pip install huggingface_hub hf_transfer ）。選べます MXFP4_MOE (動的4bit) または、次のような他の量子化版 UD-Q4_K_XL 。サイズと精度のバランスを取るため、少なくとも2ビットのダイナミック量子化を使うことを推奨します。 UD-Q2_K_XL ダウンロードが止まった場合は、以下を参照してください: Hugging Face Hub、XET のデバッグ

hf download unsloth/Qwen3.5-122B-A10B-GGUF \
    --local-dir unsloth/Qwen3.5-122B-A10B-GGUF \
    --include "*mmproj-F16*" \
    --include "*UD-Q4_K_XL*" # Dynamic 2bitでは "*UD-Q2_K_XL*" を使用

4

その後、会話モードでモデルを実行します:

./llama.cpp/llama-cli \
    --model unsloth/Qwen3.5-122B-A10B-GGUF/UD-Q4_K_XL/Qwen3.5-122B-A10B-UD-Q4_K_XL-00001-of-00003.gguf \
    --mmproj unsloth/Qwen3.5-122B-A10B-GGUF/mmproj-F16.gguf \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

Qwen3.5-397B-A17B

Qwen3.5-397B-A17Bは、Gemini 3 Pro、Claude Opus 4.5、GPT-5.2と同じ性能帯にあります。完全な397Bチェックポイントはディスク上で約807GBですが、 Unslothの397B GGUFを使えば 次を実行できます：

• 3ビット：収まります 192GB RAM システム（例：192GBのMac）

• 4-bit（MXFP4）：収まります 256GB RAM. Unsloth 4-bit動的 UD-Q4_K_XL は ディスク上で約214GB - 直接ロードされます 256GB M3 Ultra

• で動作します 24GBの単一GPU + 256GBのシステムRAM 経由で MoEオフローディングにより、 25以上のトークン/秒

• 8ビット 必要とします 約512GBのRAM/VRAM

参照 397B量子化ベンチマーク で、Unsloth GGUFの性能を確認してください。

1

最新の llama.cpp を GitHubで入手できます。以下のビルド手順に従ってもかまいません。 -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。GPUがない場合、またはCPU推論だけを使いたい場合です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

もし llama.cpp を直接使ってモデルを読み込みたい場合は、以下のようにできます。(:Q4_K_M) は量子化タイプです。Hugging Face経由でもダウンロードできます（ポイント3）。これは ollama run に似ています。 export LLAMA_CACHE="folder" を使って llama.cpp 特定の場所に保存します。モデルの最大コンテキスト長は256Kであることを忘れないでください。

これに従って thinking モード：

export LLAMA_CACHE="unsloth/Qwen3.5-397B-A17B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.5-397B-A17B-GGUF:UD-Q4_K_XL \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

これに従って 非思考 モード：

export LLAMA_CACHE="unsloth/Qwen3.5-397B-A17B-GGUF"
./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-397B-A17B-GGUF:UD-Q4_K_XL \
    --temp 0.7 \
    --top-p 0.8 \
    --top-k 20 \
    --min-p 0.00 \
    --chat-template-kwargs '{"enable_thinking":false}'

3

モデルをダウンロードするには、（ pip install huggingface_hub hf_transfer ）。選べます MXFP4_MOE (動的4bit) または、次のような他の量子化版 UD-Q4_K_XL 。サイズと精度のバランスを取るため、少なくとも2ビットのダイナミック量子化を使うことを推奨します。 UD-Q2_K_XL ダウンロードが止まった場合は、以下を参照してください: Hugging Face Hub、XET のデバッグ

hf download unsloth/Qwen3.5-397B-A17B-GGUF \
    --local-dir unsloth/Qwen3.5-397B-A17B-GGUF \
    --include "*mmproj-F16*" \
    --include "*UD-Q4_K_XL" # Dynamic 2bitには"*UD-Q2_K_XL*"を使用

4

編集できます --threads 32 CPUスレッド数の --n-gpu-layers 2 GPUオフロードするレイヤー数の指定です。GPUがメモリ不足になる場合は調整してみてください。CPUのみで推論する場合はこれも削除してください。

./llama.cpp/llama-cli \
    --model unsloth/Qwen3.5-397B-A17B-GGUF/UD-Q4_K_XL/Qwen3.5-397B-A17B-UD-Q4_K_XL-00001-of-00006.gguf \
    --mmproj unsloth/Qwen3.5-397B-A17B-GGUF/mmproj-F16.gguf \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00

👾 LM Studioガイド

このガイドでは、次を使用します LM Studio。これはLLMを実行するための統合UIです。'💡Thinking'と'Non-thinking'の切り替えはデフォルトでは表示されない場合があるため、動作させるには追加手順が必要です。

1

ダウンロード LM Studio をお使いのデバイス向けに行ってください。その後、Model Searchを開き、'unsloth/qwen3.5'を検索して、希望するGGUF（量子化版）をダウンロードします。

2

Thinking切り替えの手順： ダウンロード後、ターミナル / PowerShellを開いて次を試してください： lms --help。その後、LM Studioが多くのコマンド付きで正常に表示されるなら、次を実行します：

lms get unsloth/qwen3.5-4b

これによりyamlファイルが取得され、GGUFに'💡Thinking'と'Non-thinking'の切り替えを表示できるようになります。 4b を希望する量子化版に変更できます。

それ以外の場合は、 LM Studioページ に行って、特定のyamlファイルをダウンロードできます。

3

LM Studioを再起動し、ダウンロードしたモデル（ダウンロードした特定のthinking切り替え付き）を読み込みます。これでThinking切り替えが有効になっているはずです。 正しいパラメータ.

🦙 Llama-serverの提供 & OpenAIのcompletionライブラリ

Qwen3.5-397B-A17Bを本番環境にデプロイするには、 llama-server を使用します。新しいターミナルで、tmux経由などで、次のようにモデルをデプロイします：

./llama.cpp/llama-server \
--model unsloth/Qwen3.5-35B-A3B-GGUF/Qwen3.5-35B-A3B-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Qwen3.5-35B-A3B-GGUF/mmproj-F16.gguf \
    --alias "unsloth/Qwen3.5-35B-A3B" \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --port 8001

その後、新しいターミナルで、 pip install openaiを実行してから、次のようにします：

from openai import OpenAI
import json
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/Qwen3.5-397B-A17B",
    messages = [{"role": "user", "content": "Snakeゲームを作成してください。"},],
)
print(completion.choices[0].message.content)

🤔 推論とthinkingの有効化・無効化方法

以下のコマンドでは、'true' と 'false' を同じように使えます。

Unsloth Studio thinkingモデル用の'Think'切り替えを自動的に持っています。

LM StudioでThink切り替えを使うには、 ガイドをお読みください.

Unsloth StudioにはデフォルトでThink切り替えがあります

〜するには 無効化するには thinking / reasoningを、llama-server内で使うには：

    --chat-template-kwargs '{"enable_thinking":false}'

もし Windows またはPowershellでは、次を使います： --chat-template-kwargs "{\"enable_thinking\":false}"

〜するには 有効化するには thinking / reasoningを、llama-server内で使うには：

    --chat-template-kwargs '{"enable_thinking":true}'

もし Windows またはPowershellでは、次を使います： --chat-template-kwargs "{\"enable_thinking\":true}"

Qwen3.5 0.8B、2B、4B、9Bでは、推論はデフォルトで無効です。有効にするには次を使ってください: --chat-template-kwargs '{"enable_thinking":true}'

また、WindowsまたはPowershellでは： --chat-template-kwargs "{\"enable_thinking\":true}"

例として、Qwen3.5-9Bでthinkingを有効にするには（デフォルトでは無効）：

./llama.cpp/llama-server \
    --model unsloth/Qwen3.5-9B-GGUF/Qwen3.5-9B-BF16.gguf \
    --alias "unsloth/Qwen3.5-9B-GGUF" \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --port 8001 \
    --chat-template-kwargs '{"enable_thinking":true}'

そしてPythonでは：

from openai import OpenAI
import json
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/Qwen3.5-9B-GGUF",
    messages = [{"role": "user", "content": "2+2は何ですか？"},],
)
print(completion.choices[0].message.content)
print(completion.choices[0].message.reasoning_content)

👨‍💻 OpenAI Codex & Claude Code

ローカルのコーディングエージェント的なワークロードでモデルを実行するには、 ガイドに従ってください。次の llama-server を先ほど設定したものを使い、モデル名を GET /v1/models で報告される正確なIDに設定します --alias の値（例： unsloth/Qwen3.5-9B-GGUF）です。正しいQwen3.5のパラメータと使用手順に従ってください。

Claude Code

OpenAI Codex

たとえばClaude Codeの手順に従うと、次のように表示されます：

それでは例えば チェス用のPythonゲームを作成してください :

🔨Qwen3.5でのツール呼び出し

参照 Tool Calling Guide ツール呼び出しの詳細については、こちらを参照してください。新しいターミナルで（tmuxを使っている場合はCTRL+B+D）、2つの数の加算、Pythonコードの実行、Linux関数の実行など、いくつかのツールを作成します：

import json, subprocess, random
from typing import Any
def add_number(a: float | str, b: float | str) -> float:
    return float(a) + float(b)
def multiply_number(a: float | str, b: float | str) -> float:
    return float(a) * float(b)
def subtract_number(a: float | str, b: float | str) -> float:
    return float(a) - float(b)
def write_a_story() -> str:
    return random.choice([
        "ずっと昔、はるか遠い銀河系で...",
        "スロースとコードを愛する2人の友人がいました...",
        "すべてのスロースが超人的知能を持つよう進化したため、世界は終わりつつありました...",
        "ある友人が知らないうちに、もう一人が誤ってスロースを進化させるプログラムを書いてしまいました...",
    ])
def terminal(command: str) -> str:
    if "rm" in command or "sudo" in command or "dd" in command or "chmod" in command:
        msg = "'rm, sudo, dd, chmod' コマンドは危険なので実行できません"
        print(msg); return msg
    print(f"ターミナルコマンド `{command}` を実行中")
    try:
        return str(subprocess.run(command, capture_output = True, text = True, shell = True, check = True).stdout)
    except subprocess.CalledProcessError as e:
        return f"コマンドに失敗しました: {e.stderr}"
def python(code: str) -> str:
    data = {}
    exec(code, data)
    del data["__builtins__"]
    return str(data)
MAP_FN = {
    "add_number": add_number,
    "multiply_number": multiply_number,
    "subtract_number": subtract_number,
    "write_a_story": write_a_story,
    "terminal": terminal,
    "python": python,
}
tools = [
    {
        "type": "function",
        "function": {
            "name": "add_number",
            "description": "2つの数を足します。",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "最初の数。",
                    },
                    "b": {
                        "type": "string",
                        "description": "2番目の数。",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "multiply_number",
            "description": "2つの数を掛け算します。",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "最初の数。",
                    },
                    "b": {
                        "type": "string",
                        "description": "2番目の数。",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "subtract_number",
            "description": "2つの数を引き算します。",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "最初の数。",
                    },
                    "b": {
                        "type": "string",
                        "description": "2番目の数。",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "write_a_story",
            "description": "ランダムな物語を書きます。",
            "parameters": {
                "type": "object",
                "properties": {},
                "required": [],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "terminal",
            "description": "ターミナルからの操作を実行します。",
            "parameters": {
                "type": "object",
                "properties": {
                    "command": {
                        "type": "string",
                        "description": "起動したいコマンド。例: `ls`, `rm`, ...",
                    },
                },
                "required": ["command"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "python",
            "description": "実行されるPythonコードを使ってPythonインタプリタを呼び出します。",
            "parameters": {
                "type": "object",
                "properties": {
                    "code": {
                        "type": "string",
                        "description": "実行するPythonコード",
                    },
                },
                "required": ["code"],
            },
        },
    },
]

その後、以下の関数を使います（コピーして貼り付けて実行）すると、関数呼び出しを自動的に解析し、任意のモデルに対してOpenAIエンドポイントを呼び出します：

from openai import OpenAI
def unsloth_inference(
    messages,
    temperature = 0.6,
    top_p = 0.95,
    top_k = 20,
    min_p = 0.00,
    repetition_penalty = 1.0,
):
    messages = messages.copy()
    openai_client = OpenAI(
        base_url = "http://127.0.0.1:8001/v1",
        api_key = "sk-no-key-required",
    )
    model_name = next(iter(openai_client.models.list())).id
    print(f"使用するモデル = {model_name}")
    has_tool_calls = True
    original_messages_len = len(messages)
    while has_tool_calls:
        print(f"現在のmessages = {messages}")
        response = openai_client.chat.completions.create(
            model = model_name,
            messages = messages,
            temperature = temperature,
            top_p = top_p,
            tools = tools if tools else None,
            tool_choice = "auto" if tools else None,
            extra_body = {"top_k": top_k, "min_p": min_p, "repetition_penalty" :repetition_penalty,}
        )
        tool_calls = response.choices[0].message.tool_calls or []
        content = response.choices[0].message.content or ""
        tool_calls_dict = [tc.to_dict() for tc in tool_calls] if tool_calls else tool_calls
        messages.append({"role": "assistant", "tool_calls": tool_calls_dict, "content": content,})
        for tool_call in tool_calls:
            fx, args, _id = tool_call.function.name, tool_call.function.arguments, tool_call.id
            out = MAP_FN[fx](**json.loads(args))
            messages.append({"role": "tool", "tool_call_id": _id, "name": fx, "content": str(out),})
        else:
            has_tool_calls = False
    return messages

Qwen3.5を llama-server のように起動した後、 Qwen3.5 または Tool Calling Guide を参照すると、さらに詳細がわかります。その後、いくつかのツール呼び出しができます。

📊 ベンチマーク

Unsloth GGUFベンチマーク

Qwen3.5-35B Unsloth Dynamic量子化版を更新しました SOTAであることが ほぼすべてのビットで確認されました。KL Divergenceベンチマークを150回以上実施し、合計で 9TBのGGUFを公開しました。研究成果物はすべてアップロード済みです。また、 ツール呼び出し チャットテンプレート の バグ（すべての量子化アップローダーに影響）

• すべてのGGUFが 改善された量子化 アルゴリズムで更新されました。

• すべてで 新しいimatrixデータを使用しています。チャット、コーディング、長文コンテキスト、ツール呼び出しのユースケースでいくつかの改善が見られます。

• Qwen3.5-35B-A3B GGUFは、新しい修正を使うよう更新されました（112B、27Bはまだ変換中です。更新後に再ダウンロードしてください）

• 99.9%のKL DivergenceはSOTAを示します UD-Q4_K_XL、IQ3_XXSなどでパレートフロンティア上にあります。

• MXFP4の廃止 を、純粋なMXFP4_MOEを除くすべてのGGUF量子化版：Q2_K_XL、Q3_K_XL、Q4_K_XLから行います。

35B-A3B - KLDベンチマーク（低いほど良い）

122B-A10B - KLDベンチマーク（低いほど良い）

詳細なQWEN3.5分析 + ベンチマークはこちら：

Qwen3.5 GGUFベンチマーク

Qwen3.5-397B-A17Bベンチマーク

Benjamin Marie（第三者）がベンチマークを実施 Qwen3.5-397B-A17B Unsloth GGUFを用いて 750プロンプトの混合セット （LiveCodeBench v6、MMLU Pro、GPQA、Math500）で、次の両方を報告： 全体精度 と 相対誤差増加 （量子化モデルが元モデルよりどれだけ多く間違えるか）。

主な結果（精度；元モデルとの差；相対誤差増加）：

• 元の重み： 81.3%

• UD-Q4_K_XL： 80.5% （−0.8ポイント；相対誤差増加 +4.3%）

• UD-Q3_K_XL： 80.7% （−0.6ポイント；相対誤差増加 +3.5%）

UD-Q4_K_XL と UD-Q3_K_XL は元のモデルに極めて近く、 精度低下は1ポイントを大きく下回ります このセットでは、Benが示唆するように、 メモリ使用量を大幅に削減し (約500GB少なく）、テストしたタスクでは実用上ほとんど損失がないか、あってもごくわずかです。

選び方： この規模では、ここでQ3がQ4をわずかに上回るのは通常の実行間のばらつきとして十分あり得るので、 Q3とQ4は実質的に同等の品質 として扱ってください：

• 選ぶべきなのは Q3 、もし 最小のフットプリント / 最大のメモリ節約

• 選ぶべきなのは Q4 、もし やや保守的な 選択肢で 同様の 結果が欲しいなら

記載されているすべての量子化版は、私たちの動的手法を利用しています。 UD-IQ2_M も同じ動的手法を使いますが、変換プロセスは UD-Q2-K-XL とは異なります。K-XLは通常、 UD-IQ2_M より大きいにもかかわらず、より高速なことが多いので、これが UD-IQ2_M が UD-Q2-K-XL.

公式Qwenベンチマーク

Qwen3.5-35B-A3B、27B、122B-A10Bのベンチマーク

Qwen3.5-4Bと9Bのベンチマーク

Qwen3.5-397B-A17Bベンチマーク