🌠Qwen3-Next：ローカル実行ガイド

Qwen3-Next-80B-A3B-Instruct と Thinking 版をデバイスでローカル実行しましょう！

Qwenは2025年9月にQwen3-Nextをリリースしました。これは、ThinkingおよびInstructモデルのバリアントを持つ80B MoEで、 Qwen3です。256Kのコンテキストを備え、Qwen3-Nextはまったく新しいアーキテクチャ（MoEとGated DeltaNet + Gated Attentionのハイブリッド）で設計されており、特に長いコンテキスト長での高速推論に最適化されています。Qwen3-NextはQwen3-32Bより10倍高速に推論できます。

Qwen3-Next Instruct を実行 Qwen3-Next Thinking を実行

Qwen3-Next-80B-A3B Dynamic GGUF: Instruct • Thinking

⚙️ 使用ガイド

2025年12月6日時点の新情報: Unsloth Qwen3-Next が iMatrix 対応で更新され、性能が向上しました。

thinkingモデルは temperature = 0.6を使用しますが、instructモデルは temperature = 0.7 thinkingモデルは top_p = 0.95を使用しますが、instructモデルは top_p = 0.8

を使用します。最適な性能を得るために、Qwenは以下の設定を推奨しています:

Instruct:

Thinking:

Temperature = 0.7

Temperature = 0.6

Min_P = 0.00 (llama.cppのデフォルトは0.1です)

Top_P = 0.80

Top_P = 0.95

TopK = 20

presence_penalty = 0.0 から 2.0 (llama.cppのデフォルトでは無効ですが、反復を減らすためにこれを使えます)

適切な出力長: 出力長を 32,768 トークンに設定してください。thinkingバリアントの多くのクエリでは、 16,384 instructバリアントではこれを使用します。必要に応じて、thinkingモデルの最大出力サイズを増やせます。

両方のThinking用チャットテンプレート（thinkingには <think></think>があります）とInstruct用は以下のとおりです:

<|im_start|>user
やあ！<|im_end|>
<|im_start|>assistant
1+1は？<|im_end|>
<|im_start|>user
2<|im_end|>
<|im_start|>assistant

📖 Qwen3-Nextチュートリアルを実行

以下は Thinking および Instruct モデルのバージョンに関するガイドです。

Instruct: Qwen3-Next-80B-A3B-Instruct

これは非thinkingモデルであるため、モデルは <think> </think> ブロックを生成しません。

⚙️ベストプラクティス

最適な性能を得るために、Qwenは以下の設定を推奨しています:

次の使用を推奨します temperature=0.7, top_p=0.8, top_k=20, min_p=0.0 presence_penalty を0から2の間に設定します。フレームワークが対応している場合、延々と繰り返すのを減らすためです。
temperature = 0.7
top_k = 20
min_p = 0.00 (llama.cppのデフォルトは0.1です)
top_p = 0.80
presence_penalty = 0.0 から 2.0 (llama.cppのデフォルトでは無効ですが、反復を減らすためにこれを使えます) たとえば1.0を試してください。
最大 262,144 のコンテキストをネイティブにサポートしますが、 32,768 トークンに設定するとRAM使用量を減らせます

✨ Llama.cpp: Qwen3-Next-80B-A3B-Instruct チュートリアルを実行

最新の llama.cpp を GitHub こちらから取得してください。以下のビルド手順に従うこともできます。 -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。GPU がない場合、または CPU 推論だけを使いたい場合です。 Apple Mac / Metal デバイスの場合、次を設定して -DGGML_CUDA=OFF その後は通常どおり続けてください - Metal サポートは既定で有効です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

HuggingFace から次の方法で直接取得できます:

./llama.cpp/llama-cli \\
    -hf unsloth/Qwen3-Next-80B-A3B-Instruct-GGUF:Q4_K_XL \\
    --jinja -ngl 99 --ctx-size 32768 \\
    --temp 0.7 --min-p 0.0 --top-p 0.80 --top-k 20 --presence-penalty 1.0

モデルのダウンロード（ pip install huggingface_hub hf_transfer のインストール後）。 UD_Q4_K_XL または他の量子化版を選べます。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Qwen3-Next-80B-A3B-Instruct-GGUF",
    local_dir = "Qwen3-Next-80B-A3B-Instruct-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

Thinking: Qwen3-Next-80B-A3B-Thinking

このモデルはthinkingモードと256Kのコンテキストウィンドウのみをネイティブにサポートします。デフォルトのチャットテンプレートは <think> を自動的に追加するため、出力には閉じの </think> タグだけが表示されることがあります。

⚙️ベストプラクティス

最適な性能を得るために、Qwenは以下の設定を推奨しています:

次の使用を推奨します temperature=0.6, top_p=0.95, top_k=20, min_p=0.0 presence_penalty を0から2の間に設定します。フレームワークが対応している場合、延々と繰り返すのを減らすためです。
temperature = 0.6
top_k = 20
min_p = 0.00 (llama.cppのデフォルトは0.1です)
top_p = 0.95
presence_penalty = 0.0 から 2.0 (llama.cppのデフォルトでは無効ですが、反復を減らすためにこれを使えます) たとえば1.0を試してください。
最大 262,144 のコンテキストをネイティブにサポートしますが、 32,768 トークンに設定するとRAM使用量を減らせます

✨ Llama.cpp: Qwen3-Next-80B-A3B-Thinking チュートリアルを実行

最新の llama.cpp を GitHub こちらから取得してください。以下のビルド手順に従うこともできます。 -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。GPU がない場合、または CPU 推論だけを使いたい場合です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

Hugging Faceから直接次の方法で取得できます:

./llama.cpp/llama-cli \\
    -hf unsloth/Qwen3-Next-80B-A3B-Thinking-GGUF:Q4_K_XL \\
    --jinja -ngl 99 --ctx-size 32768 \\
    --temp 0.6 --min-p 0.0 --top-p 0.95 --top-k 20 --presence-penalty 1.0

モデルのダウンロード（ pip install huggingface_hub hf_transfer のインストール後）。 UD_Q4_K_XL または他の量子化版を選べます。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Qwen3-Next-80B-A3B-Thinking-GGUF",
    local_dir = "Qwen3-Next-80B-A3B-Thinking-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

🛠️ 生成速度の改善

VRAM がさらにある場合は、より多くの MoE レイヤーをオフロードするか、レイヤー全体をオフロードすることができます。

通常、 -ot ".ffn_.*_exps.=CPU" すべての MoE レイヤーを CPU にオフロードします！これにより、非 MoE レイヤーを 1 枚の GPU に収められるようになり、生成速度が向上します。GPU 容量がさらにある場合は、正規表現を調整してより多くのレイヤーを収めることができます。

GPU メモリがもう少し多い場合は、試してみてください -ot ".ffn_(up|down)_exps.=CPU" これにより、アップ投影とダウン投影の MoE レイヤーがオフロードされます。

試してみてください -ot ".ffn_(up)_exps.=CPU" GPU メモリがさらに多い場合は、これを使ってください。これにより、アップ投影の MoE レイヤーのみがオフロードされます。

これは最も少ない VRAM を使用します。 正規表現をカスタマイズすることもできます。例えば -ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU"

最新の llama.cppリリースでは高スループットモードも導入されています。 llama-parallel。詳細はこちら。また KV キャッシュを 4bit に量子化することもできます を使うと、VRAM / RAM間の移動を減らせるため、生成処理も高速化できます。次のセクションではKVキャッシュ量子化について説明します。

📐長いコンテキストを収める方法

より長いコンテキストを収めるには、 KV キャッシュ量子化 を使って K と V のキャッシュをより低いビットに量子化できます。これにより、RAM / VRAM のデータ移動が減るため、生成速度も向上します。K の量子化で許可されるオプション（デフォルトは f16）は以下を含みます。

--cache-type-k f32, f16, bf16, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1

多少の精度向上のために _1 版を使うべきですが、少し遅くなります。例： q4_1, q5_1 なので --cache-type-k q4_1

V キャッシュも量子化できますが、 Flash Attention サポート付きで llama.cpp をコンパイルする必要があります を -DGGML_CUDA_FA_ALL_QUANTS=ONで有効化し、 --flash-attn を試して有効化してください。Flash Attentionをインストールした後は、次を使用できます --cache-type-v q4_1

前へKimi K2 Thinking 次へFunctionGemma

最終更新 2 か月前

役に立ちましたか？