🌠Qwen3-2507：ローカル実行ガイド

Qwen3-30B-A3B-2507と235B-A22BのThinking版およびInstruct版を、自分のデバイスでローカル実行しましょう！

Qwenは自社の Qwen3 4B、30B、235Bモデル向けに2507（2025年7月）アップデートを公開し、「思考あり」と「思考なし」の両方のバリアントを導入しました。思考なしの「Qwen3-30B-A3B-Instruct-2507' と 'Qwen3-235B-A22B-Instruct-2507' は256Kのコンテキストウィンドウ、指示追従の改善、多言語対応、アラインメントを備えています。

思考モデルの「Qwen3-30B-A3B-Thinking-2507' と 'Qwen3-235B-A22B-Thinking-2507」は推論に優れており、235Bは論理、数学、科学、コーディング、高度な学術タスクでSOTA結果を達成しています。

Unsloth また、ファインチューニングと強化学習（RL） Qwen3-2507モデルの — 2倍高速化、VRAM 70%削減、コンテキスト長8倍延長

30B-A3Bを実行 235B-A22Bを実行 Qwen3-2507をファインチューニング

Unsloth Dynamic 2.0 GGUF:

モデル

実行用GGUF:

Qwen3-4B-2507

Instruct • Thinking

Qwen3-30B-A3B-2507

Instruct • Thinking

Qwen3-235B-A22B-2507

Instruct • Thinking

⚙️ベストプラクティス

ThinkingモデルとInstructモデルでは設定が異なります。 Thinkingモデルではtemperature = 0.6ですが、Instructモデルではtemperature = 0.7です Thinkingモデルではtop_p = 0.95ですが、Instructモデルではtop_p = 0.8です

最適な性能を得るために、Qwenは以下の設定を推奨します:

Instructモデル設定:

Thinkingモデル設定:

Temperature = 0.7

Temperature = 0.6

Min_P = 0.00 （llama.cppのデフォルトは0.1です）

Top_P = 0.80

Top_P = 0.95

TopK = 20

presence_penalty = 0.0 ～ 2.0 （llama.cppのデフォルトでは無効ですが、繰り返しを減らすためにこれを使えます）

十分な出力長: ほとんどのクエリでは、出力長を 32,768 トークンにするとよく、ほとんどのクエリには十分です。

両方のThinking向けのチャットテンプレート（thinkingには <think></think>）とInstructは以下のとおりです:

<|im_start|>user
やあ！<|im_end|>
<|im_start|>assistant
1+1はいくつ？<|im_end|>
<|im_start|>user
2<|im_end|>
<|im_start|>assistant

📖 Qwen3-30B-A3B-2507 チュートリアルを実行

以下は Thinking および Instruct モデルの各バージョン向けガイドです。

Instruct: Qwen3-30B-A3B-Instruct-2507

これは思考しないモデルなので、 thinking=False を設定する必要はなく、モデルは <think> </think> ブロックを生成しません。

⚙️ベストプラクティス

最適な性能を得るために、Qwenは次の設定を推奨します:

次を使うことを推奨します temperature=0.7, top_p=0.8, top_k=20, min_p=0.0 presence_penalty を0〜2の間で、フレームワークが対応しているなら、際限のない繰り返しを減らすために設定します。
temperature = 0.7
top_k = 20
min_p = 0.00 （llama.cppのデフォルトは0.1です）
top_p = 0.80
presence_penalty = 0.0 ～ 2.0 （llama.cppのデフォルトでは無効ですが、繰り返しを減らすためにこれを使えます）たとえば1.0を試してください。
最大で 262,144 コンテキストまでネイティブに対応していますが、 32,768 トークンに設定するとRAM使用量を抑えられます

🦙 Ollama: Qwen3-30B-A3B-Instruct-2507 チュートリアルを実行

インストール ollama まだなら！実行できるのは32Bまでのモデルのみです。

apt-get update
apt-get install pciutils -y
curl -fsSL https://ollama.com/install.sh | sh

モデルを実行しましょう！失敗した場合は別の端末で ollama serveを呼び出せます！私たちの修正と推奨パラメータ（temperatureなど）はすべて params に含めて Hugging Face にアップロードしています！

ollama run hf.co/unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:UD-Q4_K_XL

✨ Llama.cpp: Qwen3-30B-A3B-Instruct-2507 チュートリアルを実行

最新の llama.cpp オン GitHub はこちらで入手してください。以下のビルド手順に従っても構いません。変更してください -DGGML_CUDA=ON を -DGGML_CUDA=OFF GPU がない場合、または CPU 推論だけを使いたい場合。 Apple Mac / Metal デバイスの場合、次のように設定し -DGGML_CUDA=OFF その後は通常どおり続けてください。Metal サポートはデフォルトで有効です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

HuggingFaceから直接取得できます:

./llama.cpp/llama-cli \
    -hf unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:Q4_K_XL \
    --jinja -ngl 99 --ctx-size 32768 \
    --temp 0.7 --min-p 0.0 --top-p 0.80 --top-k 20 --presence-penalty 1.0

以下をインストールした後、経由でモデルをダウンロード: pip install huggingface_hub hf_transfer ）。UD_Q4_K_XLまたは他の量子化版を選べます。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF",
    local_dir = "unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

Thinking: Qwen3-30B-A3B-Thinking-2507

このモデルは思考モードと256Kコンテキストウィンドウのみにネイティブ対応しています。デフォルトのチャットテンプレートは <think> を自動的に追加するため、出力には閉じタグの </think> のみが見えることがあります。

⚙️ベストプラクティス

最適な性能を得るために、Qwenは次の設定を推奨します:

次を使うことを推奨します temperature=0.6, top_p=0.95, top_k=20, min_p=0.0 presence_penalty を0〜2の間で、フレームワークが対応しているなら、際限のない繰り返しを減らすために設定します。
temperature = 0.6
top_k = 20
min_p = 0.00 （llama.cppのデフォルトは0.1です）
top_p = 0.95
presence_penalty = 0.0 ～ 2.0 （llama.cppのデフォルトでは無効ですが、繰り返しを減らすためにこれを使えます）たとえば1.0を試してください。
最大で 262,144 コンテキストまでネイティブに対応していますが、 32,768 トークンに設定するとRAM使用量を抑えられます

🦙 Ollama: Qwen3-30B-A3B-Instruct-2507 チュートリアルを実行

インストール ollama まだなら！実行できるのは32Bまでのモデルのみです。235B-A22Bのフルモデルを実行するには、こちらを参照.

apt-get update
apt-get install pciutils -y
curl -fsSL https://ollama.com/install.sh | sh

モデルを実行しましょう！失敗した場合は別の端末で ollama serveを呼び出せます！私たちの修正と推奨パラメータ（temperatureなど）はすべて params に含めて Hugging Face にアップロードしています！

ollama run hf.co/unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF:UD-Q4_K_XL

✨ Llama.cpp: Qwen3-30B-A3B-Instruct-2507 チュートリアルを実行

最新の llama.cpp オン GitHub はこちらで入手してください。以下のビルド手順に従っても構いません。変更してください -DGGML_CUDA=ON を -DGGML_CUDA=OFF GPU がない場合、または CPU 推論だけを使いたい場合。 Apple Mac / Metal デバイスの場合、次のように設定し -DGGML_CUDA=OFF その後は通常どおり続けてください。Metal サポートはデフォルトで有効です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

Hugging Faceから直接取得できます:

./llama.cpp/llama-cli \
    -hf unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF:Q4_K_XL \
    --jinja -ngl 99 --ctx-size 32768 \
    --temp 0.6 --min-p 0.0 --top-p 0.95 --top-k 20 --presence-penalty 1.0

以下をインストールした後、経由でモデルをダウンロード: pip install huggingface_hub hf_transfer ）。UD_Q4_K_XLまたは他の量子化版を選べます。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF",
    local_dir = "unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

📖 実行 Qwen3-235B-A22B-2507 チュートリアル

以下は Thinking および Instruct モデルの各バージョン向けガイドです。

Thinking: Qwen3-235B-A22B-Thinking-2507

⚙️ ベストプラクティス

最適な性能を得るために、QwenはThinkingモデル向けに次の設定を推奨します:

temperature = 0.6
top_k = 20
min_p = 0.00 （llama.cppのデフォルトは0.1です）
top_p = 0.95
presence_penalty = 0.0 ～ 2.0 （llama.cppのデフォルトでは無効ですが、繰り返しを減らすためにこれを使えます）たとえば1.0を試してください。
十分な出力長: ほとんどのクエリでは、出力長を 32,768 トークンにするとよく、ほとんどのクエリには十分です。

✨llama.cppでQwen3-235B-A22B-Thinkingを実行:

Qwen3-235B-A22Bでは、最適化された推論と豊富なオプションのために、特にLlama.cppを使用します。

もし 完全精度の未量子化版が欲しいなら、私たちの Q8_K_XL、Q8_0 または BF16 版を使ってください！

最新の llama.cpp オン GitHub はこちらで入手してください。以下のビルド手順に従っても構いません。変更してください -DGGML_CUDA=ON を -DGGML_CUDA=OFF GPU がない場合、または CPU 推論だけを使いたい場合。 Apple Mac / Metal デバイスの場合、次のように設定し -DGGML_CUDA=OFF その後は通常どおり続けてください。Metal サポートはデフォルトで有効です。
```
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

llama.cppを直接使ってモデルをダウンロードすることもできますが、通常は huggingface_hub を使うことを推奨します。

./llama.cpp/llama-cli \
    llama.cppを直接使うには、次を実行してください:
    --ctx-size 16384 \\
    --n-gpu-layers 99 \
    -hf unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF:Q2_K_XL \
    --temp 0.6 \\
    -ot ".ffn_.*_exps.=CPU" \
    --top-p 0.95 \
    --top-k 20 \\
    --min-p 0.0 \

以下をインストールした後、経由でモデルをダウンロード: pip install huggingface_hub hf_transfer --presence-penalty 1.0

# !pip install huggingface_hub hf_transfer
import os
）。UD-Q2_K_XLや他の量子化版を選べます。
from huggingface_hub import snapshot_download
snapshot_download(
    os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0" # 速度制限されることがあるため、無効化するには0に設定
    repo_id = "unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF",
    local_dir = "unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF",
)

モデルを実行して、任意のプロンプトを試してください。
編集 --threads -1 CPUスレッド数用の --ctx-size コンテキスト長262114用、 --n-gpu-layers 99 GPUオフロードのレイヤー数用です。GPUのメモリ不足になる場合は調整してみてください。また、CPUのみ推論の場合は削除してください。

を使って -ot ".ffn_.*_exps.=CPU" で、すべてのMoE層をCPUにオフロードします！これにより、非MoE層をすべて1枚のGPUに収められ、生成速度が向上します。GPU容量がもっとある場合は、正規表現をカスタマイズしてより多くの層を収めることができます。

./llama.cpp/llama-cli \
    --model unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF/UD-Q2_K_XL/Qwen3-235B-A22B-Thinking-2507-UD-Q2_K_XL-00001-of-00002.gguf \
    --ctx-size 16384 \\
    --n-gpu-layers 99 \
    -hf unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF:Q2_K_XL \
    --seed 3407 \
    --temp 0.6 \\
    -ot ".ffn_.*_exps.=CPU" \
    --top-p 0.95 \
    --top-k 20
    --min-p 0.0 \

Instruct: Qwen3-235B-A22B-Instruct-2507

これは思考しないモデルなので、 thinking=False を設定する必要はなく、モデルは <think> </think> ブロックを生成しません。

⚙️ベストプラクティス

最適な性能を得るために、以下の設定を推奨します:

1. サンプリングパラメータ: 次を使うことを推奨します temperature=0.7, top_p=0.8, top_k=20, min_p=0. presence_penalty を0〜2の間で、フレームワークが対応しているなら、際限のない繰り返しを減らすために設定します。

2. 十分な出力長: ほとんどのクエリでは、出力長を 16,384 トークンにするとよく、Instructモデルには十分です。

3. 出力形式の標準化: ベンチマーク時には、モデル出力を標準化するためにプロンプトを使うことを推奨します。

数学問題: 含めてください 段階的に推論し、最終回答を\boxed{}の中に入れてください。 をプロンプトに入れてください。
多肢選択問題: 回答を標準化するため、次のJSON構造をプロンプトに追加してください: 「`answer`フィールドに、選択肢の文字だけを使って選択を示してください。例: `"answer": "C"。

✨llama.cppでQwen3-235B-A22B-Instructを実行:

Qwen3-235B-A22Bでは、最適化された推論と豊富なオプションのために、特にLlama.cppを使用します。

もし 完全精度の未量子化版が欲しいなら、私たちの Q8_K_XL、Q8_0 または BF16 版を使ってください！

最新のllama.cppを GitHub で取得してください。以下のビルド手順に従うこともできます。変更してください -DGGML_CUDA=ON を -DGGML_CUDA=OFF GPU がない場合、または CPU 推論だけを使いたい場合。 Apple Mac / Metal デバイスの場合、次のように設定し -DGGML_CUDA=OFF その後は通常どおり続けてください。Metal サポートはデフォルトで有効です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2. llama.cppを直接使ってモデルをダウンロードすることもできますが、通常は huggingface_hub llama.cppを直接使うには、次を実行してください:\

./llama.cpp/llama-cli \
    -hf unsloth/Qwen3-235B-A22B-Instruct-2507-GGUF:Q2_K_XL \
    --ctx-size 16384 \\
    --n-gpu-layers 99 \
    -hf unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF:Q2_K_XL \
    --temp 0.7 \\
    -ot ".ffn_.*_exps.=CPU" \
    --top-p 0.8 \\
    --top-k 20 \\
    --repeat-penalty 1.0

3. 以下をインストールした後、経由でモデルをダウンロードしてください pip install huggingface_hub hf_transfer --presence-penalty 1.0

# !pip install huggingface_hub hf_transfer
import os
）。UD-Q2_K_XLや他の量子化版を選べます。
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Qwen3-235B-A22B-Instruct-2507-GGUF",
    local_dir = "unsloth/Qwen3-235B-A22B-Instruct-2507-GGUF",
    local_dir = "unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF",
)

4. モデルを実行して、任意のプロンプトを試してください。5. 編集 --threads -1 CPUスレッド数用の --ctx-size コンテキスト長262114用、 --n-gpu-layers 99 GPUオフロードのレイヤー数用です。GPUのメモリ不足になる場合は調整してみてください。また、CPUのみ推論の場合は削除してください。

./llama.cpp/llama-cli \
    --model unsloth/Qwen3-235B-A22B-Instruct-2507-GGUF/UD-Q2_K_XL/Qwen3-235B-A22B-Instruct-2507-UD-Q2_K_XL-00001-of-00002.gguf \
    --ctx-size 16384 \\
    --n-gpu-layers 99 \
    -hf unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF:Q2_K_XL \
    --temp 0.7 \\
    -ot ".ffn_.*_exps.=CPU" \
    --top-p 0.8 \\
    --top-k 20

🛠️ 生成速度の改善

VRAMに余裕があれば、より多くのMoE層をオフロードするか、層全体をオフロードしてみてください。

通常は、 -ot ".ffn_.*_exps.=CPU" すべてのMoE層をCPUにオフロードします！これにより、非MoE層をすべて1枚のGPUに収められ、生成速度が向上します。GPU容量がもっとある場合は、正規表現をカスタマイズしてより多くの層を収めることができます。

GPUメモリがもう少しあるなら、次を試してください -ot ".ffn_(up|down)_exps.=CPU" これは上方向・下方向の投影MoE層をオフロードします。

次を試してください -ot ".ffn_(up)_exps.=CPU" GPUメモリがさらにある場合。これは上方向投影のMoE層だけをオフロードします。

正規表現をカスタマイズすることもできます。たとえば -ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU" は、6層目以降のゲート、上方向、下方向のMoE層をオフロードすることを意味します。

この最新のllama.cppリリースはも高スループットモードを導入しています。 llama-parallelを使用してください。詳細はこちら。また、 KVキャッシュを4ビットに量子化することもできます たとえばVRAM/RAMの移動を減らすことで、生成処理を高速化できます。次のセクションではKVキャッシュ量子化について説明します。

📐長いコンテキストを収める方法

より長いコンテキストを収めるには、 KV キャッシュ量子化 を使ってKとVのキャッシュをより低いビットに量子化できます。これにより、RAM/VRAM間のデータ移動が減るため生成速度も向上します。K量子化の許可オプション（デフォルトは f16）には以下が含まれます。

--cache-type-k f32, f16, bf16, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1

やや精度を上げるには、 _1 版を使うべきです。少し遅くはなりますが。例えば q4_1, q5_1 ですので、次を試してください --cache-type-k q4_1

Vキャッシュも量子化できますが、 Flash Attention対応でllama.cppをコンパイルする 必要があります。 -DGGML_CUDA_FA_ALL_QUANTS=ON、そして --flash-attn を通じて有効化してください。Flash Attentionをインストールした後は、次を使えます --cache-type-v q4_1

🦥 UnslothでQwen3-2507をファインチューニング

Unslothは Qwen3 Qwen3-2507のファインチューニングを2倍高速化し、VRAM使用量を70%削減し、8倍長いコンテキスト長をサポートします。Qwen3-2507は30Bバリアントのみのリリースだったため、QLoRA（4ビット）でモデルをファインチューニングするには約40GBのA100 GPUが必要になります。

ノートブックの場合、Colabの無料16GB GPUにはモデルが収まらないため、40GBのA100を使う必要があります。会話用ノートブックを利用できますが、データセットは自分のものに置き換えてください。今回はモデルに推論能力がないため、データセットに推論を組み込む必要はありません。

Qwen3 (14B) Reasoning + Conversational ノートブック

古いバージョンの Unsloth を使っている場合やローカルでファインチューニングしている場合は、最新バージョンの Unsloth をインストールしてください:

pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo

Qwen3-2507 MOEモデルのファインチューニング

ファインチューニングのサポートにはMOEモデル: 30B-A3Bと235B-A22Bが含まれます。Qwen3-30B-A3BはUnslothで30GB VRAMで動作します。MoEのファインチューニングでは、ルーター層をファインチューニングするのはおそらく良い考えではないため、デフォルトで無効化しています。

Qwen3-2507-4B ノートブック: Thinking および Instruct

30B-A3Bは30GB VRAMに収まりますが、QLoRAファインチューニング用に16ビットの完全なモデルをダウンロードしてその場で4ビットに変換する必要があるため、RAMまたはディスク容量が不足する可能性があります。これは4ビットBnB MOEモデルを直接インポートする際の問題によるものです。これはMOEモデルのみに影響します。

MOEモデルをファインチューニングする場合は、 FastModel を使ってください、 FastLanguageModel

from unsloth import FastModel
import torch
model, tokenizer = FastModel.from_pretrained(
    model_name = "unsloth/Qwen3-30B-A3B-Instruct-2507",
    max_seq_length = 2048, # 長いコンテキストなら任意で選択！
    load_in_4bit = True,  # メモリ削減のための 4 ビット量子化
    load_in_8bit = False, # [NEW!] 少し正確で、2倍のメモリを使います
    full_finetuning = False, # [新機能!] 完全ファインチューニングに対応しました!
    # token = "hf_...", # ゲート付きモデルを使う場合はこれを使用
)

前へQwen3-VL 次へMiniMax-M2.7

最終更新 3 か月前

役に立ちましたか？