# Qwen3-VL: 実行ガイド Qwen3-VLは、Qwenの新しいビジョンモデルで、 **instruct（指示）** および **thinking（思考）** のバージョンがあります。2B、4B、8B、32Bモデルはデンス（密結合）で、30Bと235BはMoEです。235BのThinking LLMはGPT-5（高）やGemini 2.5 Proに匹敵する最先端のビジョンおよびコーディング性能を提供します。\ \ Qwen3-VLはビジョン、ビデオ、OCR機能を備え、256Kのコンテキスト（1Mまで拡張可能）を持ちます。\ \ [Unsloth](https://github.com/unslothai/unsloth) はサポートします **Qwen3-VLのファインチューニングと** [**RL**](https://unsloth.ai/docs/jp/meru/reinforcement-learning-rl-guide/vision-reinforcement-learning-vlm-rl)。当社の [ノートブック](#fine-tuning-qwen3-vl). Qwen3-VLの実行 Qwen3-VLのファインチューニング ## 🖥️ **Qwen3-VLの実行** llama.cpp、vLLM、Ollamaなどでモデルを実行するには、推奨設定は次のとおりです: ### :gear: 推奨設定 Qwenは両モデルに対してこれらの設定を推奨しています（InstructとThinkingで多少異なります）: | Instructの設定: | Thinkingの設定: | | ------------------------------------------------------------------------ | ------------------------------------------------------------------------ | | **Temperature = 0.7** | **Temperature = 1.0** | | **Top\_P = 0.8** | **Top\_P = 0.95** | | **presence\_penalty = 1.5** | **presence\_penalty = 0.0** | | 出力長 = 32768（最大256Kまで） | 出力長 = 40960（最大256Kまで） | | Top\_K = 20 | Top\_K = 20 | Qwen3-VLはベンチマーク数値のために下記の設定も使用しました（ [GitHubで](https://github.com/QwenLM/Qwen3-VL/tree/main?tab=readme-ov-file#generation-hyperparameters). {% columns %} {% column %} Instructの設定: ```bash export greedy='false' export seed=3407 export top_p=0.8 export top_k=20 export temperature=0.7 export repetition_penalty=1.0 export presence_penalty=1.5 export out_seq_length=32768 ``` {% endcolumn %} {% column %} Thinkingの設定: ```bash export greedy='false' export seed=1234 export top_p=0.95 export top_k=20 export temperature=1.0 export repetition_penalty=1.0 export presence_penalty=0.0 export out_seq_length=40960 ``` {% endcolumn %} {% endcolumns %} ### :bug:チャットテンプレートのバグ修正 Unslothでは正確さを最も重視しているため、Thinkingモデルを2回目のターンまで実行するとllama.cppが壊れる原因を調査しました。以下に示すように: {% columns %} {% column %}

{% endcolumn %} {% column %} エラーコード: ``` terminate called after throwing an instance of 'std::runtime_error' what(): Value is not callable: null at row 63, column 78: {%- if '' in content %} {%- set reasoning_content = ((content.split('')|first).rstrip('\n').split('')|last).lstrip('\n') %} ^ ``` {% endcolumn %} {% endcolumns %} VLモデル用のThinkingチャットテンプレートを正常に修正したため、すべてのThinkingクァントとUnslothのクァントを再アップロードしました。2回目の会話後も動作するはずです - **他のクァントは2回目の会話後にロードに失敗します。** ### **Qwen3-VL Unslothアップロード**: Qwen3-VLは2025年10月30日現在、llama.cppでGGUFがサポートされているため、ローカルで実行できます！ | 動的GGUF（実行用） | 4-bit BnB Unsloth Dynamic | 16-bit フル精度 | | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | |

| ### 📖 Llama.cpp: Qwen3-VL実行チュートリアル 1. 最新の `llama.cpp` を [こちらのGitHubで](https://github.com/ggml-org/llama.cpp)入手してください。以下のビルド手順に従うこともできます。変更するのは `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF` にして、GPUがない場合やCPU推論のみを行いたい場合はそのままにしてください。 **Apple Mac / Metalデバイスの場合**、次を設定し `-DGGML_CUDA=OFF` その後は通常通り続けてください - Metalサポートはデフォルトでオンです。 ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first cp llama.cpp/build/bin/llama-* llama.cpp ``` 2. **まずは画像を取得しましょう！** 画像もアップロードできます。ここではを使用します。これはUnslothでのファインチューニングがどのように行われるかを示すミニロゴです：

3. この画像をダウンロードしましょう {% code overflow="wrap" %} ```bash wget https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/images/unsloth%20made%20with%20love.png -O unsloth.png ``` {% endcode %} 4. 2枚目の画像をこちらから取得します

{% code overflow="wrap" %} ```bash wget https://files.worldwildlife.org/wwfcmsprod/images/Sloth_Sitting_iStock_3_12_2014/story_full_width/8l7pbjmj29_iStock_000011145477Large_mini__1_.jpg -O picture.png ``` {% endcode %} 5. それでは、llama.cppの自動モデルダウンロード機能を使って、8B Instructモデルで試してみましょう: ```bash ./llama.cpp/llama-mtmd-cli \ -hf unsloth/Qwen3-VL-8B-Instruct-GGUF:UD-Q4_K_XL \ --n-gpu-layers 99 \ --jinja \ --top-p 0.8 \ --top-k 20 \ --temp 0.7 \ --min-p 0.0 \ --flash-attn on \ --presence-penalty 1.5 \ --ctx-size 8192 ``` 6. 起動すると、下の画面が表示されます:

7. 画像を読み込むには次を使います `/image PATH` 例: `/image unsloth.png` その後ENTERを押します

8. ENTERを押すと「unsloth.png image loaded」と表示されます

9. では「この画像は何ですか？」のような質問をしてみましょう：

10. 次に2枚目の画像を読み込みます `/image picture.png` ENTERを押して「この画像は何ですか？」と尋ねてください

11. 最後に、両方の画像がどのように関連しているかを尋ねてみましょう（動作します！） {% code overflow="wrap" %} ``` この2枚の画像はどちらも中心被写体が【樹上性ナマケモノ（tree sloth）】であるため、直接的に関連しています。これは「made with unsloth」プロジェクトの中心的なテーマです。 - 最初の画像は「made with unsloth」プロジェクトの**公式ロゴ**です。緑の円の中にスタイライズされた漫画風の樹上性ナマケモノが描かれ、横に「made with unsloth」というテキストがあります。これはプロジェクトの視覚的アイデンティティです。 - 2枚目の画像は自然環境にいる実際の樹上性ナマケモノの**写真**です。この写真は動物の外見や野生での行動を捉えています。両画像の関係は、ロゴ（画像1）はプロジェクトを宣伝するためのデジタルな表現またはシンボルであり、写真（画像2）は実際の樹上性ナマケモノの現実世界での描写であるという点にあります。プロジェクトはロゴのキャラクターをアイコンやマスコットとして使用し、写真は樹上性ナマケモノが自然環境でどのように見えるかを示すために使われていると考えられます。 ``` {% endcode %}

12. モデルは次の方法でもダウンロードできます（先に `pip install huggingface_hub hf_transfer` をインストールしてください）HuggingFaceの `snapshot_download` は大きなモデルのダウンロードに便利です、 **llama.cppの自動ダウンローダーが遅延する可能性があるためです。** Q4\_K\_Mやその他の量子化バージョンを選択できます。 ```python # !pip install huggingface_hub hf_transfer import os os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1" from huggingface_hub import snapshot_download snapshot_download( repo_id = "unsloth/Qwen3-VL-8B-Instruct-GGUF", # または "unsloth/Qwen3-VL-8B-Thinking-GGUF" local_dir = "unsloth/Qwen3-VL-8B-Instruct-GGUF", # または "unsloth/Qwen3-VL-8B-Thinking-GGUF" allow_patterns = ["*UD-Q4_K_XL*", "*mmproj-F16*"], ) ``` 13. モデルを実行し、任意のプロンプトを試してください。 **Instructの場合:** ```bash ./llama.cpp/llama-mtmd-cli \ --model unsloth/Qwen3-VL-8B-Instruct-GGUF/Qwen3-VL-8B-Instruct-UD-Q4_K_XL.gguf \ --mmproj unsloth/Qwen3-VL-8B-Instruct-GGUF/mmproj-F16.gguf \ --n-gpu-layers 99 \ --jinja \ --top-p 0.8 \ --top-k 20 \ --temp 0.7 \ --min-p 0.0 \ --flash-attn on \ --presence-penalty 1.5 \ --ctx-size 8192 ``` 14. **Thinkingの場合**: ```bash ./llama.cpp/llama-mtmd-cli \ --model unsloth/Qwen3-VL-8B-Thinking-GGUF/Qwen3-VL-8B-Thinking-UD-Q4_K_XL.gguf \ --mmproj unsloth/Qwen3-VL-8B-Thinking-GGUF/mmproj-F16.gguf \ --n-gpu-layers 99 \ --jinja \ --top-p 0.95 \ --top-k 20 \ --temp 1.0 \ --min-p 0.0 \ --flash-attn on \ --presence-penalty 0.0 \ --ctx-size 8192 ``` ### :magic\_wand:Qwen3-VL-235B-A22BおよびQwen3-VL-30B-A3Bの実行 Qwen3-VL-235B-A22Bについては、最適化された推論のためにllama.cppを使用し、多数のオプションを利用します。 1. 上記と同様の手順に従いますが、今回はモデルが非常に大きいため追加の手順も必要です。 2. モデルをダウンロードします（先に `pip install huggingface_hub hf_transfer` をインストールしてください）。UD-Q2\_K\_XLやその他の量子化バージョンを選択できます。 ```python # !pip install huggingface_hub hf_transfer import os os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1" from huggingface_hub import snapshot_download snapshot_download( repo_id = "unsloth/Qwen3-VL-235B-A22B-Instruct-GGUF", local_dir = "unsloth/Qwen3-VL-235B-A22B-Instruct-GGUF", allow_patterns = ["*UD-Q2_K_XL*", "*mmproj-F16*"], ) ``` 3. モデルを実行してプロンプトを試してください。ThinkingとInstructで正しいパラメータを設定してください。 **Instruct:** {% code overflow="wrap" %} ```bash ./llama.cpp/llama-mtmd-cli \ --model unsloth/Qwen3-VL-235B-A22B-Instruct-GGUF/UD-Q2_K_XL/Qwen3-VL-235B-A22B-Instruct-UD-Q2_K_XL-00001-of-00002.gguf \ --mmproj unsloth/Qwen3-VL-235B-A22B-Instruct-GGUF/mmproj-F16.gguf --jinja \ --top-p 0.8 \ --top-k 20 \ --temp 0.7 \ --min-p 0.0 \ --flash-attn on \ --presence-penalty 1.5 \ --ctx-size 8192 \ ``` {% endcode %} **Thinking:** {% code overflow="wrap" %} ```bash ./llama.cpp/llama-mtmd-cli \ --model unsloth/Qwen3-VL-235B-A22B-Thinking-GGUF/UD-Q2_K_XL/Qwen3-VL-235B-A22B-Thinking-UD-Q2_K_XL-00001-of-00002.gguf \ --mmproj unsloth/Qwen3-VL-235B-A22B-Thinking-GGUF/mmproj-F16.gguf \ --n-gpu-layers 99 \ --jinja \ --top-p 0.95 \ --top-k 20 \ --temp 1.0 \ --min-p 0.0 \ --flash-attn on \ --presence-penalty 0.0 \ --ctx-size 8192 \ -ot ".ffn_.*_exps.=CPU" ``` {% endcode %} 4. 編集、 `--ctx-size 16384` コンテキスト長用、 `--n-gpu-layers 99` GPUオフロードするレイヤー数用です。GPUがメモリ不足になる場合は調整してください。CPUのみの推論の場合はこれを削除してください。 {% hint style="success" %} **次を使用してください `--fit on` は2025年12月15日に導入され、GPUとCPUの最大活用を目的としています。** オプションとして、次を使用して `-ot ".ffn_.*_exps.=CPU"` すべてのMoEレイヤーをCPUにオフロードできます！これにより非MoEレイヤーを1つのGPUに収められるようになり、生成速度が向上します。GPU容量が多い場合は正規表現をカスタマイズしてさらに多くのレイヤーを適合させることができます。 {% endhint %} ### 🐋 Docker: Qwen3-VLの実行既にDocker Desktopがある場合、Hugging FaceからUnslothのモデルを実行するには以下のコマンドを実行するだけです： ```bash docker model pull hf.co/unsloth/Qwen3-VL-8B-Instruct-GGUF:UD-Q4_K_XL ``` またはDockerにアップロードされたQwen3-VLモデルを実行できます： ```bash docker model run ai/qwen3-vl ``` ## 🦥 **Qwen3-VLのファインチューニング** Unslothは、より大きな32Bや235Bモデルを含むQwen3-VLのファインチューニングと強化学習（RL）をサポートします。これにはビデオや物体検出向けのファインチューニングサポートも含まれます。通常通り、UnslothはQwen3-VLモデルを1.7倍速く、VRAMを60%削減し、文脈長を8倍に延ばしつつ精度低下なしに訓練できるようにします。\ \ Colabで無料で訓練できるQwen3-VL（8B）トレーニングノートブックを2つ作成しました： * [通常のSFTファインチューニングノートブック](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_VL_\(8B\)-Vision.ipynb) * [GRPO/GSPO RLノートブック](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_VL_\(8B\)-Vision-GRPO.ipynb) {% hint style="success" %} **llama.cppがサポートしたため、Qwen3-VLをGGUFに保存することが現在可能です！** 他のQwen3-VLモデルを使用したい場合は、8Bモデルを2B、32Bなどに変更するだけです。 {% endhint %} GRPOノートブックの目的は、以下のような画像入力を与えてRLで視覚言語モデルに数学の問題を解かせることです:

このQwen3-VLサポートは、さらにメモリ効率が高く高速なRLのための最新アップデートも統合しており、その中には [スタンバイ機能](https://unsloth.ai/docs/jp/meru/reinforcement-learning-rl-guide/memory-efficient-rl#unsloth-standby)が含まれています。 [この実装は他のものと比較して速度低下を独自に制限します。視覚LLMをRLで訓練する方法の詳細は私たちの](https://unsloth.ai/docs/jp/meru/reinforcement-learning-rl-guide/vision-reinforcement-learning-vlm-rl). ### VLM GRPOガイドマルチ画像トレーニング ```python Qwen3-VLをマルチ画像でファインチューニングまたは訓練するために最も簡単な変更は、次の ds_converted = ds.map( ) ``` convert\_to\_conversation, ```python を次のように置き換えることです: ``` ds\_converted = \[convert\_to\_converation(sample) for sample in dataset]