コンテンツへスキップ
For the complete documentation index, see llms.txt. This page is also available as Markdown.

🌠Qwen3 - 実行とファインチューニングの方法

UnslothとDynamic 2.0量子化を使ってQwen3をローカルで実行・ファインチューニングする方法を学びましょう

Qwenの新しいQwen3モデルは、推論、指示追従、エージェント機能、マルチリンガル対応において最先端の進歩をもたらします。

すべてのアップロードは Unsloth の Dynamic 2.0 SOTAの5-shot MMLUとKLダイバージェンス性能を実現しており、量子化したQwen LLMを精度損失を最小限に抑えて実行・ファインチューニングできます。

また、ネイティブな128Kコンテキスト長を持つQwen3もアップロードしました。QwenはYaRNを使って元の40Kウィンドウを128Kまで拡張しています。

Unsloth も、今ではファインチューニングと 強化学習(RL) Qwen3およびQwen3 MOEモデルは—2倍高速で、VRAMを70%削減し、コンテキスト長は8倍長くなります。Qwen3 (14B) を無料でファインチューニングするには、当社の Colabノートブック。

Qwen3の実行チュートリアル Qwen3のファインチューニング

Qwen3 - Unsloth Dynamic 2.0 最適な設定で:

Dynamic 2.0 GGUF(実行用)
128KコンテキストGGUF
Dynamic 4-bit Safetensor(ファインチューニング/デプロイ用)

🖥️ Qwen3の実行

1秒あたり6トークン以上の推論速度を達成するには、利用可能なメモリが使用するモデルのサイズと同等以上であることを推奨します。たとえば、30GBの1ビット量子化モデルには少なくとも150GBのメモリが必要です。180GBのQ2_K_XL量子化モデルには少なくとも 180GBのユニファイドメモリ (VRAM + RAM)または 180GBのRAM が最適なパフォーマンスのために必要です。

注: モデルを 総メモリが少ない サイズより少ないメモリ(つまり、VRAM不足、RAM不足、または合計がそれより少ない状態)で実行することも可能です。ただし、その場合は推論速度が遅くなります。十分なメモリが必要なのは、スループットを最大化し、最速の推論時間を実現したい場合のみです。

⚙️ 公式推奨設定

Qwenによると、推論には以下の設定が推奨されています:

非思考モードの設定:
思考モードの設定:

Temperature = 0.7

Temperature = 0.6

Min_P = 0.0(任意ですが、0.01でもうまく機能します。llama.cppのデフォルトは0.1です)

Min_P = 0.0

Top_P = 0.8

Top_P = 0.95

TopK = 20

TopK = 20

チャットテンプレート/プロンプト形式:

思考モードと非思考モードの切り替え

Qwen3モデルには、推論力を高め応答品質を改善する組み込みの「思考モード」が搭載されています。これは、〜の仕組みに似ています QwQ-32B 動作しました。切り替え手順は使用する推論エンジンによって異なるため、正しい手順を使用してください。

llama.cpp と Ollama の手順:

追加できます /think そして /no_think をユーザープロンプトまたはシステムメッセージに追加すると、ターンごとにモデルの思考モードを切り替えられます。モデルはマルチターン会話では最新の指示に従います。

以下はマルチターン会話の例です:

transformers と vLLM の手順:

思考モード:

enable_thinking=True

デフォルトでは、Qwen3では思考が有効になっています。呼び出すときは tokenizer.apply_chat_template、あなたは 手動で何も設定する必要はありません。

思考モードでは、モデルは追加の <think>...</think> ブロックを最終回答の前に生成します。これにより、回答を「計画」し、洗練させることができます。

非思考モード:

enable_thinking=False

非思考を有効にすると、Qwen3は思考ステップをすべて省略し、通常のLLMのように動作します。

このモードでは最終回答を直接返します — no <think> ブロックも、思考の連鎖もありません。

🦙 Ollama: Qwen3実行チュートリアル

  1. インストール ollama まだの場合は!サイズが32Bまでのモデルしか実行できません。完全な235B-A22Bモデルを実行するには、 こちらを参照.

  1. モデルを実行してください!必要に応じて ollama serveを別のターミナルで呼び出せます。失敗した場合でも大丈夫です!私たちの修正と推奨パラメータ(temperature など)はすべて params として Hugging Face のアップロードに含めています!

  1. 思考を無効化するには、次を使用します(またはシステムプロンプトで設定できます):

📖 Llama.cpp: Qwen3実行チュートリアル

  1. 最新の llama.cpp を GitHubこちら。以下のビルド手順に従うこともできます。変更してください -DGGML_CUDA=ON を -DGGML_CUDA=OFF GPUがない場合、またはCPU推論のみを使いたい場合は。 Apple Mac / Metalデバイスの場合、次を設定します -DGGML_CUDA=OFF その後は通常どおり続けてください。Metalサポートはデフォルトで有効です。

  1. 以下をインストールした後、( pip install huggingface_hub hf_transfer )。Q4_K_M や他の量子化版を選べます。

  1. モデルを実行して、任意のプロンプトを試してください。

思考を無効化するには、次を使用します(またはシステムプロンプトで設定できます):

Qwen3-235B-A22Bの実行

Qwen3-235B-A22Bでは、最適化された推論と豊富なオプションのために、特にLlama.cppを使用します。

  1. 上と同様の手順に従いますが、今回はモデルが非常に大きいため、追加の手順も必要です。

  2. 以下をインストールした後、( pip install huggingface_hub hf_transfer )。UD-Q2_K_XL やその他の量子化版を選べます。

  3. モデルを実行して、任意のプロンプトを試してください。

  4. 編集 --threads 32 CPUスレッド数は --ctx-size 16384 コンテキスト長は --n-gpu-layers 99 GPUオフロードする層数です。GPUがメモリ不足になったら調整してみてください。CPUのみで推論する場合は削除してください。

🦥 UnslothでQwen3をファインチューニング

Unslothにより、Qwen3のファインチューニングは2倍高速になり、VRAM使用量は70%削減され、8倍長いコンテキスト長に対応します。Qwen3 (14B) はGoogle Colabの16GB VRAM Tesla T4 GPUに余裕で収まります。

Qwen3は推論ありと推論なしの両方をサポートしているため、推論なしのデータセットでファインチューニングできますが、その場合は推論能力に影響する可能性があります。推論能力を維持したい場合(任意)、直接回答とchain-of-thoughtの例を混ぜて使うことができます。使用する 推論75% そして 非推論25% をデータセットに含めて、モデルに推論能力を保持させてください。

当社のConversationalノートブックでは、NVIDIAのopen-math-reasoningデータセット75%とMaximeのFineTomeデータセット(推論なし)25%を組み合わせています。Qwen3をファインチューニングできる無料のUnsloth Colabノートブックはこちらです:

古いバージョンのUnslothを使っている場合、および/またはローカルでファインチューニングする場合は、最新バージョンのUnslothをインストールしてください:

Qwen3 MOEモデルのファインチューニング

ファインチューニング対応には、新しい2026年の より高速なMOE アップデート:30B-A3B と 235B-A22B。Qwen3-30B-A3B はUnslothでわずか17.5GBのVRAMで動作します。MoEのファインチューニングでは、ルーター層をファインチューニングするのはおそらく良くないため、デフォルトで無効化しています。

30B-A3B は17.5GBのVRAMに収まりますが、QLoRAファインチューニングのために完全な16ビットモデルをダウンロードしてその場で4ビットに変換する必要があるため、RAMやディスク容量が不足する場合があります。これは4-bit BnB MOEモデルを直接インポートする際の問題によるものです。これはMOEモデルにのみ影響します。

ノートブックガイド:

ノートブックを使うには、Runtime をクリックしてから Run all を選ぶだけです。ノートブック内の設定は好きなように変更できます。デフォルトでは自動的に設定してあります。Hugging Face 上のモデル名に合わせて、モデル名をお好みに変更してください。たとえば 'unsloth/Qwen3-8B' や 'unsloth/Qwen3-0.6B-unsloth-bnb-4bit' です。

他にも切り替えられる設定があります:

  • max_seq_length = 2048 – コンテキスト長を制御します。Qwen3は40960をサポートしていますが、テストでは2048を推奨します。Unslothは8倍長いコンテキストでのファインチューニングを可能にします。

  • load_in_4bit = True – 4ビット量子化を有効にし、16GB GPUでのファインチューニング時のメモリ使用量を4分の1に削減します。

  • 以下では フルファインチューニング - 設定 full_finetuning = True そして 8ビットファインチューニング - 設定 load_in_8bit = True

Unslothノートブックを使ったファインチューニングの方法を最初から最後まで解説した完全ガイドを読みたい場合や、単にファインチューニング、作成について学びたい場合は datasets などについては、こちらの 完全ガイドをご覧ください:

🧬Fine-tuning Guide📈データセットガイド

Qwen3でのGRPO

Qwen3をファインチューニングするための新しい高度なGRPOノートブックを作成しました。新しい近接ベースの報酬関数(より近い回答ほど報酬が高い)と、Hugging FaceのOpen-R1数学データセットの使い方を学べます。 Unslothでは評価も改善され、vLLMの最新バージョンを使用しています。

Qwen3(4B) ノートブック - 高度なGRPO LoRA

学べること:

  • Qwen3(Base)で推論を有効にし、特定のタスクを実行するよう導く

  • GRPOが書式を学習しがちな傾向を回避するための事前ファインチューニング

  • 新しい正規表現マッチングによる評価精度の向上

  • 'think' だけでなく、<start_working_out></end_working_out> などのカスタムGRPOテンプレート

  • 近接ベースのスコアリング:より良い回答ほど多くのポイントを獲得し(例:正解が10のときに9と予測するなど)、外れ値は減点されます

最終更新

役に立ちましたか?