🌠Qwen3 - 実行とファインチューニングの方法
UnslothとDynamic 2.0量子化を使ってQwen3をローカルで実行・ファインチューニングする方法を学びましょう
Qwenの新しいQwen3モデルは、推論、指示追従、エージェント機能、マルチリンガル対応において最先端の進歩をもたらします。
すべてのアップロードは Unsloth の Dynamic 2.0 SOTAの5-shot MMLUとKLダイバージェンス性能を実現しており、量子化したQwen LLMを精度損失を最小限に抑えて実行・ファインチューニングできます。
また、ネイティブな128Kコンテキスト長を持つQwen3もアップロードしました。QwenはYaRNを使って元の40Kウィンドウを128Kまで拡張しています。
Unsloth も、今ではファインチューニングと 強化学習(RL) Qwen3およびQwen3 MOEモデルは—2倍高速で、VRAMを70%削減し、コンテキスト長は8倍長くなります。Qwen3 (14B) を無料でファインチューニングするには、当社の Colabノートブック。
Qwen3 - Unsloth Dynamic 2.0 最適な設定で:
🖥️ Qwen3の実行
1秒あたり6トークン以上の推論速度を達成するには、利用可能なメモリが使用するモデルのサイズと同等以上であることを推奨します。たとえば、30GBの1ビット量子化モデルには少なくとも150GBのメモリが必要です。180GBのQ2_K_XL量子化モデルには少なくとも 180GBのユニファイドメモリ (VRAM + RAM)または 180GBのRAM が最適なパフォーマンスのために必要です。
注: モデルを 総メモリが少ない サイズより少ないメモリ(つまり、VRAM不足、RAM不足、または合計がそれより少ない状態)で実行することも可能です。ただし、その場合は推論速度が遅くなります。十分なメモリが必要なのは、スループットを最大化し、最速の推論時間を実現したい場合のみです。
⚙️ 公式推奨設定
Qwenによると、推論には以下の設定が推奨されています:
Temperature = 0.7
Temperature = 0.6
Min_P = 0.0(任意ですが、0.01でもうまく機能します。llama.cppのデフォルトは0.1です)
Min_P = 0.0
Top_P = 0.8
Top_P = 0.95
TopK = 20
TopK = 20
チャットテンプレート/プロンプト形式:
思考モードと非思考モードの切り替え
Qwen3モデルには、推論力を高め応答品質を改善する組み込みの「思考モード」が搭載されています。これは、〜の仕組みに似ています QwQ-32B 動作しました。切り替え手順は使用する推論エンジンによって異なるため、正しい手順を使用してください。
llama.cpp と Ollama の手順:
追加できます /think そして /no_think をユーザープロンプトまたはシステムメッセージに追加すると、ターンごとにモデルの思考モードを切り替えられます。モデルはマルチターン会話では最新の指示に従います。
以下はマルチターン会話の例です:
transformers と vLLM の手順:
思考モード:
enable_thinking=True
デフォルトでは、Qwen3では思考が有効になっています。呼び出すときは tokenizer.apply_chat_template、あなたは 手動で何も設定する必要はありません。
思考モードでは、モデルは追加の <think>...</think> ブロックを最終回答の前に生成します。これにより、回答を「計画」し、洗練させることができます。
非思考モード:
enable_thinking=False
非思考を有効にすると、Qwen3は思考ステップをすべて省略し、通常のLLMのように動作します。
このモードでは最終回答を直接返します — no <think> ブロックも、思考の連鎖もありません。
🦙 Ollama: Qwen3実行チュートリアル
インストール
ollamaまだの場合は!サイズが32Bまでのモデルしか実行できません。完全な235B-A22Bモデルを実行するには、 こちらを参照.
モデルを実行してください!必要に応じて
ollama serveを別のターミナルで呼び出せます。失敗した場合でも大丈夫です!私たちの修正と推奨パラメータ(temperature など)はすべてparamsとして Hugging Face のアップロードに含めています!
思考を無効化するには、次を使用します(またはシステムプロンプトで設定できます):
📖 Llama.cpp: Qwen3実行チュートリアル
最新の
llama.cppを GitHubこちら。以下のビルド手順に従うこともできます。変更してください-DGGML_CUDA=ONを-DGGML_CUDA=OFFGPUがない場合、またはCPU推論のみを使いたい場合は。 Apple Mac / Metalデバイスの場合、次を設定します-DGGML_CUDA=OFFその後は通常どおり続けてください。Metalサポートはデフォルトで有効です。
以下をインストールした後、(
pip install huggingface_hub hf_transfer)。Q4_K_M や他の量子化版を選べます。
モデルを実行して、任意のプロンプトを試してください。
思考を無効化するには、次を使用します(またはシステムプロンプトで設定できます):
Qwen3-235B-A22Bの実行
Qwen3-235B-A22Bでは、最適化された推論と豊富なオプションのために、特にLlama.cppを使用します。
上と同様の手順に従いますが、今回はモデルが非常に大きいため、追加の手順も必要です。
以下をインストールした後、(
pip install huggingface_hub hf_transfer)。UD-Q2_K_XL やその他の量子化版を選べます。モデルを実行して、任意のプロンプトを試してください。
編集
--threads 32CPUスレッド数は--ctx-size 16384コンテキスト長は--n-gpu-layers 99GPUオフロードする層数です。GPUがメモリ不足になったら調整してみてください。CPUのみで推論する場合は削除してください。
🦥 UnslothでQwen3をファインチューニング
Unslothにより、Qwen3のファインチューニングは2倍高速になり、VRAM使用量は70%削減され、8倍長いコンテキスト長に対応します。Qwen3 (14B) はGoogle Colabの16GB VRAM Tesla T4 GPUに余裕で収まります。
Qwen3は推論ありと推論なしの両方をサポートしているため、推論なしのデータセットでファインチューニングできますが、その場合は推論能力に影響する可能性があります。推論能力を維持したい場合(任意)、直接回答とchain-of-thoughtの例を混ぜて使うことができます。使用する 推論75% そして 非推論25% をデータセットに含めて、モデルに推論能力を保持させてください。
当社のConversationalノートブックでは、NVIDIAのopen-math-reasoningデータセット75%とMaximeのFineTomeデータセット(推論なし)25%を組み合わせています。Qwen3をファインチューニングできる無料のUnsloth Colabノートブックはこちらです:
Qwen3(4B) - 高度なGRPO LoRA
Qwen3 (14B) Alpacaノートブック (ベースモデル向け)
古いバージョンのUnslothを使っている場合、および/またはローカルでファインチューニングする場合は、最新バージョンのUnslothをインストールしてください:
Qwen3 MOEモデルのファインチューニング
ファインチューニング対応には、新しい2026年の より高速なMOE アップデート:30B-A3B と 235B-A22B。Qwen3-30B-A3B はUnslothでわずか17.5GBのVRAMで動作します。MoEのファインチューニングでは、ルーター層をファインチューニングするのはおそらく良くないため、デフォルトで無効化しています。
30B-A3B は17.5GBのVRAMに収まりますが、QLoRAファインチューニングのために完全な16ビットモデルをダウンロードしてその場で4ビットに変換する必要があるため、RAMやディスク容量が不足する場合があります。これは4-bit BnB MOEモデルを直接インポートする際の問題によるものです。これはMOEモデルにのみ影響します。
ノートブックガイド:

ノートブックを使うには、Runtime をクリックしてから Run all を選ぶだけです。ノートブック内の設定は好きなように変更できます。デフォルトでは自動的に設定してあります。Hugging Face 上のモデル名に合わせて、モデル名をお好みに変更してください。たとえば 'unsloth/Qwen3-8B' や 'unsloth/Qwen3-0.6B-unsloth-bnb-4bit' です。
他にも切り替えられる設定があります:
max_seq_length = 2048– コンテキスト長を制御します。Qwen3は40960をサポートしていますが、テストでは2048を推奨します。Unslothは8倍長いコンテキストでのファインチューニングを可能にします。load_in_4bit = True– 4ビット量子化を有効にし、16GB GPUでのファインチューニング時のメモリ使用量を4分の1に削減します。以下では フルファインチューニング - 設定
full_finetuning = Trueそして 8ビットファインチューニング - 設定load_in_8bit = True
Unslothノートブックを使ったファインチューニングの方法を最初から最後まで解説した完全ガイドを読みたい場合や、単にファインチューニング、作成について学びたい場合は datasets などについては、こちらの 完全ガイドをご覧ください:
Qwen3でのGRPO
Qwen3をファインチューニングするための新しい高度なGRPOノートブックを作成しました。新しい近接ベースの報酬関数(より近い回答ほど報酬が高い)と、Hugging FaceのOpen-R1数学データセットの使い方を学べます。 Unslothでは評価も改善され、vLLMの最新バージョンを使用しています。
Qwen3(4B) ノートブック - 高度なGRPO LoRA
学べること:
Qwen3(Base)で推論を有効にし、特定のタスクを実行するよう導く
GRPOが書式を学習しがちな傾向を回避するための事前ファインチューニング
新しい正規表現マッチングによる評価精度の向上
'think' だけでなく、<start_working_out></end_working_out> などのカスタムGRPOテンプレート
近接ベースのスコアリング:より良い回答ほど多くのポイントを獲得し(例:正解が10のときに9と予測するなど)、外れ値は減点されます

最終更新
役に立ちましたか?

