For the complete documentation index, see llms.txt. This page is also available as Markdown.

Qwen3.8ファインチューニングガイド

Unslothを使ってQwen3.8-27Bをファインチューニングする方法を学びましょう。

Qwen3.8-27Bは現在、以下を介して強化学習(RL)による微調整と学習が可能です Unsloth。これはネイティブのテキスト、画像、動画サポート、思考制御、262Kのコンテキストウィンドウを備えた、密な27B統合視覚言語モデルです。

  • UnslothはQwen3.8を 約1.5倍高速に約50%少ないVRAMで FA2構成よりも(精度低下なし)

  • Qwen3.8-27Bを微調整 私たちの 無料の Kaggleノートブック経由で:

会話型 (Visionを有効にできます)

  • QLoRAは24GBで動作します そしてLoRAには36GB超が必要です

  • Qwen3.8は 強化学習 (RL)を無料で、または24GBのVRAMで実行することもできます。

  • フルファインチューニング(FFT) も動作しますが、VRAMを4倍多く使用します。

  • Unslothは Flash Linear Attentionカーネル を活用して、効率的なQwen3.8学習を実現します

  • 使用 Qwen3.8-27B-unsloth-bnb-4bit を4ビットQLoRAに使用し、次に エクスポート してNVFP4、FP8、GGUFなどへ。

  • 推論能力を保持したい場合は、推論スタイルの例と直接回答を混ぜ、推論データを少なくとも75%含めてください。

最新のTransformers v5を使用してください。Qwen3.8は qwen3_5 アーキテクチャを使用しています。Gated DeltaNetカーネルのコンパイル中は、初回実行に時間がかかる場合があります。

🦥 Unslothガイド

Qwen3.8は Unsloth Desktopで実行・ファインチューニングできます。これはローカルAI向けの新しいオープンソースWeb UIです。

Unsloth Studioを使えば、モデルをローカルで MacOS、Windows、Linuxで実行でき、NVIDIA GPUで学習できます。Intel、MLX、AMDの学習サポートは今月対応予定です。

1

Unslothをインストール

始める最も簡単な方法は、以下をダウンロードすることです Unsloth Desktopアプリ。対応OSは macOS, WindowsLinux.

Unslothをダウンロード

または、手動でインストールしたい場合は:

MacOS、Linux、WSL:

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell:

irm https://unsloth.ai/install.ps1 | iex
2

Qwen3.8を学習

Trainタブに移動し、検索バーでQwen3.8-27Bを検索して、目的のモデルとデータセットを選択します。次に、必要に応じてハイパーパラメータとコンテキスト長を調整してください。

3

学習進捗を監視

学習開始をクリックすると、モデルの学習進捗を監視・確認できます。学習損失は着実に減少するはずです。 完了すると、モデルは自動的に保存されます。

4

ファインチューニング済みモデルをエクスポート

完了すると、Unsloth StudioでモデルをGGUF、safetensorなどの形式へエクスポートできます。

5

ファインチューニング済みモデルと元モデルを比較

をクリック 比較モード してLoRAアダプターと元モデルを比較します。

SFTレシピ

以下はテキストのみのファインチューニング用の最小限のSFTレシピです。データセットには text 列が必要で、Qwenのチャットテンプレートで既にレンダリングされている必要があります。

offload_embedding=True はオプションで、大きな非結合入力埋め込みをRAMに保持することで、常駐VRAMを削減します。Unslothは対応していないプラットフォームでは自動的にこれを無効にします。

OOMになったら、 max_seq_length を下げ、バッチサイズ1を維持して "unsloth" の勾配チェックポイントを使用してください。

Visionファインチューニング

Qwen3.8はネイティブの画像入力と動画入力をサポートしています。マルチモーダル学習では、Vision層を有効にし、以下を用いた会話型Visionデータセットを使用してください UnslothVisionDataCollator.

設定してください finetune_vision_layers=False データセットがテキストのみの場合。

強化学習(RL)

Qwen3.8は同じ qwen3_5 アーキテクチャを使用しているため、Qwen3.5のUnsloth RLパスを使い、高速vLLM推論を無効にしてください:

ファインチューニング済みモデルの保存 / エクスポート

デプロイ時には、学習時と同じチャットテンプレートとEOSトークンを使用してください。

GGUFに保存

vLLMに保存

LoRAアダプターのみを保存するには:

最終更新

役に立ちましたか?