チュートリアル: gpt-ossをファインチューニングする方法
Unslothを使ってOpenAI gpt-ossをローカルで学習する方法を、ステップごとに学びましょう。
🌐 Colab gpt-oss ファインチューニング
5
データ準備
tokenizer.apply_chat_template(
text,
tokenize = False,
add_generation_prompt = False,
reasoning_effort = "medium",
)from unsloth.chat_templates import standardize_sharegpt
dataset = standardize_sharegpt(dataset)
dataset = dataset.map(formatting_prompts_func, batched = True,)print(dataset[0]['text'])
8
モデルを保存/エクスポートする
model.save_pretrained_merged(save_directory, tokenizer, save_method="mxfp4)model.push_to_hub_merged(repo_name, tokenizer=tokenizer, token= hf_token, save_method="mxfp4")✨ Llama.cpp への保存
apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpppython3 llama.cpp/convert_hf_to_gguf.py gpt-oss-finetuned-merged/ --outfile gpt-oss-finetuned-mxfp4.ggufllama.cpp/llama-cli --model gpt-oss-finetuned-mxfp4.gguf \ --jinja -ngl 99 --threads -1 --ctx-size 16384 \ --temp 1.0 --top-p 1.0 --top-k 0 \ -p "人生と宇宙の意味は"
🖥️ ローカル gpt-oss ファインチューニング
1
Unsloth をローカルにインストールする
# 最新の Torch、Triton、OpenAI の Triton カーネル、Transformers、そして Unsloth をインストールします！
!pip install --upgrade -qqq uv
try: import numpy; install_numpy = f"numpy=={numpy.__version__}"
except: install_numpy = "numpy"
!uv pip install -qqq \
"torch>=2.8.0" "triton>=3.4.0" {install_numpy} \
"unsloth_zoo[base] @ git+https://github.com/unslothai/unsloth-zoo" \
"unsloth[base] @ git+https://github.com/unslothai/unsloth" \
torchvision bitsandbytes \
git+https://github.com/huggingface/transformers \
git+https://github.com/triton-lang/triton.git@05b2c186c1b6c9a08375389d5efe9cb4c401c075#subdirectory=python/triton_kernels2
gpt-oss と Reasoning Effort の設定
from unsloth import FastLanguageModel
import torch
max_seq_length = 1024
dtype = None
# 4倍高速なダウンロード + OOM なしのために対応している 4bit 事前量子化モデル。
fourbit_models = [
"unsloth/gpt-oss-20b-unsloth-bnb-4bit", # bitsandbytes 4bit 量子化を使う 20B モデル
"unsloth/gpt-oss-120b-unsloth-bnb-4bit",
"unsloth/gpt-oss-20b", # MXFP4 形式を使う 20B モデル
"unsloth/gpt-oss-120b",
] # その他のモデルは https://huggingface.co/unsloth
model, tokenizer = FastLanguageModel.from_pretrained(
model_name = "unsloth/gpt-oss-20b",
dtype = dtype, # 自動検出の場合は None
max_seq_length = max_seq_length, # 長いコンテキスト用に任意の値を選択！
load_in_4bit = True, # メモリ削減のための 4 ビット量子化
full_finetuning = False, # [NEW!] フルファインチューニングに対応しました！
# token = "hf_...", # gated モデルを使う場合はこれを使用
)3
ファインチューニング用ハイパーパラメータ（LoRA）
model = FastLanguageModel.get_peft_model(
model,
r = 8, # 0 より大きい任意の数を選択！推奨 8, 16, 32, 64, 128
target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",
"gate_proj", "up_proj", "down_proj",],
lora_alpha = 16,
lora_dropout = 0, # 任意に対応しますが、= 0 が最適化されています
bias = "none", # 任意に対応しますが、= "none" が最適化されています
# [NEW] "unsloth" は VRAM を 30% 少なく使い、2倍大きいバッチサイズが入ります！
use_gradient_checkpointing = "unsloth", # 非常に長いコンテキストには True または "unsloth"
random_state = 3407,
use_rslora = False, # rank stabilized LoRA をサポートしています
loftq_config = None, # そして LoftQ
)4
データ準備
def formatting_prompts_func(examples):
convos = examples["messages"]
texts = [tokenizer.apply_chat_template(convo, tokenize = False, add_generation_prompt = False) for convo in convos]
return { "text" : texts, }
pass
from datasets import load_dataset
dataset = load_dataset("HuggingFaceH4/Multilingual-Thinking", split="train")
datasettokenizer.apply_chat_template(
text,
tokenize = False,
add_generation_prompt = False,
reasoning_effort = "medium",
)from unsloth.chat_templates import standardize_sharegpt
dataset = standardize_sharegpt(dataset)
dataset = dataset.map(formatting_prompts_func, batched = True,)print(dataset[0]['text'])
5
モデルを学習させる
from trl import SFTConfig, SFTTrainer
trainer = SFTTrainer(
model = model,
tokenizer = tokenizer,
train_dataset = dataset,
args = SFTConfig(
per_device_train_batch_size = 1,
gradient_accumulation_steps = 4,
warmup_steps = 5,
# num_train_epochs = 1, # 完全な学習を 1 回行うにはこれを設定。
max_steps = 30,
learning_rate = 2e-4,
logging_steps = 1,
optim = "adamw_8bit",
weight_decay = 0.01,
lr_scheduler_type = "linear",
seed = 3407,
output_dir = "outputs",
report_to = "none", # WandB などを使う場合はこれを使用
),
)
6
推論: 学習済みモデルを実行する
messages = [
{"role": "system", "content": "推論言語: フランス語\n\nあなたは数学の問題を解ける有能なアシスタントです。"},
{"role": "user", "content": "x^5 + 3x^4 - 10 = 3 を解いてください。"},
]
inputs = tokenizer.apply_chat_template(
messages,
add_generation_prompt = True,
return_tensors = "pt",
return_dict = True,
reasoning_effort = "medium",
).to(model.device)
from transformers import TextStreamer
_ = model.generate(**inputs, max_new_tokens = 2048, streamer = TextStreamer(tokenizer))
7
モデルを保存してエクスポートする
model.save_pretrained_merged(save_directory, tokenizer)model.push_to_hub_merged(repo_name, tokenizer=tokenizer, token= hf_token)✨ Llama.cpp への保存
apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cppython3 llama.cpp/convert_hf_to_gguf.py gpt-oss-finetuned-merged/ --outfile gpt-oss-finetuned.gguf llama.cpp/llama-quantize gpt-oss-finetuned.gguf gpt-oss-finetuned-Q8_0.gguf Q8_0llama.cpp/llama-cli --model gpt-oss-finetuned-Q8_0.gguf \ --jinja -ngl 99 --threads -1 --ctx-size 16384 \ --temp 1.0 --top-p 1.0 --top-k 0 \ -p "人生と宇宙の意味は"
🏁 以上です！
❓FAQ（よくある質問）
1. 後で Hugging Face、llama.cpp GGUF、または vLLM で使えるように、自分のモデルをエクスポートできますか？
2. gpt-oss で fp4 または MXFP4 学習はできますか？
3. 学習後にモデルを MXFP4 形式へエクスポートできますか？
4. gpt-oss で強化学習（RL）や GRPO はできますか？
最終更新
役に立ちましたか？