Tutorial: Wie man gpt-oss feinabstimmt
Erfahre Schritt für Schritt, wie du OpenAI gpt-oss lokal mit Unsloth trainierst.
🌐 Colab gpt-oss-Fine-Tuning
5
Datenvorbereitung
tokenizer.apply_chat_template(
text,
tokenize = False,
add_generation_prompt = False,
reasoning_effort = "medium",
)from unsloth.chat_templates import standardize_sharegpt
dataset = standardize_sharegpt(dataset)
dataset = dataset.map(formatting_prompts_func, batched = True,)print(dataset[0]['text'])
8
Modell speichern/exportieren
Format zusammenführen:model.push_to_hub_merged(repo_name, tokenizer=tokenizer, token= hf_token, save_method="mxfp4")✨ Speichern für Llama.cpp
apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpppython3 llama.cpp/convert_hf_to_gguf.py gpt-oss-finetuned-merged/ --outfile gpt-oss-finetuned-mxfp4.ggufllama.cpp/llama-cli --model gpt-oss-finetuned-mxfp4.gguf \ --jinja -ngl 99 --threads -1 --ctx-size 16384 \ --temp 1.0 --top-p 1.0 --top-k 0 \ -p "Der Sinn des Lebens und des Universums ist"
🖥️ Lokales gpt-oss-Fine-Tuning
1
Unsloth lokal installieren
# Wir installieren die neueste Torch, Triton, OpenAIs Triton-Kernels, Transformers und Unsloth!
!pip install --upgrade -qqq uv
try: import numpy; install_numpy = f"numpy=={numpy.__version__}"
except: install_numpy = "numpy"
!uv pip install -qqq \\
"torch>=2.8.0" "triton>=3.4.0" {install_numpy} \
"unsloth_zoo[base] @ git+https://github.com/unslothai/unsloth-zoo" \\
"unsloth[base] @ git+https://github.com/unslothai/unsloth" \\
torchvision bitsandbytes \
git+https://github.com/huggingface/transformers \
git+https://github.com/triton-lang/triton.git@05b2c186c1b6c9a08375389d5efe9cb4c401c075#subdirectory=python/triton_kernels2
gpt-oss und Reasoning Effort konfigurieren
from unsloth import FastLanguageModel
import torch
max_seq_length = 1024
dtype = None
# 4-Bit-vorquantisierte Modelle, die wir unterstützen, für 4x schnelleres Herunterladen + keine OOMs.
fourbit_models = [
"unsloth/gpt-oss-20b-unsloth-bnb-4bit", # 20B-Modell mit bitsandbytes-4bit-Quantisierung
"unsloth/gpt-oss-120b-unsloth-bnb-4bit",
"unsloth/gpt-oss-20b", # 20B-Modell im MXFP4-Format
"unsloth/gpt-oss-120b",
] # Weitere Modelle unter https://huggingface.co/unsloth
model, tokenizer = FastLanguageModel.from_pretrained(
model_name = "unsloth/gpt-oss-20b",
dtype = dtype, # None für automatische Erkennung
max_seq_length = max_seq_length, # Wähle beliebig für langen Kontext!
load_in_4bit = True, # 4-Bit-Quantisierung zur Speicherreduzierung
full_finetuning = False, # [NEU!] Wir haben jetzt Full-Finetuning!
# token = "hf_...", # verwende einen, wenn du geschützte Modelle nutzt
)3
Feinabstimmungs-Hyperparameter (LoRA)
model = FastLanguageModel.get_peft_model(
model,
r = 8, # Wähle eine beliebige Zahl > 0 ! Empfohlen: 8, 16, 32, 64, 128
target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",
"gate_proj", "up_proj", "down_proj",],
lora_alpha = 16,
lora_dropout = 0, # Unterstützt jeden Wert, aber = 0 ist optimiert
bias = "none", # Unterstützt jeden Wert, aber = "none" ist optimiert
# [NEU] "unsloth" verwendet 30 % weniger VRAM und passt in 2x größere Batch-Größen!
use_gradient_checkpointing = "unsloth", # True oder "unsloth" für sehr langen Kontext
random_state = 3407,
use_rslora = False, # Wir unterstützen rank-stabilisiertes LoRA
loftq_config = None, # Und LoftQ
)4
Datenvorbereitung
def formatting_prompts_func(examples):
convos = examples["messages"]
texts = [tokenizer.apply_chat_template(convo, tokenize = False, add_generation_prompt = False) for convo in convos]
return { "text" : texts, }
pass
from datasets import load_dataset
dataset = load_dataset("HuggingFaceH4/Multilingual-Thinking", split="train")
datasettokenizer.apply_chat_template(
text,
tokenize = False,
add_generation_prompt = False,
reasoning_effort = "medium",
)from unsloth.chat_templates import standardize_sharegpt
dataset = standardize_sharegpt(dataset)
dataset = dataset.map(formatting_prompts_func, batched = True,)print(dataset[0]['text'])
5
Das Modell trainieren
from trl import SFTConfig, SFTTrainer
trainer = SFTTrainer(
model = model,
tokenizer = tokenizer,
train_dataset = dataset,
args = SFTConfig(
per_device_train_batch_size = 1,
gradient_accumulation_steps = 4,
warmup_steps = 5,
# num_train_epochs = 1, # Setze dies für einen vollständigen Trainingsdurchlauf.
max_steps = 30,
learning_rate = 2e-4,
logging_steps = 1,
optim = "adamw_8bit",
weight_decay = 0.01,
lr_scheduler_type = "linear",
seed = 3407,
output_dir = "outputs",
report_to = "none", # Verwende dies für WandB usw.
),
)
6
Inference: Führe dein trainiertes Modell aus
messages = [
{"role": "system", "content": "reasoning language: French\n\nYou are a helpful assistant that can solve mathematical problems."},
{"role": "user", "content": "Solve x^5 + 3x^4 - 10 = 3."},
]
inputs = tokenizer.apply_chat_template(
messages,
add_generation_prompt = True,
return_tensors = "pt",
return_dict = True,
reasoning_effort = "medium",
).to(model.device)
from transformers import TextStreamer
_ = model.generate(**inputs, max_new_tokens = 2048, streamer = TextStreamer(tokenizer))
7
Modell speichern und exportieren
model.save_pretrained_merged(save_directory, tokenizer)model.push_to_hub_merged(repo_name, tokenizer=tokenizer, token= hf_token)✨ Speichern für Llama.cpp
apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cppython3 llama.cpp/convert_hf_to_gguf.py gpt-oss-finetuned-merged/ --outfile gpt-oss-finetuned.gguf llama.cpp/llama-quantize gpt-oss-finetuned.gguf gpt-oss-finetuned-Q8_0.gguf Q8_0llama.cpp/llama-cli --model gpt-oss-finetuned-Q8_0.gguf \ --jinja -ngl 99 --threads -1 --ctx-size 16384 \ --temp 1.0 --top-p 1.0 --top-k 0 \ -p "Der Sinn des Lebens und des Universums ist"
🏁 Und das war's!
❓FAQ (Häufig gestellte Fragen)
1. Kann ich mein Modell später exportieren, um es in Hugging Face, llama.cpp GGUF oder vLLM zu verwenden?
2. Kann ich fp4- oder MXFP4-Training mit gpt-oss durchführen?
3. Kann ich mein Modell nach dem Training in das MXFP4-Format exportieren?
4. Kann ich Reinforcement Learning (RL) oder GRPO mit gpt-oss durchführen?
Zuletzt aktualisiert
War das hilfreich?