🏁Finetuning vom letzten Checkpoint

Checkpointing ermöglicht es dir, deinen Finetuning-Fortschritt zu speichern, sodass du ihn pausieren und später fortsetzen kannst.

Sie müssen den Trainer zuerst bearbeiten, um hinzuzufügen save_strategy und save_steps. Unten speichert es alle 50 Schritte einen Checkpoint in den Ordner outputs.

trainer = SFTTrainer(
    ....
    args = TrainingArguments(
        ....
        output_dir = "outputs",
        save_strategy = "steps",
        save_steps = 50,
    ),
)

Dann im Trainer tun:

trainer_stats = trainer.train(resume_from_checkpoint = True)

Was vom neuesten Checkpoint startet und das Training fortsetzt.

Wandb-Integration

# Bibliothek installieren
!pip install wandb --upgrade

# Wandb einrichten
!wandb login <token>

import os

os.environ["WANDB_PROJECT"] = "<name>"
os.environ["WANDB_LOG_MODEL"] = "checkpoint"

Dann in TrainingArguments() setzen

report_to = "wandb",
logging_steps = 1, # Bei Bedarf ändern
save_steps = 100 # Bei Bedarf ändern
run_name = "<name>" # (Optional)

Um das Modell zu trainieren, machen Sie trainer.train(); um das Training fortzusetzen, machen Sie

import wandb
run = wandb.init()
artifact = run.use_artifact('<username>/<Wandb-project-name>/<run-id>', type='model')
artifact_dir = artifact.download()
trainer.train(resume_from_checkpoint=artifact_dir)

❓Wie mache ich Early Stopping?

Wenn Sie das Fine-Tuning / den Trainingslauf stoppen oder pausieren möchten, weil der Evaluationsverlust nicht sinkt, können Sie Early Stopping verwenden, das den Trainingsprozess beendet. Verwenden Sie EarlyStoppingCallback.

Wie üblich richten Sie Ihren Trainer und Ihren Evaluations-Datensatz ein. Das Folgende wird verwendet, um den Trainingslauf zu stoppen, wenn der eval_loss (der Evaluationsverlust) sich nach etwa 3 Schritten nicht verringert.

dataset = load_dataset("HuggingFaceH4/Multilingual-Thinking", split="train")
trainer = SFTTrainer(
    args = SFTConfig(
        fp16_full_eval = True,
        per_device_eval_batch_size = 2,
        eval_accumulation_steps = 4,
        output_dir = "training_checkpoints", # Speicherort der gespeicherten Checkpoints für Early Stopping
        save_strategy = "steps",             # Modell alle N Schritte speichern
        save_steps = 10,                     # wie viele Schritte bis wir das Modell speichern
        save_total_limit = 3,                # nur 3 gespeicherte Checkpoints behalten, um Festplattenspeicher zu sparen
        eval_strategy = "steps",             # alle N Schritte evaluieren
        eval_steps = 10,                     # wie viele Schritte bis wir eine Evaluation durchführen
        load_best_model_at_end = True,       # MUSS für Early Stopping verwendet werden
        metric_for_best_model = "eval_loss", # Metrik, auf der wir Early Stopping basieren wollen
        greater_is_better = False,           # je niedriger der Evaluationsverlust, desto besser
    ),
    model = model,
    tokenizer = tokenizer,
    train_dataset = new_dataset["train"],
    eval_dataset = new_dataset["test"],
)

Wir fügen dann den Callback hinzu, der ebenfalls angepasst werden kann:

from transformers import EarlyStoppingCallback
early_stopping_callback = EarlyStoppingCallback(
    early_stopping_patience = 3,     # Wie viele Schritte wir warten werden, wenn der Evaluationsverlust nicht sinkt
                                     # Zum Beispiel könnte der Verlust steigen, aber nach 3 Schritten sinken
    early_stopping_threshold = 0.0,  # Kann höher gesetzt werden - legt fest, um wie viel der Verlust sinken muss, bis
                                     # wir Early Stopping in Betracht ziehen. Beispielsweise bedeutet 0.01, wenn der Verlust
                                     # 0.02 dann 0.01 war, dass wir erwägen, den Lauf vorzeitig zu beenden.
)
trainer.add_callback(early_stopping_callback)

Dann trainieren Sie das Modell wie gewohnt über trainer.train() .