♻️Fortgesetztes Pretraining

Auch bekannt als fortgesetzte Feinabstimmung. Unsloth ermöglicht fortlaufendes Pretraining, damit ein Modell eine neue Sprache lernen kann.

• Der Notizbuch zur Textvervollständigung ist für fortgesetztes Vortraining/Rohtext.

• Der Notizbuch für fortgesetztes Vortraining ist zum Erlernen einer anderen Sprache.

Mehr über fortgesetztes Vortraining und unsere Veröffentlichung kannst du in unserem Blogbeitrag.

Was ist fortgesetztes Vortraining?

Fortgesetztes oder kontinuierliches Vortraining (CPT) ist notwendig, um das Sprachmodell zu „steuern“, damit es neue Wissensdomänen oder Domänen außerhalb der Verteilung versteht. Basismodelle wie Llama-3 8B oder Mistral 7B werden zunächst auf gigantischen Datensätzen mit Billionen von Tokens vortrainiert (Llama-3 umfasst z. B. 15 Billionen).

Aber manchmal wurden diese Modelle nicht gut auf andere Sprachen oder textspezifische Domänen wie Recht, Medizin oder andere Bereiche trainiert. Deshalb ist fortgesetztes Vortraining (CPT) notwendig, damit das Sprachmodell neue Tokens oder Datensätze lernt.

Erweiterte Funktionen:

LoRA-Adapter für fortgesetztes Finetuning laden

Wenn du über Unsloth einen LoRA-Adapter gespeichert hast, kannst du das Training auch mit deinen LoRA-Gewichten fortsetzen. Der Zustand des Optimierers wird ebenfalls zurückgesetzt. Um auch die Optimiererzustände zu laden und das Finetuning fortzusetzen, siehe den nächsten Abschnitt.

from unsloth import FastLanguageModel
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "LORA_MODEL_NAME",
    max_seq_length = max_seq_length,
    dtype = dtype,
    load_in_4bit = load_in_4bit,
)
trainer = Trainer(...)
trainer.train()

Fortgesetztes Vortraining & Finetuning des lm_head und embed_tokens Matrizen

Fügen Sie lm_head und embed_tokens. Für Colab kann bei Llama-3 8B manchmal der Speicher ausgehen. Wenn das passiert, füge einfach lm_head.

model = FastLanguageModel.get_peft_model(
    model,
    r = 16,
    target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",
                      "gate_proj", "up_proj", "down_proj",
                      "lm_head", "embed_tokens",],
    lora_alpha = 16,
)

Verwende dann 2 verschiedene Lernraten – eine 2- bis 10-mal kleinere für die lm_head oder embed_tokens so:

from unsloth import UnslothTrainer, UnslothTrainingArguments

trainer = UnslothTrainer(
    ....
    args = UnslothTrainingArguments(
        ....
        learning_rate = 5e-5,
        embedding_learning_rate = 5e-6, # 2- bis 10-mal kleiner als learning_rate
    ),
)