> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/fr/notions-de-base/continued-pretraining.md).

# Pré-entraînement continu

Aussi appelé fine-tuning continu. Unsloth vous permet de poursuivre le pré-entraînement afin qu'un modèle puisse apprendre une nouvelle langue.

* Le [notebook de complétion de texte](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Mistral_\(7B\)-Text_Completion.ipynb) est destiné au pré-entraînement continu/texte brut.
* Le [notebook de pré-entraînement continu](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Mistral_v0.3_\(7B\)-CPT.ipynb) est destiné à l’apprentissage d’une autre langue.

Vous pouvez en savoir plus sur le pré-entraînement continu et notre publication dans notre [article de blog](https://unsloth.ai/blog/contpretraining).

## Qu’est-ce que le pré-entraînement continu ?

Le pré-entraînement continu ou prolongé (CPT) est nécessaire pour « orienter » le modèle de langage afin qu’il comprenne de nouveaux domaines de connaissance, ou des domaines hors distribution. Les modèles de base comme Llama-3 8b ou Mistral 7b sont d’abord préentraînés sur d’énormes jeux de données de milliers de milliards de jetons (Llama-3, par exemple, en compte 15 milliers de milliards).

Mais parfois, ces modèles n’ont pas été bien entraînés sur d’autres langues, ou sur des domaines textuels spécifiques, comme le droit, la médecine ou d’autres domaines. Le pré-entraînement continu (CPT) est donc nécessaire pour permettre au modèle de langage d’apprendre de nouveaux jetons ou jeux de données.

## Fonctionnalités avancées :

### Chargement des adaptateurs LoRA pour poursuivre le fine-tuning

Si vous avez enregistré un adaptateur LoRA via Unsloth, vous pouvez également poursuivre l’entraînement en utilisant vos poids LoRA. L’état de l’optimiseur sera également réinitialisé. Pour charger également les états de l’optimiseur afin de poursuivre le fine-tuning, consultez la section suivante.

```python
from unsloth import FastLanguageModel
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "LORA_MODEL_NAME",
    max_seq_length = max_seq_length,
    dtype = dtype,
    load_in_4bit = load_in_4bit,
)
trainer = Trainer(...)
trainer.train()
```

### Pré-entraînement continu et fine-tuning de la `lm_head` et `embed_tokens` matrices

Ajoutez `lm_head` et `embed_tokens`. Pour Colab, il peut parfois y avoir un dépassement de mémoire avec Llama-3 8b. Dans ce cas, ajoutez simplement `lm_head`.

```python
model = FastLanguageModel.get_peft_model(
    model,
    r = 16,
    target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",
                      "gate_proj", "up_proj", "down_proj",
                      "lm_head", "embed_tokens",],
    lora_alpha = 16,
)
```

Utilisez ensuite 2 taux d’apprentissage différents — un taux 2 à 10 fois plus petit pour le `lm_head` ou `embed_tokens` comme ceci :

```python
from unsloth import UnslothTrainer, UnslothTrainingArguments

trainer = UnslothTrainer(
    ....
    args = UnslothTrainingArguments(
        ....
        learning_rate = 5e-5,
        embedding_learning_rate = 5e-6, # 2 à 10 fois plus petit que learning_rate
    ),
)
```


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/fr/notions-de-base/continued-pretraining.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.