> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/fr/notions-de-base/inference-and-deployment/saving-to-ollama.md). # Enregistrer des modèles vers Ollama Consultez notre guide ci-dessous pour le processus complet sur la façon d’enregistrer des modèles dans [Ollama](https://github.com/ollama/ollama): {% content-ref url="/pages/9418759bd903302ac509b6da96465b4bb2e40cfe" %} [Tutorial: Finetune Llama-3 and Use In Ollama](/docs/fr/commencer/fine-tuning-llms-guide/tutorial-how-to-finetune-llama-3-and-use-in-ollama.md) {% endcontent-ref %} ### Enregistrement sur Google Colab Vous pouvez enregistrer le modèle affiné sous la forme d’un petit fichier de 100 Mo appelé adaptateur LoRA, comme ci-dessous. Vous pouvez aussi l’envoyer sur le hub Hugging Face si vous souhaitez téléverser votre modèle ! N’oubliez pas d’obtenir un jeton Hugging Face via : et d’ajouter votre jeton !
Après avoir enregistré le modèle, nous pouvons à nouveau utiliser Unsloth pour exécuter le modèle lui-même ! Utilisez `FastLanguageModel` à nouveau pour l’appeler en inférence !
### Exporter vers Ollama Enfin, nous pouvons exporter notre modèle affiné vers Ollama lui-même ! D’abord, nous devons installer Ollama dans le notebook Colab :
Ensuite, nous exportons le modèle affiné vers les formats GGUF de llama.cpp comme ci-dessous :
Rappel : convertir `Faux` à `Vrai` pour une ligne, et ne pas changer chaque ligne en `Vrai`, sinon vous devrez attendre très longtemps ! Nous recommandons généralement de mettre la première ligne sur `Vrai`, afin de pouvoir exporter rapidement le modèle affiné vers `Q8_0` le format (quantification en 8 bits). Nous vous permettons également d’exporter vers toute une liste de méthodes de quantification, l’une des plus populaires étant `q4_k_m`. Rendez-vous sur pour en savoir plus sur GGUF. Nous avons aussi des instructions manuelles sur la façon d’exporter vers GGUF si vous le souhaitez ici : Vous verrez une longue liste de texte comme ci-dessous - veuillez attendre 5 à 10 minutes !!
Et enfin, tout à la fin, cela ressemblera à ceci :
Ensuite, nous devons exécuter Ollama lui-même en arrière-plan. Nous utilisons `subprocess` car Colab n’aime pas les appels asynchrones, mais normalement on exécute simplement `ollama serve` dans le terminal / l’invite de commandes.
### Automatique `Modelfile` création L’astuce qu’Unsloth fournit est que nous créons automatiquement un `Modelfile` qu’Ollama exige ! Il s’agit simplement d’une liste de paramètres et elle inclut le template de conversation que nous avons utilisé pour le processus de fine-tuning ! Vous pouvez aussi afficher le `Modelfile` généré comme ci-dessous :
Nous demandons ensuite à Ollama de créer un modèle compatible avec Ollama, en utilisant le `Modelfile`
### Inférence Ollama Et nous pouvons maintenant appeler le modèle pour l’inférence si vous voulez appeler le serveur Ollama lui-même, qui s’exécute en arrière-plan sur votre propre machine locale / dans le notebook Colab gratuit. N’oubliez pas que vous pouvez modifier la partie soulignée en jaune.
### L’exécution dans Unsloth fonctionne bien, mais après exportation et exécution sur Ollama, les résultats sont médiocres Il peut parfois arriver que votre modèle s’exécute et produise de bons résultats dans Unsloth, mais lorsque vous l’utilisez sur une autre plateforme comme Ollama, les résultats soient médiocres ou que vous obteniez du charabia, des générations sans fin / infinies *ou* sorties répétées**.** * La cause la plus courante de cette erreur est l’utilisation d’un **template de conversation incorrect****.** Il est essentiel d’utiliser le MÊME template de conversation que celui utilisé lors de l’entraînement du modèle dans Unsloth et ensuite lorsque vous l’exécutez dans un autre framework, tel que llama.cpp ou Ollama. Lors de l’inférence à partir d’un modèle enregistré, il est crucial d’appliquer le bon template. * Vous devez utiliser le bon `jeton eos`. Sinon, vous pourriez obtenir du charabia lors de générations plus longues. * Cela peut aussi être dû au fait que votre moteur d’inférence ajoute un jeton « début de séquence » inutile (ou, au contraire, qu’il en manque un) ; assurez-vous donc de vérifier les deux hypothèses ! * **Utilisez nos notebooks conversationnels pour forcer le template de conversation - cela corrigera la plupart des problèmes.** * Notebook conversationnel Qwen-3 14B [**Ouvrir dans Colab**](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_\(14B\)-Reasoning-Conversational.ipynb) * Notebook conversationnel Gemma-3 4B [**Ouvrir dans Colab**](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Gemma3_\(4B\).ipynb) * Notebook conversationnel Llama-3.2 3B [**Ouvrir dans Colab**](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Llama3.2_\(1B_and_3B\)-Conversational.ipynb) * Notebook conversationnel Phi-4 14B [**Ouvrir dans Colab**](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Phi_4-Conversational.ipynb) * Notebook conversationnel Mistral v0.3 7B [**Ouvrir dans Colab**](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Mistral_v0.3_\(7B\)-Conversational.ipynb) * **Plus de notebooks dans nos** [**docs des notebooks**](/docs/fr/commencer/unsloth-notebooks.md) --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/fr/notions-de-base/inference-and-deployment/saving-to-ollama.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.