Mistral 3.5 - comment exécuter en local

Guide pour les modèles Mistral 3.5, à exécuter ou fine-tuner localement sur votre appareil

Mistral lance Mistral-Medium-3.5-128B, leur nouveau modèle dense multimodal de raisonnement hybride à 128B de paramètres. Il prend en charge les entrées texte et image, la sortie texte, une fenêtre de contexte de 256K et excelle dans le raisonnement, le codage, les longs contextes, l’utilisation d’outils, les flux de travail agentiques et la compréhension multimodale de documents/images.

Mistral Medium 3.5 offre des performances hautement compétitives pour des modèles 5 fois plus grands. Exécution locale sur ~64 Go de RAM. GGUF : Mistral-Medium-3.5-128B-GGUF

Mise à jour du 1er mai 2026 : Nous avons travaillé avec Mistral pour corriger l’inférence de Mistral Medium 3.5 affectant certaines implémentations, et avons publié des GGUF mis à jour avec le correctif (PAS lié à Unsloth ou à nos quantifications). Le problème était causé par une particularité d’analyse de YaRN affectant plusieurs implémentations, notamment transformers et llama.cpp. En modifiant mscale_all_dim de 1 à 0 cela a été résolu. Nous avons aussi corrigé le fait que les fichiers mmproj n’étaient pas générés correctement.

Mistral a maintenant intégré nos correctifs dans son dépôt officiel !

Guide d’utilisation

La vision pour les GGUF est désormais prise en charge pour le moment. Le support viendra plus tard.

Tableau : exigences matérielles recommandées pour Mistral Medium 3.5. Les unités sont la mémoire totale : RAM + VRAM, ou mémoire unifiée.

Mistral 3.5	3 bits	4 bits	8 bits
Medium 3.5 128B	64 Go	80 Go	128-170 Go

Votre mémoire totale disponible doit au moins dépasser la taille du modèle quantifié que vous téléchargez. Si ce n’est pas le cas, llama.cpp peut quand même fonctionner avec un déchargement partiel en RAM/disque, mais la génération sera plus lente. Vous aurez également besoin de plus de mémoire pour les longs contextes, les lots plus importants, les exécutions agentiques gourmandes en outils et les invites d’image.

Paramètres recommandés

Utilisez les paramètres de raisonnement recommandés par Mistral :

• reasoning_effort="none" → réponses instantanées rapides, chat, extraction et instructions simples.

• reasoning_effort="high" → mode raisonnement, recommandé pour les invites complexes, le codage, la recherche, les maths et l’utilisation agentique.

Paramètres d’échantillonnage recommandés :

• Utilisez temperature = 0.7 pour reasoning_effort="high".

• Utilisez temperature = 0.0 à 0.7 pour reasoning_effort="none", selon la tâche.

• Laissez les pénalités de répétition et de présence désactivées ou à 1.0 sauf si vous observez des boucles.

• Longueur maximale de contexte de 262,144

Mode raisonnement

Mistral Medium 3.5 prend en charge le mode instruct instantané et le mode raisonnement avec une option 'high'.

Pour activer le raisonnement élevé pour llama.cpp / llama-server :

--chat-template-kwargs '{"reasoning_effort":"high"}'

Pour désactiver le raisonnement :

--chat-template-kwargs '{"reasoning_effort":"none"}'

Si vous êtes sur Windows PowerShell, utilisez :

--chat-template-kwargs "{\"reasoning_effort\":\"none\"}"

Tutoriels pour exécuter Mistral 3.5

Comme Mistral Medium 3.5 est un modèle dense de 128B, le point de départ recommandé pour l’inférence locale est le GGUF dynamique 4 bits. GGUF : unsloth/Mistral-Medium-3.5-128B-GGUF

Exécuter dans Unsloth StudioExécuter dans llama.cpp

Actuellement, aucun GGUF multimodal/vision ne fonctionne dans Ollama en raison de fichiers mmproj de vision séparés. Utilisez des backends compatibles avec llama.cpp.

N’utilisez PAS CUDA 13.2 car vous pourriez obtenir des sorties incohérentes. NVIDIA travaille sur un correctif.

🦥 Guide Unsloth Studio

Pour ce tutoriel, nous utiliserons Unsloth Studio, notre nouvelle interface web pour exécuter et entraîner des LLM. Avec Unsloth Studio, vous pouvez exécuter des modèles et saisir audio, des images et du texte localement sur Mac, Windows, et Linux, et :

• Rechercher, télécharger, exécuter des GGUF et des modèles safetensor

• Comparer les modèles côte à côte

• Auto-réparation appel d’outils + recherche web

• Exécution de code (Python, Bash)

• Inférence automatique réglage des paramètres (temp, top-p, etc.)

• Entraîner des LLM 2x plus vite avec 70 % de VRAM en moins

1

Installer Unsloth

MacOS, Linux, WSL :

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell :

irm https://unsloth.ai/install.ps1 | iex

2

Configurer Unsloth Studio (une seule fois)

La configuration installe automatiquement Node.js (via nvm), compile le frontend, installe toutes les dépendances Python et compile llama.cpp avec la prise en charge CUDA.

Utilisateurs WSL : il vous sera demandé votre sudo mot de passe pour installer les dépendances de compilation (cmake, git, libcurl4-openssl-dev).

3

Lancer Unsloth

MacOS, Linux, WSL :

source unsloth_studio/bin/activate
unsloth studio -H 0.0.0.0 -p 8888

Windows PowerShell :

& .\unsloth_studio\Scripts\unsloth.exe studio -H 0.0.0.0 -p 8888

Puis ouvrez http://localhost:8888 dans votre navigateur.

4

Rechercher et télécharger Mistral Medium 3.5

Au premier lancement, vous devrez créer un mot de passe pour sécuriser votre compte et vous reconnecter plus tard. Allez ensuite dans l’onglet Studio Chat et recherchez Mistral 3.5 dans la barre de recherche, puis téléchargez le modèle et la quantification souhaités.

5

Exécuter Mistral 3.5

Les paramètres d’inférence devraient être définis automatiquement lors de l’utilisation d’Unsloth Studio ; toutefois, vous pouvez toujours les modifier manuellement. Vous pouvez également modifier la longueur du contexte, le modèle de conversation et d’autres réglages.

Pour plus d’informations, vous pouvez consulter notre guide d’inférence Unsloth Studio.

🦙 Guide Llama.cpp

Pour ce guide, nous utiliserons Unsloth Dynamic 4 bits pour Mistral Medium 3.5. Voir : unsloth/Mistral-Medium-3.5-128B-GGUF.

Pour ces tutoriels, nous utiliserons llama.cpp pour une inférence locale rapide, en particulier si vous avez un CPU ou une machine à mémoire unifiée de grande capacité.

1. Compiler llama.cpp

Obtenez la dernière llama.cpp sur GitHub. Modifiez -DGGML_CUDA=ON à -DGGML_CUDA=OFF si vous n’avez pas de GPU ou si vous voulez simplement une inférence CPU. Pour les appareils Apple Mac / Metal, définissez -DGGML_CUDA=OFF; la prise en charge Metal est activée par défaut.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2. Exécuter directement depuis Hugging Face

export LLAMA_CACHE="unsloth/Mistral-Medium-3.5-128B-GGUF"

./llama.cpp/llama-cli \\
    -hf unsloth/Mistral-Medium-3.5-128B-GGUF:UD-Q4_K_XL \\
    --temp 0.7 \\
    --chat-template-kwargs '{"reasoning_effort":"none"}'

Pour le mode raisonnement élevé :

./llama.cpp/llama-cli \\
    -hf unsloth/Mistral-Medium-3.5-128B-GGUF:UD-Q4_K_XL \\
    --temp 0.7 \\
    --chat-template-kwargs '{"reasoning_effort":"high"}'

3. Télécharger le modèle manuellement

Après l’installation de huggingface_hub et hf_transfer:

pip install huggingface_hub hf_transfer

hf download unsloth/Mistral-Medium-3.5-128B-GGUF \\
    --local-dir unsloth/Mistral-Medium-3.5-128B-GGUF \\
    --include "*UD-Q4_K_XL*" \\
    --include "*mmproj*"

Si les téléchargements se bloquent, définissez :

export HF_HUB_ENABLE_HF_TRANSFER=1

4. Exécuter le GGUF local

./llama.cpp/llama-cli \\
    --model unsloth/Mistral-Medium-3.5-128B-GGUF/Mistral-Medium-3.5-128B-UD-Q4_K_XL.gguf \\
    --temp 0.7 \\
    --chat-template-kwargs '{"reasoning_effort":"none"}'

Si un GGUF de projecteur multimodal est inclus, utilisez :

./llama.cpp/llama-cli \\
    --model unsloth/Mistral-Medium-3.5-128B-GGUF/Mistral-Medium-3.5-128B-UD-Q4_K_XL.gguf \\
    --mmproj unsloth/Mistral-Medium-3.5-128B-GGUF/mmproj-BF16.gguf \\
    --temp 0.7 \\
    --chat-template-kwargs '{"reasoning_effort":"none"}'

Déploiement de llama-server

Pour déployer Mistral Medium 3.5 sur llama-server, utilisez :

./llama.cpp/llama-server \\
    -hf unsloth/Mistral-Medium-3.5-128B-GGUF:UD-Q4_K_XL \\
    --alias "mistral-medium-3.5" \\
    --host 0.0.0.0 \\
    --port 8001 \\
    --temp 0.7 \\
    --chat-template-kwargs '{"reasoning_effort":"none"}'

Pour le mode raisonnement :

--chat-template-kwargs '{"reasoning_effort":"high"}'

Si vous êtes sur Windows PowerShell, utilisez :

--chat-template-kwargs "{\"reasoning_effort\":\"high\"}"

Vous pouvez interroger llama-server avec une requête compatible OpenAI :

curl http://localhost:8001/v1/chat/completions \\
  -H "Content-Type: application/json" \\
  -d '{
    "model": "mistral-medium-3.5",
    "messages": [
      {"role": "user", "content": "Expliquez la principale différence entre le mode instantané et le mode raisonnement."}
    ],
    "temperature": 0.7
  }'

Bonnes pratiques Mistral 3.5

Exemples de prompts

Prompt de raisonnement simple

Système :
Vous êtes un assistant de raisonnement précis. Résolvez soigneusement et présentez uniquement la réponse finale ainsi qu’une brève explication.

Utilisateur :
Un train part à 8h15 et arrive à 11h47. Combien de temps a duré le trajet ?

Utilisez reasoning_effort="high" pour ce style de prompt.

Prompt OCR / document

Pour l’OCR et l’extraction de documents, mettez l’image en premier et demandez une sortie structurée.

[image d’abord]
Extrayez tout le texte de ce reçu. Retournez le commerçant, la date, les éléments de ligne et le total sous forme de JSON.

Prompt de comparaison multimodale

[image 1]
[image 2]
Comparez ces deux captures d’écran et dites-moi laquelle est la plus susceptible de dérouter un nouvel utilisateur. Donnez 3 raisons concrètes.

Prompt d’agent de codage

Vous êtes un agent de codage travaillant dans un dépôt.
Inspectez d’abord les fichiers pertinents, puis proposez un correctif minimal.
Retournez la réponse finale avec : résumé, fichiers modifiés, tests exécutés et risques.

Utilisez reasoning_effort="high" et appel d’outils pour l’exploration de la base de code.

Prompt JSON / appel de fonction

Utilisez les outils fournis chaque fois qu’un calcul ou une recherche est nécessaire.
Retournez uniquement du JSON valide. N’incluez aucun texte en dehors de l’objet JSON.

Benchmarks