Cogito v2.1 : comment l'exécuter localement
Les LLMs Cogito v2.1 font partie des modèles ouverts les plus puissants au monde, entraînés avec l'IDA. La version v1 existe aussi en 4 tailles : 70B, 109B, 405B et 671B, ce qui vous permet de choisir la taille la mieux adaptée à votre matériel.
Deep Cogito v2.1 est un MoE 671B mis à jour, qui est le modèle à poids ouverts le plus puissant au 19 novembre 2025.
Cogito v2.1 existe en une taille MoE de 1 671B, tandis que Cogito v2 Preview est Deep Cogitoa lancé des modèles couvrant 4 tailles de modèles allant de 70B à 671B. En utilisant IDA (Distillation itérative & Amplification) , ces modèles sont entraînés de sorte que le modèle internalise le processus de raisonnement à l’aide d’une amélioration itérative de la politique, plutôt que de simplement chercher plus longtemps au moment de l’inférence (comme DeepSeek R1).
Deep Cogito est basé à San Fransisco, États-Unis (comme Unsloth 🇺🇸) et nous sommes ravis de fournir des modèles dynamiques quantifiés pour les 4 tailles de modèles ! Tous les téléchargements utilisent Unsloth Dynamic 2.0 pour des performances SOTA en MMLU à 5 exemples et en divergence KL, ce qui signifie que vous pouvez exécuter et affiner ces LLM quantifiés avec une perte de précision minimale !
Navigation des tutoriels :
Exécuter le MoE 671BExécuter le MoE 109BExécuter le Dense 405BExécuter le Dense 70B
Choisissez la taille de modèle qui convient à votre matériel ! Nous proposons des variantes de 1,58 bit à 16 bits pour les 4 tailles de modèles !
💎 Tailles de modèles et téléchargements
Il existe 4 tailles de modèles :
2 modèles Dense basés sur Llama - 70B et 405B
2 modèles MoE basés sur Llama 4 Scout (109B) et DeepSeek R1 (671B)
Bien que ce ne soit pas nécessaire, pour de meilleures performances, faites en sorte que votre VRAM + RAM combinées soient égales à la taille de la quantification que vous téléchargez. Si vous avez moins de VRAM + RAM, la quantification fonctionnera quand même, mais beaucoup plus lentement.
🐳 Exécuter Cogito 671B MoE dans llama.cpp
Obtenez la dernière version
llama.cppsur GitHub ici. Vous pouvez également suivre les instructions de compilation ci-dessous. Changez-DGGML_CUDA=ONen-DGGML_CUDA=OFFsi vous n’avez pas de GPU ou si vous souhaitez simplement une inférence CPU. Pour les appareils Apple Mac / Metal, définissez-DGGML_CUDA=OFFpuis continuez comme d'habitude - la prise en charge de Metal est activée par défaut.
Si vous souhaitez utiliser
llama.cpppour charger directement les modèles, vous pouvez faire ce qui suit : (:IQ1_S) est le type de quantification. Vous pouvez aussi télécharger via Hugging Face (point 3). C’est similaire àollama run. Utilisezexport LLAMA_CACHE="folder"pour forcerllama.cpppour enregistrer à un emplacement spécifique.
Veuillez essayer -ot ".ffn_.*_exps.=CPU" pour décharger toutes les couches MoE vers le CPU ! Cela permet effectivement de faire tenir toutes les couches non MoE sur 1 GPU, améliorant ainsi les vitesses de génération. Vous pouvez personnaliser l'expression regex pour faire tenir davantage de couches si vous disposez de plus de capacité GPU.
Si vous avez un peu plus de mémoire GPU, essayez -ot ".ffn_(up|down)_exps.=CPU" Cela décharge les couches MoE de projection montante et descendante.
Essayez -ot ".ffn_(up)_exps.=CPU" si vous avez encore plus de mémoire GPU. Cela décharge uniquement les couches MoE de projection montante.
Et enfin, déchargez toutes les couches via -ot ".ffn_.*_exps.=CPU" Cela utilise le moins de VRAM.
Vous pouvez aussi personnaliser la regex, par exemple -ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU" signifie décharger les couches MoE gate, up et down, mais uniquement à partir de la 6e couche.
Téléchargez le modèle via (après avoir installé
pip install huggingface_hub hf_transfer). Vous pouvez choisirUD-IQ1_S(quantification dynamique 1,78 bit) ou d’autres versions quantifiées commeQ4_K_M. Nous recommandons d’utiliser notre quantification dynamique 2,7 bitsUD-Q2_K_XLpour équilibrer taille et précision. Plus de versions sur : https://huggingface.co/unsloth/cogito-671b-v2.1-GGUF
Modifier
--threads 32pour le nombre de threads CPU,--ctx-size 16384pour la longueur du contexte,--n-gpu-layers 2pour le déchargement GPU, selon le nombre de couches. Essayez de l’ajuster si votre GPU manque de mémoire. Supprimez-le aussi si vous n'avez qu'une inférence CPU.
🖱️Exécuter Cogito 109B MoE dans llama.cpp
Suivez les mêmes instructions que pour l’exécution du modèle 671B ci-dessus.
Ensuite, exécutez ce qui suit :
🌳Exécuter Cogito 405B Dense dans llama.cpp
Suivez les mêmes instructions que pour l’exécution du modèle 671B ci-dessus.
Ensuite, exécutez ce qui suit :
😎 Exécuter Cogito 70B Dense dans llama.cpp
Suivez les mêmes instructions que pour l’exécution du modèle 671B ci-dessus.
Ensuite, exécutez ce qui suit :
Voir https://www.deepcogito.com/research/cogito-v2-1 pour plus de détails
Mis à jour
Ce contenu vous a-t-il été utile ?

