Cogito v2.1 : comment l'exécuter localement

Les LLMs Cogito v2.1 font partie des modèles ouverts les plus puissants au monde, entraînés avec l'IDA. La version v1 existe aussi en 4 tailles : 70B, 109B, 405B et 671B, ce qui vous permet de choisir la taille la mieux adaptée à votre matériel.

Deep Cogito v2.1 est un MoE 671B mis à jour, qui est le modèle à poids ouverts le plus puissant au 19 novembre 2025.

Cogito v2.1 existe en une taille MoE de 1 671B, tandis que Cogito v2 Preview est Deep Cogitoa lancé des modèles couvrant 4 tailles de modèles allant de 70B à 671B. En utilisant IDA (Distillation itérative & Amplification) , ces modèles sont entraînés de sorte que le modèle internalise le processus de raisonnement à l’aide d’une amélioration itérative de la politique, plutôt que de simplement chercher plus longtemps au moment de l’inférence (comme DeepSeek R1).

Deep Cogito est basé à San Fransisco, États-Unis (comme Unsloth 🇺🇸) et nous sommes ravis de fournir des modèles dynamiques quantifiés pour les 4 tailles de modèles ! Tous les téléchargements utilisent Unsloth Dynamic 2.0 pour des performances SOTA en MMLU à 5 exemples et en divergence KL, ce qui signifie que vous pouvez exécuter et affiner ces LLM quantifiés avec une perte de précision minimale !

Navigation des tutoriels :

Exécuter le MoE 671BExécuter le MoE 109BExécuter le Dense 405BExécuter le Dense 70B

Choisissez la taille de modèle qui convient à votre matériel ! Nous proposons des variantes de 1,58 bit à 16 bits pour les 4 tailles de modèles !

💎 Tailles de modèles et téléchargements

Il existe 4 tailles de modèles :

1. 2 modèles Dense basés sur Llama - 70B et 405B

2. 2 modèles MoE basés sur Llama 4 Scout (109B) et DeepSeek R1 (671B)

Tailles de modèles	Quantification recommandée et lien	Taille sur disque	Architecture
Dense 70B	UD-Q4_K_XL	44 Go	Llama 3 70B
MoE 109B	UD-Q3_K_XL	50 Go	Llama 4 Scout
Dense 405B	UD-Q2_K_XL	152 Go	Llama 3 405B
MoE 671B	UD-Q2_K_XL	251 Go	DeepSeek R1

Bien que ce ne soit pas nécessaire, pour de meilleures performances, faites en sorte que votre VRAM + RAM combinées soient égales à la taille de la quantification que vous téléchargez. Si vous avez moins de VRAM + RAM, la quantification fonctionnera quand même, mais beaucoup plus lentement.

🐳 Exécuter Cogito 671B MoE dans llama.cpp

1. Obtenez la dernière version llama.cpp sur GitHub ici. Vous pouvez également suivre les instructions de compilation ci-dessous. Changez -DGGML_CUDA=ON en -DGGML_CUDA=OFF si vous n’avez pas de GPU ou si vous souhaitez simplement une inférence CPU. Pour les appareils Apple Mac / Metal, définissez -DGGML_CUDA=OFF puis continuez comme d'habitude - la prise en charge de Metal est activée par défaut.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split llama-mtmd-cli
cp llama.cpp/build/bin/llama-* llama.cpp

1. Si vous souhaitez utiliser llama.cpp pour charger directement les modèles, vous pouvez faire ce qui suit : (:IQ1_S) est le type de quantification. Vous pouvez aussi télécharger via Hugging Face (point 3). C’est similaire à ollama run . Utilisez export LLAMA_CACHE="folder" pour forcer llama.cpp pour enregistrer à un emplacement spécifique.

Veuillez essayer -ot ".ffn_.*_exps.=CPU" pour décharger toutes les couches MoE vers le CPU ! Cela permet effectivement de faire tenir toutes les couches non MoE sur 1 GPU, améliorant ainsi les vitesses de génération. Vous pouvez personnaliser l'expression regex pour faire tenir davantage de couches si vous disposez de plus de capacité GPU.

Si vous avez un peu plus de mémoire GPU, essayez -ot ".ffn_(up|down)_exps.=CPU" Cela décharge les couches MoE de projection montante et descendante.

Essayez -ot ".ffn_(up)_exps.=CPU" si vous avez encore plus de mémoire GPU. Cela décharge uniquement les couches MoE de projection montante.

Et enfin, déchargez toutes les couches via -ot ".ffn_.*_exps.=CPU" Cela utilise le moins de VRAM.

Vous pouvez aussi personnaliser la regex, par exemple -ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU" signifie décharger les couches MoE gate, up et down, mais uniquement à partir de la 6e couche.

export LLAMA_CACHE="unsloth/cogito-671b-v2.1-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/cogito-671b-v2.1-GGUF:UD-Q2_K_XL \
    --n-gpu-layers 99 \
    --temp 0.6 \
    --top-p 0.95 \
    --min-p 0.01 \
    --ctx-size 16384 \
    --seed 3407 \
    --jinja \
    -ot ".ffn_.*_exps.=CPU"

1. Téléchargez le modèle via (après avoir installé pip install huggingface_hub hf_transfer ). Vous pouvez choisir UD-IQ1_S(quantification dynamique 1,78 bit) ou d’autres versions quantifiées comme Q4_K_M . Nous recommandons d’utiliser notre quantification dynamique 2,7 bits UD-Q2_K_XL pour équilibrer taille et précision. Plus de versions sur : https://huggingface.co/unsloth/cogito-671b-v2.1-GGUF

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0" # Peut parfois être soumis à une limitation de débit, donc mettez à 0 pour désactiver
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/cogito-671b-v2.1-GGUF",
    local_dir = "unsloth/cogito-671b-v2.1-GGUF",
    allow_patterns = ["*UD-IQ1_S*"], # 1 bit dynamique (168 Go) Utilisez "*UD-Q2_K_XL*" pour une quantification dynamique 2 bits (251 Go)
)

1. Modifier --threads 32 pour le nombre de threads CPU, --ctx-size 16384 pour la longueur du contexte, --n-gpu-layers 2 pour le déchargement GPU, selon le nombre de couches. Essayez de l’ajuster si votre GPU manque de mémoire. Supprimez-le aussi si vous n'avez qu'une inférence CPU.

🖱️Exécuter Cogito 109B MoE dans llama.cpp

1. Suivez les mêmes instructions que pour l’exécution du modèle 671B ci-dessus.

2. Ensuite, exécutez ce qui suit :

export LLAMA_CACHE="unsloth/cogito-v2-preview-llama-109B-MoE-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/cogito-v2-preview-llama-109B-MoE-GGUF:Q3_K_XL \
    --n-gpu-layers 99 \
    --temp 0.6 \
    --min-p 0.01 \
    --top-p 0.9 \
    --ctx-size 16384 \
    --jinja \
    -ot ".ffn_.*_exps.=CPU"

🌳Exécuter Cogito 405B Dense dans llama.cpp

1. Suivez les mêmes instructions que pour l’exécution du modèle 671B ci-dessus.

2. Ensuite, exécutez ce qui suit :

export LLAMA_CACHE="unsloth/cogito-v2-preview-llama-405B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/cogito-v2-preview-llama-405B-GGUF:Q2_K_XL \
    --n-gpu-layers 99 \
    --temp 0.6 \
    --min-p 0.01 \
    --top-p 0.9 \
    --jinja \
    --ctx-size 16384

😎 Exécuter Cogito 70B Dense dans llama.cpp

1. Suivez les mêmes instructions que pour l’exécution du modèle 671B ci-dessus.

2. Ensuite, exécutez ce qui suit :

export LLAMA_CACHE="unsloth/cogito-v2-preview-llama-70B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/cogito-v2-preview-llama-70B-GGUF:Q4_K_XL \
    --n-gpu-layers 99 \
    --temp 0.6 \
    --min-p 0.01 \
    --top-p 0.9 \
    --jinja \
    --ctx-size 16384

Voir https://www.deepcogito.com/research/cogito-v2-1 pour plus de détails