🐋DeepSeek-R1 : Comment exécuter localement

Un guide sur la façon dont vous pouvez exécuter nos quantifications dynamiques 1.58-bit pour DeepSeek-R1 en utilisant llama.cpp.

Veuillez consulter https://docs.unsloth.ai/basics/deepseek-r1-0528-how-to-run-locally pour une version mise à jour de DeepSeek R1-0528 (version du 28 mai 2025)

Utilisation de llama.cpp (recommandé)

1. N'oubliez pas <｜User｜> et <｜Assistant｜> jetons ! - Ou utilisez un formatteur de modèle de chat

2. Obtenez le dernier llama.cpp à : github.com/ggerganov/llama.cpp. Vous pouvez également suivre les instructions de build ci-dessous :

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggerganov/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=ON -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

1. Il est préférable d'utiliser --min-p 0.05 pour contrer les prédictions de jetons très rares - j'ai trouvé que cela fonctionnait bien en particulier pour le modèle 1,58 bit.

2. Téléchargez le modèle via :

# pip install huggingface_hub hf_transfer
# import os # Optionnel pour un téléchargement plus rapide
# os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"

from huggingface_hub import snapshot_download
snapshot_download(
  repo_id = "unsloth/DeepSeek-R1-GGUF",
  local_dir = "DeepSeek-R1-GGUF",
  allow_patterns = ["*UD-IQ1_S*"], # Sélectionnez le type de quantification UD-IQ1_S pour 1,58 bit
)

1. Exemple avec cache quantifié Q4_0 K Remarque : -no-cnv désactive le mode conversation automatique

./llama.cpp/llama-cli \
    --model DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf \
    --cache-type-k q4_0 \
    -no-cnv --prio 2 \
    --temp 0.6 \
    --ctx-size 8192 \
    --seed 3407 \
    --prompt "<｜User｜>What is 1+1?<｜Assistant｜>"

Exemple de sortie :

 <think>
 D'accord, je dois déterminer ce que vaut 1 plus 1. Hmm, par où commencer ? Je me rappelle à l'école que l'addition de nombres est assez basique, mais je veux m'assurer de bien comprendre.
 Laissez-moi réfléchir, 1 plus 1. Donc, j'ai un objet et j'en ajoute un autre. Peut-être comme une pomme plus une autre pomme. Si j'ai une pomme et que quelqu'un m'en donne une autre, j'ai maintenant deux pommes. Donc, 1 plus 1 devrait faire 2. Ça a du sens.
 Attendez, mais parfois les mathématiques peuvent être trompeuses. Cela pourrait-il être autre chose ? Comme dans un autre système de numération peut-être ? Mais je pense que la question est directe, en utilisant des nombres ordinaires, pas en binaire ou en hexadécimal ou autre.
 Je me souviens aussi qu'en arithmétique, l'addition consiste à combiner des quantités. Donc, si vous avez deux quantités de 1, les combiner donne un total de 2. Oui, cela semble correct.
 Y a-t-il un scénario où 1 plus 1 ne serait pas 2 ? Je n'en vois pas...

1. Si vous disposez d'un GPU (par exemple une RTX 4090) avec 24 Go, vous pouvez décharger plusieurs couches sur le GPU pour un traitement plus rapide. Si vous avez plusieurs GPU, vous pouvez probablement décharger plus de couches.

./llama.cpp/llama-cli \
    --model DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf \
    --cache-type-k q4_0 \
    -no-cnv --prio 2 \
    --n-gpu-layers 7 \
    --temp 0.6 \
    --ctx-size 8192 \
    --seed 3407 \
    --prompt "<｜User｜>Create a Flappy Bird game in Python.<｜Assistant｜>"

1. Pour tester notre exemple Flappy Bird comme mentionné dans notre article de blog ici : https://unsloth.ai/blog/deepseekr1-dynamic, nous pouvons produire le 2ᵉ exemple ci-dessous en utilisant notre quantification dynamique 1,58 bit :

DeepSeek R1 original

Quantification dynamique 1,58 bit

Le prompt utilisé est le suivant :

<｜User｜>Créez un jeu Flappy Bird en Python. Vous devez inclure les éléments suivants :
1. Vous devez utiliser pygame.
2. La couleur de fond doit être choisie aléatoirement et être une teinte claire. Commencez par un bleu clair.
3. Appuyer plusieurs fois sur ESPACE accélérera l'oiseau.
4. La forme de l'oiseau doit être choisie aléatoirement parmi un carré, un cercle ou un triangle. La couleur doit être choisie aléatoirement parmi des couleurs foncées.
5. Placez en bas un terrain coloré aléatoirement en marron foncé ou jaune.
6. Affichez un score en haut à droite. Incrémentez-le si vous passez les tuyaux sans les toucher.
7. Créez des tuyaux espacés aléatoirement avec suffisamment d'espace. Colorez-les aléatoirement en vert foncé, marron clair ou en une teinte gris foncé.
8. Lorsque vous perdez, affichez le meilleur score. Faites apparaître le texte à l'intérieur de l'écran. Appuyer sur q ou Esc quittera le jeu. Redémarrer se fait en appuyant de nouveau sur ESPACE.
Le jeu final doit se trouver dans une section markdown en Python. Vérifiez votre code pour les erreurs et corrigez-les avant la section finale en markdown.<｜Assistant｜>

Pour appeler llama.cpp en utilisant cet exemple, nous faisons :

./llama.cpp/llama-cli \
    --model DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf \
    --cache-type-k q4_0 \
    -no-cnv --prio 2 \
    --n-gpu-layers 7 \
    --temp 0.6 \
    --ctx-size 8192 \
    --seed 3407 \
    --prompt "<｜User｜>Créez un jeu Flappy Bird en Python. Vous devez inclure les éléments suivants:\n1. Vous devez utiliser pygame.\n2. La couleur de fond doit être choisie aléatoirement et être une teinte claire. Commencez par un bleu clair.\n3. Appuyer plusieurs fois sur ESPACE accélérera l'oiseau.\n4. La forme de l'oiseau doit être choisie aléatoirement parmi un carré, un cercle ou un triangle. La couleur doit être choisie aléatoirement parmi des couleurs foncées.\n5. Placez en bas un terrain coloré aléatoirement en marron foncé ou jaune.\n6. Affichez un score en haut à droite. Incrémentez-le si vous passez les tuyaux sans les toucher.\n7. Créez des tuyaux espacés aléatoirement avec suffisamment d'espace. Colorez-les aléatoirement en vert foncé, marron clair ou en une teinte gris foncé.\n8. Lorsque vous perdez, affichez le meilleur score. Faites apparaître le texte à l'intérieur de l'écran. Appuyer sur q ou Esc quittera le jeu. Redémarrer se fait en appuyant de nouveau sur ESPACE.\nLe jeu final doit se trouver dans une section markdown en Python. Vérifiez votre code pour les erreurs et corrigez-les avant la section finale en markdown.<｜Assistant｜>"

1. Aussi, si vous voulez fusionner les poids ensemble pour une utilisation dans Ollama par exemple, utilisez ce script :

./llama.cpp/llama-gguf-split --merge \
    DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf \
    merged_file.gguf

1. DeepSeek R1 a 61 couches. Par exemple, avec un GPU de 24 Go ou 80 Go, vous pouvez vous attendre à décharger après arrondi vers le bas (réduire de 1 si cela provoque un dépassement de mémoire) :

Quant	Taille du fichier	GPU 24 Go	GPU 80 Go	2xGPU 80 Go
1,58 bit	131 Go	7	33	Toutes les couches 61
1,73 bit	158 Go	5	26	57
2,22 bit	183 Go	4	22	49
2,51 bit	212 Go	2	19	32

Exécution sur Mac / appareils Apple

Pour les appareils Apple Metal, faites attention à --n-gpu-layers. Si vous constatez que la machine manque de mémoire, réduisez-le. Pour une machine avec 128 Go de mémoire unifiée, vous devriez pouvoir décharger environ 59 couches.

./llama.cpp/llama-cli \
    --model DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf \
    --cache-type-k q4_0 \
    --prio 2 \
    --temp 0.6 \
    --ctx-size 8192 \
    --seed 3407 \
    --n-gpu-layers 59 \
    -no-cnv \
    --prompt "<｜User｜>Create a Flappy Bird game in Python.<｜Assistant｜>"

Exécuter dans Ollama/Open WebUI

Open WebUI a réalisé un tutoriel étape par étape sur la façon d'exécuter R1 ici : docs.openwebui.com/tutorials/integrations/deepseekr1-dynamic/ Si vous voulez utiliser Ollama pour l'inférence sur des GGUF, vous devez d'abord fusionner les 3 fichiers GGUF scindés en 1 comme le code ci-dessous. Ensuite, vous devrez exécuter le modèle localement.

./llama.cpp/llama-gguf-split --merge \
  DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf \
	merged_file.gguf

Modèle de chat DeepSeek

Toutes les versions distillées et le modèle principal R1 671B utilisent le même modèle de chat :

<｜begin▁of▁sentence｜><｜User｜>What is 1+1?<｜Assistant｜>It's 2.<｜end▁of▁sentence｜><｜User｜>Explain more!<｜Assistant｜>

Un BOS est ajouté de force, et un EOS sépare chaque interaction. Pour éviter les doubles jetons BOS lors de l'inférence, vous ne devriez appeler que tokenizer.encode(..., add_special_tokens = False) puisque le modèle de chat ajoute automatiquement un jeton BOS également. Pour l'inférence avec llama.cpp / GGUF, vous devez ignorer le BOS puisqu'il l'ajoutera automatiquement.

<｜User｜>What is 1+1?<｜Assistant｜>

Les jetons <think> et </think> ont leurs propres jetons désignés. Pour les versions distillées de Qwen et Llama, certains jetons ont été remappés, tandis que Qwen par exemple n'avait pas de jeton BOS, donc <|object_ref_start|> a dû être utilisé à la place. Mappages d'ID du tokenizer :

Jeton	R1	Distill Qwen	Distill Llama
<think>	128798	151648	128013
</think>	128799	151649	128014
<|begin_of_sentence|>	0	151646	128000
<|end_of_sentence|>	1	151643	128001
<|User|>	128803	151644	128011
<|Assistant|>	128804	151645	128012
Jeton de remplissage	2	151654	128004

Jetons originaux dans les modèles :

Jeton	Qwen 2.5 32B Base	Llama 3.3 70B Instruct
<think>	<|box_start|>	<|reserved_special_token_5|>
</think>	<|box_end|>	<|reserved_special_token_6|>
<｜begin▁of▁sentence｜>	<|object_ref_start|>	<|begin_of_text|>
<｜end▁of▁sentence｜>	<|endoftext|>	<|end_of_text|>
<｜User｜>	<|im_start|>	<|reserved_special_token_3|>
<｜Assistant｜>	<|im_end|>	<|reserved_special_token_4|>
Jeton de remplissage	<|vision_pad|>	<|finetune_right_pad_id|>

Toutes les versions distillées et les versions R1 originales semblent avoir attribué par erreur le jeton de remplissage à <｜end▁of▁sentence｜>, ce qui n'est généralement pas une bonne idée, surtout si vous souhaitez affiner davantage ces modèles de raisonnement. Cela provoquera des générations infinies sans fin, car la plupart des frameworks masquent le jeton EOS en le remplaçant par -100. Nous avons corrigé toutes les versions distillées et les versions R1 originales avec le jeton de remplissage correct (Qwen utilise <|vision_pad|>, Llama utilise <|finetune_right_pad_id|>, et R1 utilise <｜▁pad▁｜> ou notre propre <｜PAD▁TOKEN｜> ajouté).

Tableau GGUF R1

Bits MoE	Type	Taille sur disque	Précision	Lien	Détails
1,58 bit	UD-IQ1_S	131 Go	Correct	Lien	MoE tout en 1,56 bit. down_proj dans MoE mélange de 2,06/1,56 bit
1,73 bit	UD-IQ1_M	158 Go	Bon	Lien	MoE tout en 1,56 bit. down_proj dans MoE laissé à 2,06 bit
2,22 bit	UD-IQ2_XXS	183 Go	Meilleur	Lien	MoE tout en 2,06 bit. down_proj dans MoE mélange de 2,5/2,06 bit
2,51 bit	UD-Q2_K_XL	212 Go	Meilleur	Lien	MoE tout en 2,5 bit. down_proj dans MoE mélange de 3,5/2,5 bit