Flint : guide d’exécution en local
Exécutez Recursive Flint localement avec les GGUF dynamiques d’Unsloth, Unsloth Desktop et llama.cpp.
Recursive Flint est un un MoE de 39,8 milliards de paramètres (2,5 milliards actifs), avec raisonnement, utilisation d’outils en plusieurs tours et contexte de 256K. Flint est publié sous Apache-2.0 et est le modèle MoE le plus performant avec moins de 50 milliards de paramètres sur les benchmarks de codage agentique. Exécutez-le localement dans Unsloth Desktop ou llama.cpp avec les GGUF 3 bits d’Unsloth sur 24 Go de RAM. Vous pouvez atteindre plus de 125 jetons/s sur un MacBook Pro M4 Pro et plus de 150 sur un NVIDIA RTX Spark de 64 Go.
Nos GGUF UD-Q3_K_XL 3 bits font 18,50 Go et tiennent dans des configurations de 24 Go de RAM avec des contextes courts. Le GGUF BF16 complet fait 79,58 Go, tandis que le UD-Q4_K_XL fait 25,05 Go. GGUF : unsloth/flint-GGUF
⚙️ Guide d’utilisation
Tableau : exigences matérielles (RAM + VRAM, ou mémoire unifiée).
13–15 Go
16–20 Go
26 Go
38 Go
44 Go

Paramètres recommandés
Recursive recommande les paramètres d’échantillonnage suivants :
Température
1.0
Top-p
0.95
Top-k
20
Contexte maximal
262 144 jetons (prompt + sortie)
Modèle de chat : Utilisez le modèle fourni avec le GGUF. Pour les clients multi-tours personnalisés, conservez les messages retournés reasoning_content et les messages d’appel d’outils dans l’historique de la conversation, comme décrit dans la fiche du modèle.
Lancer le guide Flint
Nous utiliserons UD-Q4_K_XL (25,05 Go). Si la mémoire est limitée, sélectionnez UD-Q3_K_XL (18,5 Go) à la place.
Vous pouvez aussi consulter le guide officiel de Recursive pour Flint ici.
🦥 Exécuter Flint dans Unsloth Desktop
Exécutez Flint dans Unsloth Desktop sur macOS, Windows et Linux.
Installer Unsloth
Téléchargez et lancez la dernière application Unsloth Desktop pour votre appareil :
Pour une installation manuelle sur macOS, Linux ou WSL :
Pour PowerShell Windows :
Télécharger et exécuter Flint
Ouvrez le hub des modèles ou le Sélectionner le modèle menu déroulant dans le chat.
Recherchez
unsloth/flint-GGUFsélectionnez le dépôt Unsloth et téléchargezUD-Q4_K_XLou une quantification plus petite.
Flint accepte une saisie textuelle. Consultez notre guide Unsloth Chat pour le chargement du modèle et les paramètres d’inférence.

Connecter un agent de codage
Après avoir installé Unsloth et votre agent préféré, exécutez ceci depuis le dossier de votre projet :
Cela utilise un contexte plus large pour les tâches de codage et nécessite plus de mémoire que l’exemple 8K. Vous pouvez remplacer claude par un autre agent pris en charge, comme opencode. Voir Unsloth Start pour la configuration et les intégrations prises en charge.
Servir Flint avec l’API Unsloth
Utilisez unsloth run pour charger la quantification et la servir localement. Le :UD-Q4_K_XL suffixe choisit la quantification :
Utilisez le point de terminaison et les détails d’authentification affichés par Unsloth. Pour l’accès à l’API Desktop, créez une clé dans Paramètres → API et suivez notre guide API pour connecter votre client.
📊 Analyse de la quantification
Les benchmarks ci-dessous issus du README GGUF de Flint comparent la qualité de quantification à la taille du modèle. Une KLD plus faible est meilleure ; une précision top-1 plus élevée est meilleure. Ils mesurent à quel point chaque quantification correspond au modèle de référence. En savoir plus sur les GGUF dynamiques 3.0 d’Unsloth.


🦙 Exécuter Flint dans llama.cpp
Compiler llama.cpp
Utilisez la dernière version de llama.cpp avec la prise en charge de Flint. Les commandes ci-dessous utilisent un shell macOS/Linux/WSL. Installez d’abord Git, CMake et un compilateur C++. Pour NVIDIA, installez également le kit d’outils CUDA.
Apple Silicon : remplacez -DGGML_CUDA=ON par -DGGML_CUDA=OFF; Metal est activé par défaut. Pour les compilations uniquement CPU, définissez aussi -DGGML_METAL=OFF sur macOS. Voir les instructions de compilation pour les autres plateformes.
Téléchargez le GGUF Unsloth
Depuis le même répertoire de travail, téléchargez le fichier 4 bits exact :
Pour le modèle 2 bits plus petit, remplacez le nom de fichier par flint-UD-IQ2_XXS.gguf dans les commandes de téléchargement et d’exécution. Si vous choisissez BF16, téléchargez les trois fragments dans le même dossier et pointez l’environnement d’exécution vers le premier fragment.
Benchmarks

Modèle
Terminal-Bench 2.1
SWE-bench Pro v2†
SWE-bench Verified
LiveCodeBench v6
IFBench
IFEval
Flint BF16
54.9
89.7
74.2
80.3
89.2
95.1
Flint NVFP4
53.7
88.5
74.1
80.8
88.1
94.6
Qwen 3.5
38.7
68.6
69.2
74.6
70.2
91.9
Qwen 3.6
44.9
73.8
73.4
80.4
67.9
89.6
Laguna XS 2.1
24,7†
38.6
70.9
49,5†
34,4†
73,7†
Qwen 3.8
73.0
94.9
75,6†
90.3
79.5
94,6†
Muse Glimmer
51.7
86.0
76.0
63,5†
77.0
94,7†
Gemma 4
43.4
61.7
66.6
80.0
76.0
94.6
Notes du graphique :
† = Mesuré en interne (comme indiqué sur le graphique original).
Flint BF16 : 40 milliards de paramètres au total, environ 2 milliards actifs.
Flint NVFP4 : checkpoint Flint quantifié.
Qwen 3.5, Qwen 3.6, Laguna XS 2.1 : catégorie MoE sparse (33–35 milliards au total, 3 milliards actifs).
Qwen 3.8, Muse Glimmer, Gemma 4 : catégorie dense (27–31 milliards).
Tous les graphiques de benchmarks utilisent une échelle commençant à zéro.
Mis à jour
Ce contenu vous a-t-il été utile ?

