Aller au contenu
For the complete documentation index, see llms.txt. This page is also available as Markdown.

Flint : guide d’exécution en local

Exécutez Recursive Flint localement avec les GGUF dynamiques d’Unsloth, Unsloth Desktop et llama.cpp.

Recursive Flint est un un MoE de 39,8 milliards de paramètres (2,5 milliards actifs), avec raisonnement, utilisation d’outils en plusieurs tours et contexte de 256K. Flint est publié sous Apache-2.0 et est le modèle MoE le plus performant avec moins de 50 milliards de paramètres sur les benchmarks de codage agentique. Exécutez-le localement dans Unsloth Desktop ou llama.cpp avec les GGUF 3 bits d’Unsloth sur 24 Go de RAM. Vous pouvez atteindre plus de 125 jetons/s sur un MacBook Pro M4 Pro et plus de 150 sur un NVIDIA RTX Spark de 64 Go.

Nos GGUF UD-Q3_K_XL 3 bits font 18,50 Go et tiennent dans des configurations de 24 Go de RAM avec des contextes courts. Le GGUF BF16 complet fait 79,58 Go, tandis que le UD-Q4_K_XL fait 25,05 Go. GGUF : unsloth/flint-GGUF

⚙️ Guide d’utilisation

Tableau : exigences matérielles (RAM + VRAM, ou mémoire unifiée).

2 bits
3 bits
4 bits
6 bits
8 bits

13–15 Go

16–20 Go

26 Go

38 Go

44 Go

Flint exécuté dans Unsloth.

Paramètres recommandés

Recursive recommande les paramètres d’échantillonnage suivants :

Paramètre
Réglage

Température

1.0

Top-p

0.95

Top-k

20

Contexte maximal

262 144 jetons (prompt + sortie)

Modèle de chat : Utilisez le modèle fourni avec le GGUF. Pour les clients multi-tours personnalisés, conservez les messages retournés reasoning_content et les messages d’appel d’outils dans l’historique de la conversation, comme décrit dans la fiche du modèle.

Lancer le guide Flint

Nous utiliserons UD-Q4_K_XL (25,05 Go). Si la mémoire est limitée, sélectionnez UD-Q3_K_XL (18,5 Go) à la place.

Vous pouvez aussi consulter le guide officiel de Recursive pour Flint ici.

🦥 Exécuter Flint dans Unsloth Desktop

Exécutez Flint dans Unsloth Desktop sur macOS, Windows et Linux.

1

Installer Unsloth

Téléchargez et lancez la dernière application Unsloth Desktop pour votre appareil :

Pour une installation manuelle sur macOS, Linux ou WSL :

Pour PowerShell Windows :

2

Télécharger et exécuter Flint

  1. Ouvrez le hub des modèles ou le Sélectionner le modèle menu déroulant dans le chat.

  2. Recherchez unsloth/flint-GGUFsélectionnez le dépôt Unsloth et téléchargez UD-Q4_K_XL ou une quantification plus petite.

Flint accepte une saisie textuelle. Consultez notre guide Unsloth Chat pour le chargement du modèle et les paramètres d’inférence.

3

Connecter un agent de codage

Après avoir installé Unsloth et votre agent préféré, exécutez ceci depuis le dossier de votre projet :

Cela utilise un contexte plus large pour les tâches de codage et nécessite plus de mémoire que l’exemple 8K. Vous pouvez remplacer claude par un autre agent pris en charge, comme opencode. Voir Unsloth Start pour la configuration et les intégrations prises en charge.

4

Servir Flint avec l’API Unsloth

Utilisez unsloth run pour charger la quantification et la servir localement. Le :UD-Q4_K_XL suffixe choisit la quantification :

Utilisez le point de terminaison et les détails d’authentification affichés par Unsloth. Pour l’accès à l’API Desktop, créez une clé dans Paramètres → API et suivez notre guide API pour connecter votre client.

📊 Analyse de la quantification

Les benchmarks ci-dessous issus du README GGUF de Flint comparent la qualité de quantification à la taille du modèle. Une KLD plus faible est meilleure ; une précision top-1 plus élevée est meilleure. Ils mesurent à quel point chaque quantification correspond au modèle de référence. En savoir plus sur les GGUF dynamiques 3.0 d’Unsloth.

🦙 Exécuter Flint dans llama.cpp

1

Compiler llama.cpp

Utilisez la dernière version de llama.cpp avec la prise en charge de Flint. Les commandes ci-dessous utilisent un shell macOS/Linux/WSL. Installez d’abord Git, CMake et un compilateur C++. Pour NVIDIA, installez également le kit d’outils CUDA.

Apple Silicon : remplacez -DGGML_CUDA=ON par -DGGML_CUDA=OFF; Metal est activé par défaut. Pour les compilations uniquement CPU, définissez aussi -DGGML_METAL=OFF sur macOS. Voir les instructions de compilation pour les autres plateformes.

2

Téléchargez le GGUF Unsloth

Depuis le même répertoire de travail, téléchargez le fichier 4 bits exact :

Pour le modèle 2 bits plus petit, remplacez le nom de fichier par flint-UD-IQ2_XXS.gguf dans les commandes de téléchargement et d’exécution. Si vous choisissez BF16, téléchargez les trois fragments dans le même dossier et pointez l’environnement d’exécution vers le premier fragment.

3

Discuter avec Flint

--jinja utilise le modèle de chat du modèle. Réduisez --n-gpu-layers si la VRAM est limitée, ou définissez-le à 0 pour l’inférence CPU. Conservez suffisamment de RAM système pour les couches déchargées.

Benchmarks

Modèle

Terminal-Bench 2.1

SWE-bench Pro v2†

SWE-bench Verified

LiveCodeBench v6

IFBench

IFEval

Flint BF16

54.9

89.7

74.2

80.3

89.2

95.1

Flint NVFP4

53.7

88.5

74.1

80.8

88.1

94.6

Qwen 3.5

38.7

68.6

69.2

74.6

70.2

91.9

Qwen 3.6

44.9

73.8

73.4

80.4

67.9

89.6

Laguna XS 2.1

24,7†

38.6

70.9

49,5†

34,4†

73,7†

Qwen 3.8

73.0

94.9

75,6†

90.3

79.5

94,6†

Muse Glimmer

51.7

86.0

76.0

63,5†

77.0

94,7†

Gemma 4

43.4

61.7

66.6

80.0

76.0

94.6

Notes du graphique :

  • † = Mesuré en interne (comme indiqué sur le graphique original).

  • Flint BF16 : 40 milliards de paramètres au total, environ 2 milliards actifs.

  • Flint NVFP4 : checkpoint Flint quantifié.

  • Qwen 3.5, Qwen 3.6, Laguna XS 2.1 : catégorie MoE sparse (33–35 milliards au total, 3 milliards actifs).

  • Qwen 3.8, Muse Glimmer, Gemma 4 : catégorie dense (27–31 milliards).

  • Tous les graphiques de benchmarks utilisent une échelle commençant à zéro.

Mis à jour

Ce contenu vous a-t-il été utile ?