Déployer des modèles dans LM Studio

Enregistrer des modèles au format GGUF afin de pouvoir les exécuter et les déployer dans LM Studio

Vous pouvez exécuter et déployer directement dans LM Studio votre LLM affiné. LM Studio permet l’exécution et le déploiement faciles de GGUF modèles (format llama.cpp).

Vous pouvez utiliser notre notebook LM Studio ou suivre les instructions ci-dessous :

Exportez votre modèle affiné Unsloth vers .gguf
Importez / téléchargez le GGUF dans LM Studio
Chargez-le dans Chat (ou exécutez-le derrière une API locale compatible OpenAI)

1) Exporter en GGUF (depuis Unsloth)

Si vous avez déjà exporté un .gguf, passez à Importation dans LM Studio.

# Enregistrer localement (crée des artefacts GGUF dans le dossier)
model.save_pretrained_gguf("my_model_gguf", tokenizer, quantization_method = "q4_k_m")
# model.save_pretrained_gguf("my_model_gguf", tokenizer, quantization_method = "q8_0")
# model.save_pretrained_gguf("my_model_gguf", tokenizer, quantization_method = "f16")

# Ou pousser GGUF vers le Hugging Face Hub
model.push_to_hub_gguf("hf_username/my_model_gguf", tokenizer, quantization_method = "q4_k_m")

q4_k_m est généralement la valeur par défaut pour les exécutions locales.

q8_0 est l’optimum pour une qualité proche de la précision complète.

f16 est le plus volumineux / le plus lent, mais avec la précision originale non quantifiée.

2) Importer le GGUF dans LM Studio

LM Studio fournit une CLI appelée lms qui peut importer un .gguf local dans le dossier des modèles de LM Studio.

Importer un fichier GGUF :

lms import /path/to/model.gguf

Conserver le fichier original (copier au lieu de déplacer) :

lms import /path/to/model.gguf --copy

Cliquez pour plus de paramètres privés personnalisables

Conserver le modèle à son emplacement (lien symbolique) :

C’est utile pour les grands modèles stockés sur un disque dédié.

lms import /path/to/model.gguf --symbolic-link

Ignorer les invites et choisir vous-même l’espace de noms cible :

lms import /path/to/model.gguf --user-repo my-user/my-finetuned-models

Exécution à blanc (montre ce qui va se passer) :

lms import /path/to/model.gguf --dry-run

Après l’importation, le modèle devrait apparaître dans LM Studio sous Mes modèles.

Si vous avez poussé votre dépôt GGUF vers Hugging Face, vous pouvez le télécharger directement depuis LM Studio.

Option A : utilisez le téléchargeur intégré à l’application LM Studio

Ouvrez LM Studio
Allez dans l’onglet Discover onglet
Recherchez hf_username/repo_name (ou collez l’URL Hugging Face)
Téléchargez la quantification que vous voulez (par ex. Q4_K_M)

Option B : utilisez le téléchargeur CLI

# Télécharger depuis HF par nom de dépôt
lms get hf_username/my_model_gguf

# Choisir une quantification avec @
lms get hf_username/my_model_gguf@Q4_K_M

Si vous ne souhaitez pas utiliser la CLI, vous pouvez placer le .gguf fichier dans la structure de répertoires de modèles attendue par LM Studio.

LM Studio s’attend à ce que les modèles ressemblent à ceci :

~/.lmstudio/models/
└── publisher/
    └── model/
        └── model-file.gguf

Exemple :

~/.lmstudio/models/
└── my-name/
    └── my-finetune/
        └── my-finetune-Q4_K_M.gguf

Puis ouvrez LM Studio et vérifiez Mes modèles.

Conseil : Vous pouvez gérer / vérifier votre répertoire de modèles depuis l’onglet Mes modèles dans LM Studio.

3) Charger et discuter dans LM Studio

Ouvrez LM Studio → Chat
Ouvrez le chargeur de modèle
Sélectionnez votre modèle importé
(Facultatif) ajustez les paramètres de chargement (déchargement GPU, longueur du contexte, etc.)
Discutez normalement dans l’interface

4) Servez votre modèle affiné comme API locale (compatible OpenAI)

LM Studio peut servir votre modèle chargé derrière une API compatible OpenAI (pratique pour des applications comme Open WebUI, des agents personnalisés, des scripts, etc.).

Chargez votre modèle dans LM Studio
Allez dans l’onglet Développeur onglet
Démarrez le serveur local
Utilisez l’URL de base affichée (la valeur par défaut est généralement http://localhost:1234/v1)

1) Lister les modèles disponibles

lms ls

2) Chargez votre modèle (arguments facultatifs)

lms load <model-identifier> --gpu=auto --context-length=8192

Remarques :

--gpu=1.0 signifie « essayer de décharger 100 % sur le GPU »
Vous pouvez définir un identifiant stable :

lms load <model-identifier> --identifier="my-finetuned-model"

3) Démarrer le serveur

lms server start --port 1234

Test rapide : lister les modèles

curl http://localhost:1234/v1/models

Exemple Python (SDK OpenAI) :

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:1234/v1",
    api_key="lm-studio",  # LM Studio peut ne pas nécessiter de vraie clé ; c’est un espace réservé courant
)

resp = client.chat.completions.create(
    model="model-identifier-from-lm-studio",
    messages=[
        {"role": "system", "content": "Vous êtes un assistant utile."},
        {"role": "user", "content": "Bonjour ! À quoi m’avez-vous été affiné pour faire ?"},
    ],
    temperature=0.7, # ajustez la température selon les besoins de votre modèle
)

print(resp.choices[0].message.content)

Exemple cURL (chat completions) :

curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "model-identifier-from-lm-studio",
    "messages": [
      {"role": "user", "content": "Dites que ceci est un test !"}
    ],
    "temperature": 0.7 # ajustez la température selon les besoins de votre modèle
  }'

Astuce de débogage : Si vous dépannez le formatage / les modèles, vous pouvez inspecter le brut prompt que LM Studio envoie au modèle en exécutant : lms log stream

Dépannage

Le modèle fonctionne dans Unsloth, mais la sortie de LM Studio est du charabia / se répète

C’est presque toujours un décalage entre le modèle d’invite / le modèle de chat.

LM Studio va détecter automatiquement le modèle d’invite à partir des métadonnées GGUF lorsque c’est possible, mais les modèles personnalisés ou mal étiquetés peuvent nécessiter une substitution manuelle.

Correction :

(globe Mes modèles → cliquez sur l’icône engrenage ⚙️ à côté de votre modèle
Recherchez Modèle d’invite et réglez-le pour qu’il corresponde au modèle avec lequel vous avez entraîné
Sinon, dans la barre latérale Chat : activez la Modèle d’invite case (vous pouvez forcer son affichage permanent)

LM Studio n’affiche pas mon modèle dans « Mes modèles »

Préférez lms import /path/to/model.gguf
Ou confirmez que le fichier se trouve dans la bonne structure de dossiers : ~/.lmstudio/models/publisher/model/model-file.gguf

OOM / performances lentes

Utilisez une quantification plus petite (ex : Q4_K_M)
Réduisez la longueur du contexte
Ajustez le déchargement GPU (paramètres « Valeurs par défaut par modèle » / chargement de LM Studio)

Plus de ressources

Article de blog LM Studio + Unsloth (Présentation FunctionGemma) :
LM Studio Documentation Import Models
LM Studio Documentation Prompt Template
LM Studio Documentation de l’API compatible OpenAI

Mis à jour il y a 3 mois

Ce contenu vous a-t-il été utile ?