Déployer des modèles vers LM Studio

Sauvegarder des modèles en GGUF afin de pouvoir les exécuter et les déployer sur LM Studio

Vous pouvez exécuter et déployer votre LLM affiné directement dans LM Studio. LM Studio permet d'exécuter et de déployer facilement des GGUF modèles (format llama.cpp).

Vous pouvez utiliser notre carnet LM Studio ou suivez les instructions ci-dessous :

1. Exportez votre modèle affiné Unsloth vers .gguf

2. Importez / téléchargez le GGUF dans LM Studio

3. Chargez-le dans Chat (ou exécutez-le derrière une API locale compatible OpenAI)

Avant l'affinage dans LM Studio

Après l'affinage dans LM Studio

1) Exporter en GGUF (depuis Unsloth)

Si vous avez déjà exporté un .gguf, passez à Importation dans LM Studio.

# Enregistrer localement (crée des artefacts GGUF dans le dossier)
model.save_pretrained_gguf("my_model_gguf", tokenizer, quantization_method = "q4_k_m")
# model.save_pretrained_gguf("my_model_gguf", tokenizer, quantization_method = "q8_0")
# model.save_pretrained_gguf("my_model_gguf", tokenizer, quantization_method = "f16")

# Ou pousser le GGUF sur le Hugging Face Hub
model.push_to_hub_gguf("hf_username/my_model_gguf", tokenizer, quantization_method = "q4_k_m")

q4_k_m est généralement la valeur par défaut pour les exécutions locales.

q8_0 est l'optimum pour une qualité proche de la pleine précision.

f16 est le plus grand / le plus lent, mais la précision d'origine non quantifiée.

2) Importer le GGUF dans LM Studio

Import CLI (lms import)

LM Studio fournit une CLI appelée lms qui peut importer un .gguf local dans le dossier des modèles de LM Studio.

Importer un fichier GGUF :

lms import /path/to/model.gguf

Conserver le fichier d'origine (copier au lieu de déplacer) :

lms import /path/to/model.gguf --copy

Cliquez pour des paramètres privés plus personnalisables

Garder le modèle à son emplacement (lien symbolique) :

Ceci est utile pour les grands modèles stockés sur un disque dédié.

lms import /path/to/model.gguf --symbolic-link

Passer les invites et choisir vous-même l'espace de noms cible :

lms import /path/to/model.gguf --user-repo my-user/my-finetuned-models

Exécution à blanc (montre ce qui va se passer) :

lms import /path/to/model.gguf --dry-run

Après l'importation, le modèle devrait apparaître dans LM Studio sous Mes modèles.

Depuis Hugging Face

Importation manuelle (structure du dossier)

3) Charger et chatter dans LM Studio

1. Ouvrez LM Studio → Chat

2. Ouvrez l' chargeur de modèles

3. Sélectionnez votre modèle importé

4. (Optionnel) ajustez les paramètres de chargement (déchargement GPU, longueur du contexte, etc.)

5. Discutez normalement dans l'interface utilisateur

4) Servir votre modèle affiné en tant qu'API locale (compatible OpenAI)

LM Studio peut servir votre modèle chargé derrière une API compatible OpenAI (pratique pour des applications comme Open WebUI, agents personnalisés, scripts, etc.).

GUI (onglet Développeur)

1. Chargez votre modèle dans LM Studio

2. Allez au Développeur onglet

3. Démarrez le serveur local

4. Utilisez l'URL de base affichée (la valeur par défaut est généralement http://localhost:1234/v1)

CLI (lms load + lms server start)

Test rapide : lister les modèles

curl http://localhost:1234/v1/models

Exemple Python (OpenAI SDK) :

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:1234/v1",
    api_key="lm-studio",  # LM Studio peut ne pas nécessiter de clé réelle ; ceci est un placeholder courant
)

resp = client.chat.completions.create(
    model="model-identifier-from-lm-studio",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Hello! What did I fine-tune you to do?"},
    ],
    temperature=0.7, # ajustez la température selon les besoins de votre modèle
)

print(resp.choices[0].message.content)

Exemple cURL (chat completions) :

curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "model-identifier-from-lm-studio",
    "messages": [
      {"role": "user", "content": "Say this is a test!"}
    ],
    "temperature": 0.7 # ajustez la température selon les besoins de votre modèle
  }'

Conseil de débogage : Si vous dépannez des formats/modèles de templates, vous pouvez inspecter le brut prompt que LM Studio envoie au modèle en exécutant : lms log stream

Dépannage

Le modèle fonctionne dans Unsloth, mais la sortie dans LM Studio est du charabia / se répète

Ceci est presque toujours un mismatch du modèle de prompt / modèle de chat.

LM Studio va détecter automatiquement le modèle de prompt à partir des métadonnées GGUF quand c'est possible, mais les modèles personnalisés ou mal étiquetés peuvent nécessiter une substitution manuelle.

Correction :

1. Allez à Mes modèles → cliquez sur l'engrenage ⚙️ à côté de votre modèle

2. Trouvez Modèle de prompt et réglez-le pour correspondre au template avec lequel vous avez entraîné

3. Alternativement, dans la barre latérale Chat : activez la Modèle de prompt case (vous pouvez forcer son affichage permanent)

LM Studio n'affiche pas mon modèle dans « Mes modèles »

• Préférez lms import /path/to/model.gguf

• Ou confirmez que le fichier est dans la structure de dossiers correcte : ~/.lmstudio/models/publisher/model/model-file.gguf

OOM / performances lentes

• Utilisez une quantification plus petite (ex : Q4_K_M)

• Réduisez la longueur du contexte

• Ajustez le déchargement GPU ("Paramètres par modèle" / paramètres de chargement de LM Studio)

---

Plus de ressources

• Article de blog LM Studio + Unsloth (Parcours FunctionGemma) :

• LM Studuo Docs Importer des modèles

• LM Studio Docs Modèle de prompt

• LM Studio Docs API compatible OpenAI