Modelle in LM Studio bereitstellen

Modelle als GGUF speichern, damit du sie in LM Studio ausführen und bereitstellen kannst

Sie können Ihr feinabgestimmtes LLM direkt in LM Studio ausführen und bereitstellen. LM Studio ermöglicht das einfache Ausführen und Bereitstellen von GGUF Modellen (llama.cpp-Format).

Sie können unser LM Studio-Notebook verwenden oder die folgenden Anweisungen befolgen:

Exportieren Sie Ihr mit Unsloth feinabgestimmtes Modell nach .gguf
GGUF in LM Studio importieren / herunterladen
Laden Sie es im Chat (oder führen Sie es hinter einer OpenAI-kompatiblen lokalen API aus)

1) Export nach GGUF (aus Unsloth)

Wenn Sie bereits ein .ggufexportiert haben, springen Sie zu Import in LM Studio.

# Lokal speichern (erstellt GGUF-Artefakte im Ordner)
model.save_pretrained_gguf("my_model_gguf", tokenizer, quantization_method = "q4_k_m")
# model.save_pretrained_gguf("my_model_gguf", tokenizer, quantization_method = "q8_0")
# model.save_pretrained_gguf("my_model_gguf", tokenizer, quantization_method = "f16")

# Oder GGUF zum Hugging Face Hub pushen
model.push_to_hub_gguf("hf_username/my_model_gguf", tokenizer, quantization_method = "q4_k_m")

q4_k_m ist normalerweise der Standard für lokale Ausführungen.

q8_0 ist optimal für Qualität nahe der Vollpräzision.

f16 ist am größten / langsamsten, aber die ursprüngliche nicht quantisierte Präzision.

2) Importieren Sie das GGUF in LM Studio

LM Studio stellt ein CLI-Tool namens lms bereit, das ein lokales .gguf in den Modelle-Ordner von LM Studio importieren kann.

GGUF-Datei importieren:

lms import /pfad/zu/model.gguf

Die Originaldatei behalten (kopieren statt verschieben):

lms import /pfad/zu/model.gguf --copy

Für weitere anpassbare private Einstellungen klicken

Das Modell dort belassen, wo es ist (Symlink):

Das ist hilfreich für große Modelle, die auf einem dedizierten Laufwerk gespeichert sind.

lms import /pfad/zu/model.gguf --symbolic-link

Eingabeaufforderungen überspringen und den Ziel-Namespace selbst wählen:

lms import /pfad/zu/model.gguf --user-repo my-user/my-finetuned-models

Trockenlauf (zeigt, was passieren wird):

lms import /pfad/zu/model.gguf --dry-run

Nach dem Import sollte das Modell in LM Studio unter Meine Modelle.

Wenn Sie Ihr GGUF-Repo zu Hugging Face gepusht haben, können Sie es direkt in LM Studio herunterladen.

Option A: Den In-App-Downloader von LM Studio verwenden

Öffnen Sie LM Studio
Gehen Sie zum Discover Tab
Suchen Sie nach hf_username/repo_name (oder fügen Sie die Hugging-Face-URL ein)
Laden Sie die gewünschte Quantisierung herunter (z. B. Q4_K_M)

Option B: Den CLI-Downloader verwenden

# Von HF anhand des Repo-Namens herunterladen
lms get hf_username/my_model_gguf

# Wählen Sie eine Quantisierung mit @
lms get hf_username/my_model_gguf@Q4_K_M

Wenn Sie das CLI nicht verwenden möchten, können Sie die .gguf Datei in die von LM Studio erwartete Verzeichnisstruktur für Modelle legen.

LM Studio erwartet, dass Modelle so aussehen:

~/.lmstudio/models/
└── publisher/
    └── model/
        └── model-file.gguf

Beispiel:

~/.lmstudio/models/
└── my-name/
    └── my-finetune/
        └── my-finetune-Q4_K_M.gguf

Öffnen Sie dann LM Studio und prüfen Sie Meine Modelle.

Tipp: Sie können Ihr Modelle-Verzeichnis über den Meine Modelle Tab in LM Studio verwalten / überprüfen.

3) Laden und chatten in LM Studio

Öffnen Sie LM Studio → Chat
Öffnen Sie den Modell-Lader
Wählen Sie Ihr importiertes Modell aus
(Optional) Ladeeinstellungen anpassen (GPU-Auslagerung, Kontextlänge usw.)
Normal im UI chatten

4) Stellen Sie Ihr feinabgestimmtes Modell als lokale API bereit (OpenAI-kompatibel)

LM Studio kann Ihr geladenes Modell hinter einer OpenAI-kompatiblen API bereitstellen (praktisch für Apps wie Open WebUI, benutzerdefinierte Agents, Skripte usw.).

Laden Sie Ihr Modell in LM Studio
Gehen Sie zum Entwickler Tab
Starten Sie den lokalen Server
Verwenden Sie die angezeigte Basis-URL (Standard ist normalerweise http://localhost:1234/v1)

1) Verfügbare Modelle auflisten

lms ls

2) Laden Sie Ihr Modell (optionale Flags)

lms load <model-identifier> --gpu=auto --context-length=8192

Hinweise:

--gpu=1.0 bedeutet „versuche, 100 % auf die GPU auszulagern“
Sie können einen stabilen Bezeichner festlegen:

lms load <model-identifier> --identifier="my-finetuned-model"

3) Den Server starten

lms server start --port 1234

Schnelltest: Modelle auflisten

curl http://localhost:1234/v1/models

Python-Beispiel (OpenAI SDK):

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:1234/v1",
    api_key="lm-studio",  # LM Studio benötigt möglicherweise keinen echten Schlüssel; dies ist ein gängiger Platzhalter
)

resp = client.chat.completions.create(
    model="model-identifier-from-lm-studio",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Hello! What did I fine-tune you to do?"},
    ],
    temperature=0.7, # passen Sie die Temperatur an die Anforderungen Ihres Modells an
)

print(resp.choices[0].message.content)

cURL-Beispiel (Chat-Vervollständigungen):

curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "model-identifier-from-lm-studio",
    "messages": [
      {"role": "user", "content": "Say this is a test!"}
    ],
    "temperature": 0.7 # passen Sie die Temperatur an die Anforderungen Ihres Modells an
  }'

Debugging-Tipp: Wenn Sie Probleme mit Formatierung/Vorlagen beheben, können Sie die rohe Eingabeaufforderung, die LM Studio an das Modell sendet, einsehen, indem Sie Folgendes ausführen: lms log stream

Fehlerbehebung

Modell läuft in Unsloth, aber die Ausgabe von LM Studio ist Kauderwelsch / wiederholt sich

Das ist fast immer ein Mismatch zwischen Prompt-Vorlage / Chat-Vorlage.

LM Studio wird, automatisch erkennen die Prompt-Vorlage aus den GGUF-Metadaten, wenn möglich, aber benutzerdefinierte oder falsch getaggte Modelle benötigen möglicherweise eine manuelle Überschreibung.

Behebung:

Gehen Sie zu Meine Modelle → klicken Sie auf das Zahnrad ⚙️ neben Ihrem Modell
Finden Sie Prompt-Vorlage und setzen Sie sie so, dass sie zur Vorlage passt, mit der Sie trainiert haben
Alternativ können Sie in der Chat-Seitenleiste das Prompt-Vorlage Feld aktivieren (Sie können erzwingen, dass es immer angezeigt wird)

LM Studio zeigt mein Modell nicht unter „Meine Modelle“ an

Bevorzugen Sie lms import /pfad/zu/model.gguf
Oder bestätigen Sie, dass sich die Datei in der korrekten Ordnerstruktur befindet: ~/.lmstudio/models/publisher/model/model-file.gguf

OOM / langsame Leistung

Verwenden Sie eine kleinere Quantisierung (z. B.: Q4_K_M)
Reduzieren Sie die Kontextlänge
Passen Sie die GPU-Auslagerung an (LM Studio „Vorgaben pro Modell“ / Ladeeinstellungen)

Weitere Ressourcen

LM Studio + Unsloth Blogbeitrag (FunctionGemma-Durchgang):
LM Studio Dokumentation zum Import von Modellen
LM Studio Dokumentation zu Prompt-Vorlagen
LM Studio Dokumentation zur OpenAI-kompatiblen API

Zuletzt aktualisiert vor 4 Monaten

War das hilfreich?