Modelle in LM Studio bereitstellen

Modelle in GGUF speichern, damit du sie in LM Studio ausführen und bereitstellen kannst

Sie können Ihr feinabgestimmtes LLM direkt in LM Studio ausführen und bereitstellen. LM Studio ermöglicht das einfache Ausführen und Bereitstellen von GGUF Modellen (llama.cpp-Format).

Sie können unser LM Studio-Notebook verwenden oder die folgenden Anweisungen befolgen:

1. Exportieren Sie Ihr mit Unsloth feinabgestimmtes Modell nach .gguf

2. GGUF in LM Studio importieren / herunterladen

3. Laden Sie es im Chat (oder führen Sie es hinter einer OpenAI-kompatiblen lokalen API aus)

Vor dem Finetuning in LM Studio

Nach dem Finetuning in LM Studio

1) Export nach GGUF (aus Unsloth)

Wenn Sie bereits ein .ggufexportiert haben, springen Sie zu Import in LM Studio.

# Lokal speichern (erstellt GGUF-Artefakte im Ordner)
model.save_pretrained_gguf("my_model_gguf", tokenizer, quantization_method = "q4_k_m")
# model.save_pretrained_gguf("my_model_gguf", tokenizer, quantization_method = "q8_0")
# model.save_pretrained_gguf("my_model_gguf", tokenizer, quantization_method = "f16")

# Oder GGUF zum Hugging Face Hub pushen
model.push_to_hub_gguf("hf_username/my_model_gguf", tokenizer, quantization_method = "q4_k_m")

q4_k_m ist normalerweise der Standard für lokale Ausführungen.

q8_0 ist optimal für Qualität nahe der Vollpräzision.

f16 ist am größten / langsamsten, aber die ursprüngliche nicht quantisierte Präzision.

2) Importieren Sie das GGUF in LM Studio

CLI-Import (lms import)

LM Studio stellt ein CLI-Tool namens lms bereit, das ein lokales .gguf in den Modelle-Ordner von LM Studio importieren kann.

GGUF-Datei importieren:

lms import /pfad/zu/model.gguf

Die Originaldatei behalten (kopieren statt verschieben):

lms import /pfad/zu/model.gguf --copy

Für weitere anpassbare private Einstellungen klicken

Das Modell dort belassen, wo es ist (Symlink):

Das ist hilfreich für große Modelle, die auf einem dedizierten Laufwerk gespeichert sind.

lms import /pfad/zu/model.gguf --symbolic-link

Eingabeaufforderungen überspringen und den Ziel-Namespace selbst wählen:

lms import /pfad/zu/model.gguf --user-repo my-user/my-finetuned-models

Trockenlauf (zeigt, was passieren wird):

lms import /pfad/zu/model.gguf --dry-run

Nach dem Import sollte das Modell in LM Studio unter Meine Modelle.

Von Hugging Face

Manueller Import (Ordnerstruktur)

3) Laden und chatten in LM Studio

1. Öffnen Sie LM Studio → Chat

2. Öffnen Sie den Modell-Lader

3. Wählen Sie Ihr importiertes Modell aus

4. (Optional) Ladeeinstellungen anpassen (GPU-Auslagerung, Kontextlänge usw.)

5. Normal im UI chatten

4) Stellen Sie Ihr feinabgestimmtes Modell als lokale API bereit (OpenAI-kompatibel)

LM Studio kann Ihr geladenes Modell hinter einer OpenAI-kompatiblen API bereitstellen (praktisch für Apps wie Open WebUI, benutzerdefinierte Agents, Skripte usw.).

GUI (Entwickler-Tab)

1. Laden Sie Ihr Modell in LM Studio

2. Gehen Sie zum Entwickler Tab

3. Starten Sie den lokalen Server

4. Verwenden Sie die angezeigte Basis-URL (Standard ist normalerweise http://localhost:1234/v1)

CLI (lms load + lms server start)

Schnelltest: Modelle auflisten

curl http://localhost:1234/v1/models

Python-Beispiel (OpenAI SDK):

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:1234/v1",
    api_key="lm-studio",  # LM Studio benötigt möglicherweise keinen echten Schlüssel; dies ist ein gängiger Platzhalter
)

resp = client.chat.completions.create(
    model="model-identifier-from-lm-studio",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Hello! What did I fine-tune you to do?"},
    ],
    temperature=0.7, # passen Sie die Temperatur an die Anforderungen Ihres Modells an
)

print(resp.choices[0].message.content)

cURL-Beispiel (Chat-Vervollständigungen):

curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "model-identifier-from-lm-studio",
    "messages": [
      {"role": "user", "content": "Say this is a test!"}
    ],
    "temperature": 0.7 # passen Sie die Temperatur an die Anforderungen Ihres Modells an
  }'

Debugging-Tipp: Wenn Sie Probleme mit Formatierung/Vorlagen beheben, können Sie die rohe Eingabeaufforderung, die LM Studio an das Modell sendet, einsehen, indem Sie Folgendes ausführen: lms log stream

Fehlerbehebung

Modell läuft in Unsloth, aber die Ausgabe von LM Studio ist Kauderwelsch / wiederholt sich

Das ist fast immer ein Mismatch zwischen Prompt-Vorlage / Chat-Vorlage.

LM Studio wird, automatisch erkennen die Prompt-Vorlage aus den GGUF-Metadaten, wenn möglich, aber benutzerdefinierte oder falsch getaggte Modelle benötigen möglicherweise eine manuelle Überschreibung.

Behebung:

1. Gehen Sie zu Meine Modelle → klicken Sie auf das Zahnrad ⚙️ neben Ihrem Modell

2. Finden Sie Prompt-Vorlage und setzen Sie sie so, dass sie zur Vorlage passt, mit der Sie trainiert haben

3. Alternativ können Sie in der Chat-Seitenleiste das Prompt-Vorlage Feld aktivieren (Sie können erzwingen, dass es immer angezeigt wird)

LM Studio zeigt mein Modell nicht unter „Meine Modelle“ an

• Bevorzugen Sie lms import /pfad/zu/model.gguf

• Oder bestätigen Sie, dass sich die Datei in der korrekten Ordnerstruktur befindet: ~/.lmstudio/models/publisher/model/model-file.gguf

OOM / langsame Leistung

• Verwenden Sie eine kleinere Quantisierung (z. B.: Q4_K_M)

• Reduzieren Sie die Kontextlänge

• Passen Sie die GPU-Auslagerung an (LM Studio „Vorgaben pro Modell“ / Ladeeinstellungen)

---

Weitere Ressourcen

• LM Studio + Unsloth Blogbeitrag (FunctionGemma-Durchgang):

• LM Studio Dokumentation zum Import von Modellen

• LM Studio Dokumentation zu Prompt-Vorlagen

• LM Studio Dokumentation zur OpenAI-kompatiblen API