> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/grundlagen/inference-and-deployment/lm-studio.md). # Modelle in LM Studio bereitstellen Modelle als GGUF speichern, damit du sie in LM Studio ausführen und bereitstellen kannst Sie können Ihr feinabgestimmtes LLM direkt in LM Studio ausführen und bereitstellen. [LM Studio](https://lmstudio.ai/) ermöglicht das einfache Ausführen und Bereitstellen von **GGUF** Modellen (llama.cpp-Format). Sie können unser [LM Studio-Notebook](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/FunctionGemma_\(270M\)-LMStudio.ipynb) oder folgen Sie den Anweisungen unten: 1. **Exportieren Sie Ihr mit Unsloth feinabgestimmtes Modell nach `.gguf`** 2. **Importieren / laden Sie die GGUF-Datei in LM Studio** 3. **Laden Sie es in Chat** (oder führen Sie es hinter einer OpenAI-kompatiblen lokalen API aus)

Vor der Feinabstimmung in LM Studio

Nach der Feinabstimmung in LM Studio

### 1) Nach GGUF exportieren (aus Unsloth) Wenn Sie bereits ein `.gguf`, überspringen Sie zu **Importieren in LM Studio**. ```python # Lokal speichern (erstellt GGUF-Artefakte im Ordner) model.save_pretrained_gguf("my_model_gguf", tokenizer, quantization_method = "q4_k_m") # model.save_pretrained_gguf("my_model_gguf", tokenizer, quantization_method = "q8_0") # model.save_pretrained_gguf("my_model_gguf", tokenizer, quantization_method = "f16") # Oder GGUF zum Hugging Face Hub pushen model.push_to_hub_gguf("hf_username/my_model_gguf", tokenizer, quantization_method = "q4_k_m") ``` {% hint style="info" %} `q4_k_m` ist normalerweise die Standardeinstellung für lokale Ausführungen. `q8_0` ist optimal für Qualität mit nahezu voller Präzision. `f16` ist am größten / langsamsten, aber mit originaler, nicht quantisierter Präzision. {% endhint %} ### 2) Die GGUF in LM Studio importieren {% tabs %} {% tab title="CLI-Import (lms import)" %} LM Studio stellt eine CLI namens `lms` bereit, die eine lokale `.gguf` in den Modelle-Ordner von LM Studio importieren kann. **GGUF-Datei importieren:** ```bash lms import /path/to/model.gguf ``` **Die Originaldatei behalten (kopieren statt verschieben):** ```bash lms import /path/to/model.gguf --copy ```
Klicken Sie für weitere anpassbare private Einstellungen **Das Modell am Speicherort belassen (symbolischer Link):** Das ist hilfreich für große Modelle, die auf einem dedizierten Laufwerk gespeichert sind. ```bash lms import /path/to/model.gguf --symbolic-link ``` **Prompts überspringen und den Ziel-Namespace selbst auswählen:** ```bash lms import /path/to/model.gguf --user-repo my-user/my-finetuned-models ``` **Trockenlauf (zeigt, was passieren wird):** ```bash lms import /path/to/model.gguf --dry-run ```
Nach dem Import sollte das Modell in LM Studio unter **Meine Modelle**.
{% endtab %} {% tab title="Von Hugging Face" %} Wenn Sie Ihr GGUF-Repo zu Hugging Face gepusht haben, können Sie es direkt aus LM Studio heraus herunterladen. **Option A: Verwenden Sie den integrierten Downloader von LM Studio** 1. Öffnen Sie LM Studio 2. Gehen Sie zum **Entdecken** Tab 3. Suchen Sie nach `hf_username/repo_name` (oder fügen Sie die Hugging-Face-URL ein) 4. Laden Sie die gewünschte Quantisierung herunter (z. B. `Q4_K_M`) **Option B: Verwenden Sie den CLI-Downloader** ```bash # Von HF nach Repo-Namen herunterladen lms get hf_username/my_model_gguf # Wählen Sie eine Quantisierung mit @ lms get hf_username/my_model_gguf@Q4_K_M ``` {% endtab %} {% tab title="Manueller Import (Ordnerstruktur)" %} Wenn Sie die CLI nicht verwenden möchten, können Sie die `.gguf` Datei in die von LM Studio erwartete Modellverzeichnisstruktur legen. LM Studio erwartet, dass Modelle so aussehen: ``` ~/.lmstudio/models/ └── publisher/ └── model/ └── model-file.gguf ``` Beispiel: ``` ~/.lmstudio/models/ └── my-name/ └── my-finetune/ └── my-finetune-Q4_K_M.gguf ``` Dann öffnen Sie LM Studio und prüfen Sie **Meine Modelle**. **Tipp:** Sie können Ihr Modellverzeichnis über den **Meine Modelle** Tab in LM Studio verwalten / überprüfen. {% endtab %} {% endtabs %} ### 3) In LM Studio laden und chatten 1. Öffnen Sie LM Studio → **Chat** 2. Öffnen Sie den **Modelllader** 3. Wählen Sie Ihr importiertes Modell aus 4. (Optional) Ladeeinstellungen anpassen (GPU-Auslagerung, Kontextlänge usw.) 5. Normal im UI chatten ### 4) Stellen Sie Ihr feinabgestimmtes Modell als lokale API bereit (OpenAI-kompatibel) LM Studio kann Ihr geladenes Modell hinter einer OpenAI-kompatiblen API bereitstellen (praktisch für Apps wie Open WebUI, benutzerdefinierte Agents, Skripte usw.). {% tabs %} {% tab title="GUI (Entwickler-Tab)" %} 1. Laden Sie Ihr Modell in LM Studio 2. Gehen Sie zum **Entwickler** Tab 3. Starten Sie den lokalen Server 4. Verwenden Sie die angezeigte Basis-URL (standardmäßig ist dies meist `http://localhost:1234/v1`) {% endtab %} {% tab title="CLI (lms load + lms server start)" %} #### 1) Verfügbare Modelle auflisten ```bash lms ls ``` #### 2) Laden Sie Ihr Modell (optionale Flags) ```bash lms load --gpu=auto --context-length=8192 ``` Hinweise: * `--gpu=1.0` bedeutet „versuche, 100 % auf die GPU auszulagern“ * Sie können eine stabile Kennung festlegen: ```bash lms load --identifier="my-finetuned-model" ``` #### 3) Starten Sie den Server ```bash lms server start --port 1234 ``` {% endtab %} {% endtabs %} **Schnelltest: Modelle auflisten** ```bash curl http://localhost:1234/v1/models ``` **Python-Beispiel (OpenAI SDK):** {% code expandable="true" %} ```python from openai import OpenAI client = OpenAI( base_url="http://localhost:1234/v1", api_key="lm-studio", # LM Studio benötigt möglicherweise keinen echten Schlüssel; dies ist ein gängiger Platzhalter ) resp = client.chat.completions.create( model="model-identifier-from-lm-studio", messages=[ {"role": "system", "content": "Du bist ein hilfreicher Assistent."}, {"role": "user", "content": "Hallo! Wofür habe ich dich feinabgestimmt?"}, ], temperature=0.7, # Passen Sie die Temperatur an die Bedürfnisse Ihres Modells an ) print(resp.choices[0].message.content) ``` {% endcode %} **cURL-Beispiel (Chat-Completions):** {% code expandable="true" %} ```bash curl http://localhost:1234/v1/chat/completions \\ -H "Content-Type: application/json" \ -d '{ "model": "model-identifier-from-lm-studio", "messages": [ {"role": "user", "content": "Sag, dass dies ein Test ist!"} ], "temperature": 0.7 # Passen Sie die Temperatur an die Bedürfnisse Ihres Modells an }' ``` {% endcode %} {% hint style="info" %} **Debugging-Tipp:** Wenn Sie Formatierungen/Vorlagen debuggen, können Sie den *rohen* Prompt untersuchen, den LM Studio an das Modell sendet, indem Sie ausführen: `lms log stream` {% endhint %} ### Fehlerbehebung #### **Das Modell läuft in Unsloth, aber die Ausgabe von LM Studio ist Kauderwelsch / wiederholt sich** Das ist fast immer eine **Nichtübereinstimmung zwischen Prompt-Vorlage / Chat-Vorlage**. LM Studio wird **automatisch erkennen** die Prompt-Vorlage anhand der GGUF-Metadaten, wenn möglich, aber benutzerdefinierte oder falsch getaggte Modelle benötigen möglicherweise eine manuelle Überschreibung. **Lösung:** 1. Gehe zu **Meine Modelle** → Klicken Sie auf das Zahnrad ⚙️ neben Ihrem Modell 2. Suchen Sie **Prompt-Vorlage** und setzen Sie sie so, dass sie zur Vorlage passt, mit der Sie trainiert haben 3. Alternativ in der Chat-Seitenleiste: aktivieren Sie das **Prompt-Vorlage** Kontrollkästchen (Sie können erzwingen, dass es immer angezeigt wird) #### LM Studio zeigt mein Modell nicht unter „Meine Modelle“ an * Bevorzugen `lms import /path/to/model.gguf` * Oder bestätigen Sie, dass sich die Datei in der richtigen Ordnerstruktur befindet: `~/.lmstudio/models/publisher/model/model-file.gguf` #### OOM / langsame Leistung * Verwenden Sie eine kleinere Quantisierung (z. B.: `Q4_K_M`) * Kontextlänge reduzieren * GPU-Auslagerung anpassen (LM Studio „Standardwerte pro Modell“ / Ladeeinstellungen) *** ### Weitere Ressourcen * [LM Studio + Unsloth Blogbeitrag](https://lmstudio.ai/blog/functiongemma-unsloth) (FunctionGemma-Durchgang): * LM Studio [Dokumentation zum Importieren von Modellen](https://lmstudio.ai/docs/app/advanced/import-model) * LM Studio [Dokumentation zu Prompt-Vorlagen](https://lmstudio.ai/docs/app/advanced/prompt-template) * LM Studio [Dokumentation zur OpenAI-kompatiblen API](https://lmstudio.ai/docs/developer/openai-compat) --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/de/grundlagen/inference-and-deployment/lm-studio.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.