> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/glm-5.3-flash.md).
# GLM-5.3-Flash: So führst du es lokal aus
Führe das neue GLM-5.3-Flash, auch bekannt als ox-alpha, von Z.ai aus.
GLM-5.3-Flash, auch bekannt als **`ox-alpha`**, ist Z.ais neues multimodales Open-Model mit 320B Parametern (18B aktiv), das **übertrifft** [GLM-5.2](/docs/de/modelle/glm-5.2.md). GLM-5.3-Flash ist die kleinere Version von [GLM-5.3](/docs/de/modelle/glm-5.3.md) und kann es mit **Claude Opus 4.8** bei Coding- und agentischen Benchmarks aufnehmen. Du kannst das 1-Bit-Modell jetzt lokal auf 102 GB RAM/VRAM oder 3-Bit auf 128-GB-Setups über llama.cpp oder [Unsloth](https://github.com/unslothai/unsloth). Vielen Dank an Z.ai für den Zugang ab Tag 0.
Unsloth dynamisch **1-Bit** (93 GB) GGUFs behalten **71 % der Top-1%-Genauigkeit** wobei es **85 % kleiner** im Vergleich zu BF16 (642 GB). Dynamisches 3-Bit ist 76 % kleiner und behält 87 % Genauigkeit.
Anleitung zum Ausführen von GLM-5.3-FlashUnsloth herunterladen
{% hint style="success" %}
**4. Sep.:** GLM-5.3-Flash läuft jetzt mit [**3,3x schnellerer Inferenz**](#faster-inference-and-mtp-support)**!**
{% endhint %}
{% columns %}
{% column width="50%" %}
GLM-5.3-Flash wurde auf 30T Tokens trainiert und basiert auf einem neu trainierten Basismodell. Seine hybride sparse und lineare Attention-Architektur senkt die Kosten für das Serving langer Kontexte, ohne die Genauigkeit zu beeinträchtigen.
Du kannst das Modell jetzt direkt in [Unsloth Desktop](#run-glm-5.3-flash-in-unsloth).
{% endcolumn %}
{% column width="50%" %}
{% endcolumn %}
{% endcolumns %}
### :gear: Nutzungsanleitung
#### Anforderungen für GLM-5.3-Flash:
Die kleinste 1-Bit-Quantisierung funktioniert mit 100 GB RAM, während 3-Bit auf 128-GB-Geräten wie einem Mac oder NVIDIA DGX Spark läuft.\
**Tabelle: Hardware-Anforderungen** (Einheiten = Gesamtspeicher: RAM + VRAM oder einheitlicher Speicher)
| 1-Bit | 2-Bit | 3-Bit | 4-Bit | 8-Bit | BF16 |
| ------ | ------ | ---------- | ---------- | ------ | ------ |
| 100 GB | 115 GB | 128–150 GB | 162–210 GB | 350 GB | 650 GB |
### Empfohlene Einstellungen
GLM-5.3-Flash hat **3 Denkmodi**: Niedrig, Hoch und Max. Verwende Max Thinking für komplizierte Aufgaben. In [Unsloth](#run-glm-5.2-in-unsloth-studio)kannst du Niedrig-, Hoch- oder Max-Thinking einfach per Umschalter im Chat-Bereich auswählen.
Verwende diese Einstellungen für die meisten Anwendungsfälle:
| Standard-Einstellungen (die meisten Aufgaben) | DeepSWE |
| --------------------------------------------- | ------------------- |
| `Temperatur` = 1.0 | `Temperatur` = 0.95 |
| `top_p` = 0.95 | `top_p` = 1.0 |
* **Maximales Kontextfenster:** `1,048,576`.
#### Änderung des Reasoning-Aufwands
GLM-5.3-Flash verwendet standardmäßig maximales Reasoning. Es unterstützt auch Reasoning-Aufwände, bei denen `reasoning_effort` „low“, „high“ oder „max“ sein kann.
### Schnellere Inferenz und MTP-Unterstützung
Seit dem 4. Sep. haben wir mehrere Verbesserungen und Optimierungen an unserem Day-0- [llama.cpp-PR](https://github.com/ggml-org/llama.cpp/pull/27754)vorgenommen. Wir haben einen schnelleren Decoding-Pfad plus zusätzliche MTP-Unterstützung implementiert, wodurch bis zu **3,3× schnellere Inferenz** bei langen Kontextlängen möglich sind!
Alles funktioniert sofort in [Unsloth Desktop](#run-glm-5.3-flash-in-unsloth), aktualisiere bei Bedarf einfach auf die neueste Version. Es sind keine zusätzlichen Module oder MTP-Dateien erforderlich. Alternativ kannst du unserer [llama.cpp](#run-glm-5.3-flash-in-llama.cpp) Anleitung folgen.
Wenn wir GLM-5.3-Flash UD-IQ1\_S auf 1xB200 verwenden und MTP zunächst ignorieren, erhalten wir:
| Test | Basis tok/s | Optimierte tok/s |
| ------------ | ----------: | ---------------: |
| pp512 | 1121.80 | 1122.0 |
| tg32 | 62.79 | 63.10 |
| tg32 @ 4096 | 53.52 | 59.50 |
| tg32 @ 16384 | 41.02 | 57.99 |
| tg32 @ 65536 | 20.66 | 48.99 |
Sobald wir dann MTP hinzufügen, sehen wir sogar noch größere Gewinne, insbesondere bei längeren Kontexten. Wir sollten jedoch bei etwa n=2 aufhören, da mehr Entwurfstoken die Inferenz langsamer machen.
| Prompt | MTP aus | n=2 | n=3 | n=5 |
| ------ | ------: | ---: | ---: | ---: |
| 4096 | 58.6 | 86.5 | 80.2 | 63.7 |
| 16K | 55.0 | | 77.2 | |
Bei kürzeren Kontextlängen sehen wir weiterhin Beschleunigungen, wenn auch nur bis zu 1,6x schneller.
### 📈 Quantisierungsanalyse
Wir haben GLM-5.3-Flash auf UD-IQ1\_S 1bit (93,09 GB) quantisiert, und es behält 71 % der Top-1%-Genauigkeit, während es 85 % kleiner als BF16 (641,64 GB) ist
Dynamic 2-bit UD-Q2\_K\_XL ist 109 GB groß, ist 83 % kleiner und behält 78 % Genauigkeit.\
Dynamic 3-bit UD-IQ3\_XXS ist 120 GB groß, ist 81 % kleiner und behält 82 % Genauigkeit.\
Dynamic 4-bit UD-Q4\_K\_XL ist 200 GB groß, ist 69 % kleiner und behält 93 % Genauigkeit.
| Quant | Größe | Top-1-Genauigkeit | mittlere KLD | KLD 99,9 % |
| ------------ | ------ | ----------------- | ------------ | ---------- |
| UD-IQ1\_S | 93.09 | 70.89% | 0.669714 | 9.1658 |
| UD-IQ1\_M | 97.58 | 73.06% | 0.572413 | 8.5069 |
| UD-IQ2\_XXS | 101.84 | 76.30% | 0.450148 | 7.5764 |
| UD-Q2\_K\_XL | 108.72 | 78.34% | 0.380134 | 6.8412 |
| UD-IQ3\_XXS | 120.37 | 81.63% | 0.283772 | 5.9611 |
| UD-Q3\_K\_XL | 147.54 | 86.25% | 0.159697 | 4.0281 |
| UD-IQ4\_XS | 156.82 | 88.18% | 0.116652 | 3.1014 |
| UD-Q4\_K\_XL | 199.71 | 92.22% | 0.049294 | 1.4894 |
| UD-Q5\_K\_XL | 240.31 | 94.35% | 0.027052 | 0.8696 |
| UD-Q6\_K\_XL | 291.83 | 95.23% | 0.019007 | 0.6267 |
## GLM-5.3-Flash (Ox-Alpha) lokal ausführen
Du kannst GLM-5.3-Flash (Ox-Alpha) jetzt in Unsloth Desktop und llama.cpp mit unserem [spezifischen PR](https://github.com/ggml-org/llama.cpp/pull/27754)ausführen. Wir verwenden in unseren Demos 3-Bit, da es auf 128-GB-Geräten passt. Du kannst den Quantisierungstyp gerne ändern. `UD-IQ3_XXS` Hugging Face:
* GLM-5.3-Flash-GGUF [In Unsloth Desktop ausführen](https://huggingface.co/unsloth/GLM-5.3-Flash-GGUF)
In llama.cpp ausführen🦥 GLM-5.3-Flash in Unsloth ausführen
### GLM-5.3-Flash kann jetzt ausgeführt werden in
in einer Open-Source-UI-App für lokale KI. [Unsloth Desktop](#run-qwen3.8-in-unsloth-desktop)Unsloth lagert automatisch in den RAM aus und erkennt Multi-GPU-Setups **Mit Unsloth Desktop kannst du Modelle lokal ausführen auf**MacOS, Windows **, Linux und:**Suchen, herunterladen,
{% columns %}
{% column %}
* GGUFs ausführen [, MLX- und Safetensor-Modelle](/docs/de/neu/studio.md#run-models-locally)Selbstheilung
* [**Tool-Aufrufe** Websuche](/docs/de/neu/studio/chat.md#auto-healing-tool-calling) + **Codeausführung**
* [**(Python, Bash)**](/docs/de/desktop.md#code-execution) Automatische Inferenz
* [Parameter-Tuning (Temp, Top-p usw.)](https://unsloth.ai/docs/desktop#feature-deep-dive) Schnelle CPU- + GPU-Inferenz über MLX und llama.cpp
* LLMs trainieren
* [2x schneller mit 70 % weniger VRAM](/docs/de/neu/studio.md#no-code-training) Unsloth installieren
{% endcolumn %}
{% column %}
{% endcolumn %}
{% endcolumns %}
{% stepper %}
{% step %}
#### Der einfachste Einstieg ist das Herunterladen der
Unsloth Desktop-App [. Funktioniert auf](/docs/de/desktop.md)macOS [Windows](/docs/de/erste-schritte/install/mac.md), [und](/docs/de/erste-schritte/install/windows-installation.md)Linux [Download für macOS](/docs/de/erste-schritte/install/linux.md).
Unsloth herunterladen
* :apple: [Download für Windows](https://unsloth.ai/download/mac)
* :windows: [Download für Linux](https://unsloth.ai/download/windows)
* :linux: [Oder wenn du lieber manuell installieren möchtest:](https://unsloth.ai/download/linux)
MacOS, Linux, WSL:
curl -fsSL | sh
```bash
Windows PowerShell:
```
irm | iex
```bash
GLM-5.3-Flash suchen und herunterladen
```
{% endstep %}
{% step %}
#### Gehe zu
Unsloth Chat [oder zum Model Hub und suche in der Suchleiste nach GLM-5.3-Flash und lade das gewünschte Modell und die gewünschte Quantisierung herunter.](/docs/de/neu/studio/chat.md) GLM-5.3-Flash ausführen
{% endstep %}
{% step %}
#### Inferenzparameter sollten bei der Verwendung von Unsloth automatisch gesetzt werden, du kannst sie jedoch weiterhin manuell ändern. Du kannst auch die Kontextlänge, die Chat-Vorlage und andere Einstellungen bearbeiten.
Für weitere Informationen kannst du unsere
Unsloth-Inferenzanleitung [. 1-Bit-Ausführung unten:](/docs/de/neu/studio/chat.md)GLM-5.3-Flash mit der Unsloth-API bereitstellen
{% endstep %}
{% step %}
#### Du kannst den
unsloth run `Befehl verwenden und GLM-5.3-Flash über eine API bereitstellen mit` llama-server `Laufzeit-Flags, einschließlich Kontextgröße, GPU-Layern, Threading, Sampling, Netzwerken und Tool-Konfiguration. Weitere Informationen findest du in unseren` API-Dokumentation [oder](/docs/de/grundlagen/api.md) unsloth start [unsloth run --model unsloth/GLM-5.3-Flash-GGUF:UD-IQ3\_XXS](/docs/de/integrationen/unsloth-start.md).
{% code overflow="wrap" %}
```bash
Unsloth ist jetzt bereit
```
{% endcode %}
{% endstep %}
{% step %}
#### Du kannst mit GLM-5.3-Flash über Unsloth Desktop auch viele andere Dinge tun, wie zum Beispiel:
Tools verbinden:
* **Claude Code** [Codex](/docs/de/grundlagen/claude-code.md), [MCP](/docs/de/grundlagen/codex.md), [Codeausführung](/docs/de/neu/studio/chat.md#advanced-web-search), [und mehr](/docs/de/grundlagen/mcp.md) Modelle trainieren:
* **Text, Diffusion,** Embedding [und mehr](/docs/de/grundlagen/embedding-finetuning.md)Medien generieren:
* **Erstellen und trainieren** Bilder [Video,](/docs/de/grundlagen/diffusion-image.md)TTS [lokal](/docs/de/grundlagen/text-to-speech-tts-fine-tuning.md) GLM-5.3-Flash in llama.cpp ausführen
{% endstep %}
{% endstepper %}
### :llama: Wir müssen hier unseren speziellen llama.cpp-PR verwenden
{% stepper %}
{% step %}
hier [. Du kannst auch den Build-Anweisungen unten folgen. Ändere](https://github.com/unslothai/llama.cpp/pull/61)-DGGML\_CUDA=ON `zu` -DGGML\_CUDA=OFF `wenn du keine GPU hast oder nur CPU-Inferenz möchtest.` Für Apple-Mac-/Metal-Geräte **, setze**dann fahre wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert. `wenn du keine GPU hast oder nur CPU-Inferenz möchtest.` apt-get update
```bash
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone --branch glm5next/upstream https://github.com/unslothai/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
-DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
Um das Modell auszuführen, kannst du Folgendes tun:
```
{% endstep %}
{% step %}
pip install -U "huggingface\_hub\[cli]"
{% code overflow="wrap" %}
```bash
hf download unsloth/GLM-5.3-Flash-GGUF \\
--local-dir unsloth/GLM-5.3-Flash-GGUF \\
--include "*UD-IQ3_XXS*" # Verwende "*IQ2_XXS*" für 2-Bit
Dann führe es so aus:
```
{% endcode %}
{% endstep %}
{% step %}
./llama.cpp/llama-cli \\\\
{% code overflow="wrap" %}
```bash
--model unsloth/GLM-5.3-Flash-GGUF/UD-IQ3_XXS/GLM-5.3-Flash-UD-IQ3_XXS-00001-of-00004.gguf \\
--temp 1.0 \\
--top-p 0.95 \\
--chat-template-kwargs '{"reasoning_effort":"max"}'
Ersetze
```
{% endcode %}
durch deine bevorzugte Quantisierung, z. B. `UD-IQ3_XXS` IQ2\_XXS `für 2-Bit nach dem Hochladen.` 📊 Benchmarks
{% endstep %}
{% endstepper %}
## Benchmark
| 78.0 | - | 64.3 | 75.0 | 68.0 | 65.0 |
| MVbench | 53.4 | - | 35.1 | 46.8 | 61.6 | 70.9 |
| MMVU | 77.8 | - | 69.4 | 67.1 | 75.0 | 82.2 |
| MMVU | 80.5 | - | 72.7 | 67.4 | 75.8 | 82.3 |
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:
```
GET https://unsloth.ai/docs/de/modelle/glm-5.3-flash.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
