🐋DeepSeek-R1-0528: Anleitung zum lokalen Betrieb

Eine Anleitung, wie man DeepSeek-R1-0528 einschließlich Qwen3 auf dem eigenen lokalen Gerät ausführt!

DeepSeek-R1-0528 ist DeepSeeks neues Update ihres R1-Reasoning-Modells. Das vollständige 671B-Parameter-Modell benötigt 715 GB Festplattenspeicher. Die quantisierte dynamische 1,66-Bit Version verwendet 162 GB (−80% Größenreduktion). GGUF: DeepSeek-R1-0528-GGUF

DeepSeek hat außerdem eine R1-0528-distillierte Version veröffentlicht, die durch Feinabstimmung von Qwen3 (8B) erstellt wurde. Das Distill erreicht eine ähnliche Leistung wie Qwen3 (235B). Sie können auch Qwen3 Distill feinabstimmen mit Unsloth. Qwen3 GGUF: DeepSeek-R1-0528-Qwen3-8B-GGUF

Alle Uploads verwenden Unsloth Dynamic 2.0 für SOTA 5-shot MMLU- und KL-Divergenz-Leistung, was bedeutet, dass Sie quantisierte DeepSeek-LLMs mit minimalem Genauigkeitsverlust ausführen und feinabstimmen können.

Tutorial-Navigation:

In llama.cpp ausführenAusführen in Ollama/Open WebUIFeinabstimmung von R1-0528

NEU: Enorme Verbesserungen beim Tool-Calling und Korrekturen bei Chat-Vorlagen. Neu TQ1_0 dynamische 1,66-Bit-Quantisierung - 162 GB groß. Ideal für 192 GB RAM (einschließlich Mac) und Ollama-Nutzer. Probieren Sie: ollama run hf.co/unsloth/DeepSeek-R1-0528-GGUF:TQ1_0

⚙️ Empfohlene Einstellungen

Für DeepSeek-R1-0528-Qwen3-8B passt das Modell in praktisch jede Konfiguration, sogar in solche mit nur 20 GB RAM. Es ist keine Vorbereitung im Voraus erforderlich. Für das vollständige R1-0528-Modell mit 715 GB Größe benötigen Sie jedoch zusätzliche Vorbereitung. Die 1,78-Bit-(IQ1_S)-Quantisierung passt in eine einzelne 24-GB-GPU (mit Auslagerung aller Schichten). Erwarte etwa 5 Tokens/s mit dieser Konfiguration, wenn du zusätzlich 128 GB RAM hast.

Es wird empfohlen, mindestens 64 GB RAM zu haben, um diese Quantisierung auszuführen (ohne GPU erhältst du etwa 1 Token/s). Für optimale Leistung benötigst du mindestens 180 GB Unified Memory oder 180 GB kombinierter RAM+VRAM für 5+ Tokens/s.

Wir empfehlen die Verwendung unserer 2,7-Bit-(Q2_K_XL)- oder 2,4-Bit-(IQ2_XXS)-Quantisierung, um Größe und Genauigkeit auszubalancieren! Die 2,4-Bit-Variante funktioniert ebenfalls gut.

Obwohl nicht erforderlich, gilt: Für beste Leistung sollten VRAM + RAM zusammen der Größe der heruntergeladenen Quantisierung entsprechen.

🐳 Offizielle empfohlene Einstellungen:

Laut DeepSeek, dies sind die empfohlenen Einstellungen für die R1-Inferenz (R1-0528 und Qwen3-Distill sollten dieselben Einstellungen verwenden):

• Setzen Sie die Temperatur 0,6 um Wiederholungen und Inkohärenz zu reduzieren.

• Setzen Sie top_p auf 0,95 (empfohlen)

• Führen Sie mehrere Tests durch und mitteln Sie die Ergebnisse für eine zuverlässige Bewertung.

🔢 Chat-Template/Prompt-Format

R1-0528 verwendet dieselbe Chat-Vorlage wie das ursprüngliche R1-Modell. Sie müssen nicht zwingend <think>\n , aber Sie können es dennoch hinzufügen!

<｜begin▁of▁sentence｜><｜User｜>What is 1+1?<｜Assistant｜>It's 2.<｜end▁of▁sentence｜><｜User｜>Explain more!<｜Assistant｜>

Ein BOS wird zwangsweise hinzugefügt, und ein EOS trennt jede Interaktion. Um doppelte BOS-Token während der Inferenz zu vermeiden, solltest du nur tokenizer.encode(..., add_special_tokens = False) da die Chat-Vorlage auch automatisch ein BOS-Token hinzufügt. Für llama.cpp / GGUF-Inferenz sollten Sie das BOS überspringen, da es automatisch hinzugefügt wird:

<｜User｜>What is 1+1?<｜Assistant｜>

Der <think> und </think> Tokens erhalten ihre eigenen zugewiesenen Tokens.

Model-Uploads

ALLE unsere Uploads - einschließlich jener, die nicht imatrix-basiert oder dynamisch sind, nutzen unseren Kalibrierungs-Datensatz, der speziell für Konversation, Programmierung und Sprachaufgaben optimiert ist.

• Qwen3 (8B) Distill: DeepSeek-R1-0528-Qwen3-8B-GGUF

• Vollständige DeepSeek-R1-0528 Modell-Uploads unten:

Wir haben außerdem hochgeladen IQ4_NL und Q4_1 Quants, die speziell für ARM- bzw. Apple-Geräte jeweils schneller laufen.

MoE-Bits	Typ + Link	Platten-/Festplattengröße	Details
1,66bit	TQ1_0	162 GB	1,92/1,56bit
1,78bit	IQ1_S	185GB	2,06/1,56bit
1,93bit	IQ1_M	200GB	2.5/2.06/1.56
2,42bit	IQ2_XXS	216GB	2,5/2,06bit
2,71bit	Q2_K_XL	251GB	3,5/2,5bit
3,12bit	IQ3_XXS	273GB	3,5/2,06bit
3,5bit	Q3_K_XL	296GB	4,5/3,5bit
4,5bit	Q4_K_XL	384GB	5,5/4,5bit
5,5bit	Q5_K_XL	481GB	6,5/5,5bit

Wir haben auch Versionen in BF16-Formathochgeladen, und das ursprüngliche FP8 (float8)-Format.

Führen Sie DeepSeek-R1-0528 Tutorials aus:

🦙 Ausführen in Ollama/Open WebUI

1. Installieren Sie ollama falls Sie es noch nicht getan haben! Sie können nur Modelle bis zu 32B Größe ausführen. Um das vollständige 720GB R1-0528-Modell auszuführen, siehe hier.

apt-get update
apt-get install pciutils -y
curl -fsSL https://ollama.com/install.sh | sh

1. Führen Sie das Modell aus! Beachten Sie, dass Sie aufrufen können ollama servein einem anderen Terminal, falls es fehlschlägt! Wir fügen alle unsere Fixes und vorgeschlagenen Parameter (Temperatur usw.) in params in unserem Hugging Face-Upload hinzu!

ollama run hf.co/unsloth/DeepSeek-R1-0528-Qwen3-8B-GGUF:Q4_K_XL

1. (NEU) Um das vollständige R1-0528-Modell in Ollama auszuführen, können Sie unsere TQ1_0 (162GB-Quant) verwenden:

OLLAMA_MODELS=unsloth_downloaded_models ollama serve &

ollama run hf.co/unsloth/DeepSeek-R1-0528-GGUF:TQ1_0

🦙 Vollständiges R1-0528 auf Ollama/Open WebUI ausführen

Open WebUI hat ein Schritt-für-Schritt-Tutorial erstellt, wie man R1 ausführt, und für R1-0528 müssen Sie nur R1 durch die neue 0528-Quantisierung ersetzen: docs.openwebui.com/tutorials/integrations/deepseekr1-dynamic/

(NEU) Um das vollständige R1-0528-Modell in Ollama auszuführen, können Sie unsere TQ1_0 (162GB-Quant) verwenden:

OLLAMA_MODELS=unsloth_downloaded_models ollama serve &

ollama run hf.co/unsloth/DeepSeek-R1-0528-GGUF:TQ1_0

Wenn Sie eine der Quantisierungen verwenden möchten, die größer als TQ1_0 (162GB) sind, müssen Sie zuerst die 3 GGUF-Teildateien zu einer Datei zusammenführen wie im folgenden Code. Danach müssen Sie das Modell lokal ausführen.

./llama.cpp/llama-gguf-split --merge \
  DeepSeek-R1-0528-GGUF/DeepSeek-R1-0528-UD-IQ1_S/DeepSeek-R1-0528-UD-IQ1_S-00001-of-00003.gguf \
	merged_file.gguf

✨ Qwen3-distilliertes R1 in llama.cpp ausführen

1. Um das vollständige 720GB R1-0528-Modell auszuführen, siehe hier. Holen Sie sich die neueste llama.cpp auf GitHub hier. Sie können auch den unten stehenden Build-Anweisungen folgen. Ändern Sie -DGGML_CUDA=ON zu -DGGML_CUDA=OFF wenn Sie keine GPU haben oder nur CPU-Inferenz wünschen.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

1. Verwenden Sie dann llama.cpp direkt, um das Modell herunterzuladen:

./llama.cpp/llama-cli -hf unsloth/DeepSeek-R1-0528-Qwen3-8B-GGUF:Q4_K_XL --jinja

✨ Vollständiges R1-0528 auf llama.cpp ausführen

1. Holen Sie sich die neueste llama.cpp auf GitHub hier. Sie können auch den unten stehenden Build-Anweisungen folgen. Ändern Sie -DGGML_CUDA=ON zu -DGGML_CUDA=OFF wenn Sie keine GPU haben oder nur CPU-Inferenz wünschen.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggerganov/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split llama-mtmd-cli
cp llama.cpp/build/bin/llama-* llama.cpp

1. Wenn Sie llama.cpp um Modelle direkt zu laden, können Sie das Folgende tun: (:IQ1_S) ist der Quantisierungstyp. Sie können auch über Hugging Face herunterladen (Punkt 3). Dies ist ähnlich wie ollama run . Verwenden Sie export LLAMA_CACHE="folder" um zu erzwingen, dass llama.cpp an einem bestimmten Ort zu speichern.

Bitte probieren Sie aus -ot ".ffn_.*_exps.=CPU" um alle MoE-Schichten auf die CPU auszulagern! Dies ermöglicht es effektiv, alle Nicht-MoE-Schichten auf einer GPU unterzubringen und die Generationsgeschwindigkeit zu verbessern. Sie können den Regex-Ausdruck anpassen, um mehr Schichten auszulagern, wenn Sie mehr GPU-Kapazität haben.

Wenn Sie etwas mehr GPU-Speicher haben, versuchen Sie -ot ".ffn_(up|down)_exps.=CPU" Dies lagert up- und down-Projektions-MoE-Schichten aus.

Versuchen Sie -ot ".ffn_(up)_exps.=CPU" wenn Sie noch mehr GPU-Speicher haben. Dies lagert nur up-Projektions-MoE-Schichten aus.

Und schließlich alle Schichten auslagern über -ot ".ffn_.*_exps.=CPU" Dies verwendet am wenigsten VRAM.

Sie können den Regex auch anpassen, zum Beispiel -ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU" bedeutet, Gate-, Up- und Down-MoE-Schichten auszulagern, jedoch nur ab der 6. Schicht.

export LLAMA_CACHE="unsloth/DeepSeek-R1-0528-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/DeepSeek-R1-0528-GGUF:IQ1_S \
    --cache-type-k q4_0 \
    --threads -1 \
    --n-gpu-layers 99 \
    --prio 3 \
    --temp 0.6 \
    --top-p 0.95 \
    --min-p 0.01 \
    --ctx-size 16384 \
    --seed 3407 \
    -ot ".ffn_.*_exps.=CPU"

1. Laden Sie das Modell herunter über (nach Installation von pip install huggingface_hub hf_transfer ). Sie können wählen UD-IQ1_S(dynamisches 1,78-Bit-Quant) oder andere quantisierte Versionen wie Q4_K_M . Wir empfehlen die Verwendung unserer 2,7-Bit-dynamischen Quantisierung UD-Q2_K_XL um Größe und Genauigkeit auszugleichen. Weitere Versionen unter: https://huggingface.co/unsloth/DeepSeek-R1-0528-GGUF

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0" # Kann manchmal Ratenbegrenzungen auslösen, daher auf 0 setzen, um es zu deaktivieren
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/DeepSeek-R1-0528-GGUF",
    local_dir = "unsloth/DeepSeek-R1-0528-GGUF",
    allow_patterns = ["*UD-IQ1_S*"], # Dynamisch 1bit (168GB) Verwenden Sie "*UD-Q2_K_XL*" für dynamisch 2bit (251GB)
)

1. Führe Unsloths Flappy-Bird-Test wie in unserem 1,58-Bit-Dynamik-Quant für DeepSeek R1 beschrieben aus.

2. Bearbeiten --threads 32 für die Anzahl der CPU-Threads bearbeiten, --ctx-size 16384 für die Kontextlänge, --n-gpu-layers 2 für das GPU-Offloading für wie viele Schichten. Versuchen Sie, es anzupassen, wenn Ihre GPU nicht mehr genügend Speicher hat. Entfernen Sie es auch, wenn Sie nur CPU-Inferenz haben.

./llama.cpp/llama-cli \
    --model unsloth/DeepSeek-R1-0528-GGUF/UD-IQ1_S/DeepSeek-R1-0528-UD-IQ1_S-00001-of-00004.gguf \
    --cache-type-k q4_0 \
    --threads -1 \
    --n-gpu-layers 99 \
    --prio 3 \
    --temp 0.6 \
    --top-p 0.95 \
    --min-p 0.01 \
    --ctx-size 16384 \
    --seed 3407 \
    -ot ".ffn_.*_exps.=CPU" \
    -no-cnv \
    --prompt "<｜User｜>Create a Flappy Bird game in Python. You must include these things:\n1. You must use pygame.\n2. The background color should be randomly chosen and is a light shade. Start with a light blue color.\n3. Pressing SPACE multiple times will accelerate the bird.\n4. The bird's shape should be randomly chosen as a square, circle or triangle. The color should be randomly chosen as a dark color.\n5. Place on the bottom some land colored as dark brown or yellow chosen randomly.\n6. Make a score shown on the top right side. Increment if you pass pipes and don't hit them.\n7. Make randomly spaced pipes with enough space. Color them randomly as dark green or light brown or a dark gray shade.\n8. When you lose, show the best score. Make the text inside the screen. Pressing q or Esc will quit the game. Restarting is pressing SPACE again.\nThe final game should be inside a markdown section in Python. Check your code for errors and fix them before the final markdown section.<｜Assistant｜>"

🎱 Heptagon-Test

Sie können unsere dynamischen Quants auch über testen r/Localllama der das Modell darin testet, eine grundlegende Physik-Engine zu erstellen, um Kugeln in einer rotierenden, geschlossenen Heptagon-Form zu simulieren.

Das Ziel ist, das Heptagon zum Drehen zu bringen, und die Kugeln im Heptagon sollten sich bewegen.

Voller Prompt zum Ausführen des Modells

./llama.cpp/llama-cli \
    --model unsloth/DeepSeek-R1-0528-GGUF/UD-IQ1_S/DeepSeek-R1-0528-UD-IQ1_S-00001-of-00004.gguf \
    --cache-type-k q4_0 \
    --threads -1 \
    --n-gpu-layers 99 \
    --prio 3 \
    --temp 0.6 \
    --top_p 0.95 \
    --min_p 0.01 \
    --ctx-size 16384 \
    --seed 3407 \
    -ot ".ffn_.*_exps.=CPU" \
    -no-cnv \
    --prompt "<｜User｜>Schreibe ein Python-Programm, das 20 Bälle zeigt, die in einem rotierenden Heptagon springen:\n- Alle Bälle haben den gleichen Radius.\n- Alle Bälle haben eine Nummer von 1 bis 20.\n- Alle Bälle fallen beim Start vom Zentrum des Heptagons.\n- Farben sind: #f8b862, #f6ad49, #f39800, #f08300, #ec6d51, #ee7948, #ed6d3d, #ec6800, #ec6800, #ee7800, #eb6238, #ea5506, #ea5506, #eb6101, #e49e61, #e45e32, #e17b34, #dd7a56, #db8449, #d66a35\n- Die Bälle sollen von Gravitation und Reibung beeinflusst werden und müssen realistisch von den rotierenden Wänden abprallen. Es sollte auch Kollisionen zwischen den Bällen geben.\n- Das Material aller Bälle bestimmt, dass ihre Aufprallsprunghöhe den Radius des Heptagons nicht überschreiten darf, aber höher als der Ballradius sein soll.\n- Alle Bälle rotieren mit Reibung; die Nummern auf den Bällen können verwendet werden, um die Drehung anzuzeigen.\n- Das Heptagon dreht sich um sein Zentrum, und die Drehgeschwindigkeit beträgt 360 Grad pro 5 Sekunden.\n- Die Größe des Heptagons sollte groß genug sein, um alle Bälle aufzunehmen.\n- Verwende nicht die pygame-Bibliothek; implementiere Kollisionsdetektions- und Kollisionsantwortalgorithmen usw. selbst. Die folgenden Python-Bibliotheken sind erlaubt: tkinter, math, numpy, dataclasses, typing, sys.\n- Alle Codes sollten in einer einzigen Python-Datei abgelegt werden.<｜Assistant｜>"

🦥 Feinabstimmung von DeepSeek-R1-0528 mit Unsloth

Um feinabzustimmen DeepSeek-R1-0528-Qwen3-8B mit Unsloth haben wir ein neues GRPO-Notebook erstellt, das eine benutzerdefinierte Belohnungsfunktion enthält, die darauf ausgelegt ist, die mehrsprachige Ausgabe deutlich zu verbessern - insbesondere die Rate der gewünschten Sprachantworten zu erhöhen (in unserem Beispiel verwenden wir Indonesisch, aber Sie können jede Sprache verwenden) um mehr als 40%.

• DeepSeek-R1-0528-Qwen3-8B Notebook - neu

Während viele Reasoning-LLMs mehrsprachige Fähigkeiten haben, erzeugen sie oft gemischte Sprachausgaben in ihren Reasoning-Spuren, indem sie Englisch mit der Zielsprache kombinieren. Unsere Belohnungsfunktion mindert dieses Problem effektiv, indem sie stark Ausgaben in der gewünschten Sprache fördert, was zu einer erheblichen Verbesserung der Sprachkonsistenz führt.

Diese Belohnungsfunktion ist ebenfalls vollständig anpassbar, sodass Sie sie für andere Sprachen anpassen oder für bestimmte Domänen bzw. Anwendungsfälle feinabstimmen können.

Das Beste an dieser ganzen Belohnungsfunktion und dem Notebook ist, dass Sie KEIN Sprachdatensatz benötigen, um Ihr Modell dazu zu bringen, eine bestimmte Sprache zu lernen. Das Notebook enthält keinen indonesischen Datensatz.

Unsloth macht die R1-Qwen3-Distill-Feinabstimmung 2× schneller, verwendet 70% weniger VRAM und unterstützt 8× längere Kontextlängen.