🌠QwQ-32B: Wie man effektiv ausführt
Wie man QwQ-32B effektiv mit unseren Fehlerbehebungen und ohne endlose Generierungen + GGUFs ausführt.
Qwen hat QwQ-32B veröffentlicht – ein Reasoning-Modell mit einer Leistung, die auf vielen Benchmarks. Allerdings haben Leute endlose Generierungen, viele Wiederholungen, <think>-Token-Probleme und Fine-Tuning-Probleme. Wir hoffen, dass dieser Leitfaden hilft, die meisten Probleme zu debuggen und zu beheben!
Unsloth QwQ-32B-Uploads mit unseren Bugfixes:
⚙️ Offiziell empfohlene Einstellungen
Laut Qwen, dies sind die empfohlenen Einstellungen für die Inferenz:
Temperatur von 0,6
Top_K von 40 (oder 20 bis 40)
Min_P von 0,00 (optional, aber 0,01 funktioniert gut, der Standard von llama.cpp ist 0,1)
Top_P von 0.95
Wiederholungsstrafe von 1.0. (1.0 bedeutet in llama.cpp und transformers deaktiviert)
Chat-Vorlage:
<|im_start|>user\nErstelle ein Flappy-Bird-Spiel in Python.<|im_end|>\n<|im_start|>assistant\n<think>\n
👍 Empfohlene Einstellungen für llama.cpp
Wir haben bemerkt, dass viele Leute einen Wiederholungs-Penalty größer als 1.0 verwenden. Zum Beispiel 1.1 bis 1.5. Das beeinträchtigt tatsächlich die Sampling-Mechanismen von llama.cpp. Das Ziel einer Wiederholungsstrafe ist es, wiederholte Generierungen zu bestrafen, aber wir fanden, dass das nicht wie erwartet funktioniert.
Das Abschalten Wiederholungs-Penalty funktioniert auch (also das Setzen auf 1.0), aber wir fanden, dass es nützlich ist, um endlose Generierungen zu bestrafen.
Um es zu verwenden, mussten wir außerdem die Reihenfolge der Sampler in llama.cpp so ändern, dass sie vor dem Anwenden von Wiederholungs-Penalty, andernfalls gibt es endlose Generierungen. Füge also dies hinzu:
Standardmäßig verwendet llama.cpp diese Reihenfolge:
Wir ordnen im Wesentlichen Temperature und dry neu an und verschieben min_p nach vorne. Das bedeutet, wir wenden die Sampler in dieser Reihenfolge an:
Wenn du weiterhin Probleme hast, kannst du den--repeat-penalty von 1.0 auf 1.2 oder 1.3 erhöhen.
Mit freundlicher Genehmigung von @krist486 für den Hinweis auf die Sampling-Richtungen von llama.cpp.
☀️ Dry-Wiederholungsstrafe
Wir haben die Verwendung von dry-Penalty wie in https://github.com/ggml-org/llama.cpp/blob/master/examples/main/README.md mit einem Wert von 0.8 untersucht, aber wir fanden tatsächlich, dass dies eher Syntaxprobleme verursacht, insbesondere beim Programmieren. Wenn du weiterhin Probleme hast, kannst du diedry-Penalty auf 0.8 erhöhen.
Die Nutzung unserer vertauschten Sampling-Reihenfolge kann auch helfen, wenn du dich entscheidest, dry-Penalty.
🦙 Tutorial: So führst du QwQ-32B in Ollama aus
Installieren
ollamafalls du das noch nicht getan hast!
Führe das Modell aus! Beachte, dass du
ollama servein einem anderen Terminal ausführen kannst, falls es fehlschlägt! Wir haben alle unsere Fixes und vorgeschlagenen Parameter (Temperature, min_p usw.) inparamin unserem Hugging-Face-Upload!
📖 Tutorial: So führst du QwQ-32B in llama.cpp aus
Holen Sie sich die neueste
llama.cppauf hier auf GitHub. Sie können auch die folgenden Build-Anweisungen befolgen. Ändern Sie-DGGML_CUDA=ONzu-DGGML_CUDA=OFFwenn Sie keine GPU haben oder nur CPU-Inferenz möchten. Für Apple-Mac-/Metal-Geräte, setzen Sie-DGGML_CUDA=OFFund fahren Sie dann wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert.
Lade das Modell über (nach der Installation von
pip install huggingface_hub hf_transfer). Sie können Q4_K_M oder andere quantisierte Versionen (wie BF16-Vollpräzision) wählen. Weitere Versionen unter: https://huggingface.co/unsloth/QwQ-32B-GGUF
Führe Unsloths Flappy-Bird-Test aus, der die Ausgabe speichert in
Q4_K_M_yes_samplers.txtBearbeiten
--threads 32für die Anzahl der CPU-Threads,--ctx-size 16384für die Kontextlänge,--n-gpu-layers 99für GPU-Offloading auf wie viele Layer. Versuche, ihn anzupassen, wenn deiner GPU der Speicher ausgeht. Entferne ihn auch, wenn du nur CPU-Inferenz hast.Wir verwenden
--repeat-penalty 1.1und--dry-multiplier 0.5das du anpassen kannst.
Die vollständige Eingabe aus unserem https://unsloth.ai/blog/deepseekr1-dynamic 1,58-Bit-Blog lautet:
Der Anfang und das Ende der endgültigen Python-Ausgabe nach dem Entfernen der Denk-Teile:
Wenn man es ausführt, erhält man ein lauffähiges Spiel!

Versuche jetzt dasselbe ohne unsere Fixes! Entferne also
--samplers "top_k;top_p;min_p;temperature;dry;typ_p;xtc"Dadurch wird die Ausgabe gespeichert inQ4_K_M_no_samplers.txt
Du wirst etwas Schleifen bekommen, aber problematisch falsche Python-Syntax und viele andere Probleme. Zum Beispiel sieht das Folgende korrekt aus, ist aber falsch! Also Zeile 39 pipes.clear() ### <<< NameError: name 'pipes' is not defined. Hast du vergessen, 'pipes' zu importieren?
Wenn du
--repeat-penalty 1.5, wird es noch schlimmer und offensichtlicher, mit tatsächlich völlig falscher Syntax.
Du fragst dich vielleicht: Vielleicht ist es Q4_K_M? B16, also volle Präzision, sollte doch funktionieren, oder? Falsch – die Ausgaben schlagen erneut fehl, wenn wir unseren Fix nicht verwenden -
-samplers "top_k;top_p;min_p;temperature;dry;typ_p;xtc"wenn du eine Wiederholungsstrafe verwendest.
🌄 Funktioniert immer noch nicht? Versuche Min_p = 0.1, Temperature = 1.5
Laut dem Min_p-Papier https://arxiv.org/pdf/2407.01082, für kreativere und vielfältigere Ausgaben, und wenn du immer noch Wiederholungen siehst, versuche, top_p und top_k zu deaktivieren!
Ein weiterer Ansatz ist es, zu deaktivieren min_p direkt, da llama.cpp standardmäßig min_p = 0.1!
🤔 <think>-Token wird nicht angezeigt?
Einige Leute berichten, dass, weil <think> standardmäßig in der Chat-Vorlage hinzugefügt wird, einige Systeme die Denkspuren nicht korrekt ausgeben. Du musst die Jinja-Vorlage manuell ändern von:
zu einer anderen, indem du das <think>\n am Ende entfernst. Das Modell muss nun <think>\n während der Inferenz manuell hinzufügen, was nicht immer gelingen könnte. DeepSeek hat auch alle Modelle so bearbeitet, dass standardmäßig ein <think> Token hinzugefügt wird, um das Modell zu zwingen, in den Reasoning-Modus zu wechseln.
Ändere also {%- if add_generation_prompt %} {{- '<|im_start|>assistant\n<think>\n' }} {%- endif %} zu {%- if add_generation_prompt %} {{- '<|im_start|>assistant\n' }} {%- endif %}
also entferne <think>\n
Zusätzliche Hinweise
Wir dachten zuerst vielleicht:
QwQs Kontextlänge war nicht nativ 128K, sondern eher 32K mit YaRN-Erweiterung. Zum Beispiel in der Readme-Datei für https://huggingface.co/Qwen/QwQ-32B, sehen wir:
Wir haben versucht, das YaRN-Handling von llama.cpp zu überschreiben, aber nichts änderte sich.
Wir haben auch getestet, ob die Tokenizer-IDs zwischen llama.cpp und normalen Transformers übereinstimmen, dank @kalomaze. Sie stimmten überein, also war das nicht der Übeltäter.
Wir stellen unsere experimentellen Ergebnisse unten vor:
✏️ Fehlerbehebungen beim Tokenizer
Wir haben auch einige Probleme gefunden, die insbesondere das Fine-Tuning beeinträchtigen! Das EOS-Token ist korrekt, aber das PAD-Token sollte vermutlich eher
"<|vision_pad|>" Wir haben es aktualisiert in: https://huggingface.co/unsloth/QwQ-32B/blob/main/tokenizer_config.json
🛠️ Dynamische 4-Bit-Quantisierungen
Wir haben außerdem dynamische 4-Bit-Quantisierungen hochgeladen, die die Genauigkeit gegenüber naiven 4-Bit-Quantisierungen erhöhen! Wir fügen die Analyse der QwQ-Quantisierungsfehlerdiagramme sowohl für Aktivierungs- als auch für Gewichtsquantisierungsfehler bei:

Wir haben dynamische 4-Bit-Quantisierungen hochgeladen nach: https://huggingface.co/unsloth/QwQ-32B-unsloth-bnb-4bit
Seit vLLM 0.7.3 (20. Februar 2025) https://github.com/vllm-project/vllm/releases/tag/v0.7.3, unterstützt vLLM nun das Laden von Unsloth-dynamischen 4-Bit-Quantisierungen!
Alle unsere GGUFs sind unter https://huggingface.co/unsloth/QwQ-32B-GGUF!
Zuletzt aktualisiert
War das hilfreich?

