Zum Inhalt springen
For the complete documentation index, see llms.txt. This page is also available as Markdown.

🌠QwQ-32B: Wie man effektiv ausführt

Wie man QwQ-32B effektiv mit unseren Fehlerbehebungen und ohne endlose Generierungen + GGUFs ausführt.

Qwen hat QwQ-32B veröffentlicht – ein Reasoning-Modell mit einer Leistung, die auf vielen Benchmarks. Allerdings haben Leute endlose Generierungen, viele Wiederholungen, <think>-Token-Probleme und Fine-Tuning-Probleme. Wir hoffen, dass dieser Leitfaden hilft, die meisten Probleme zu debuggen und zu beheben!

Unsere Modell-Uploads mit unseren Bugfixes funktionieren großartig für Fine-Tuning, vLLM und Transformers. Wenn du llama.cpp und Engines verwendest, die llama.cpp als Backend nutzen, folge unseren die Anweisungen hier um endlose Generierungen zu beheben.

Unsloth QwQ-32B-Uploads mit unseren Bugfixes:

⚙️ Offiziell empfohlene Einstellungen

Laut Qwen, dies sind die empfohlenen Einstellungen für die Inferenz:

  • Temperatur von 0,6

  • Top_K von 40 (oder 20 bis 40)

  • Min_P von 0,00 (optional, aber 0,01 funktioniert gut, der Standard von llama.cpp ist 0,1)

  • Top_P von 0.95

  • Wiederholungsstrafe von 1.0. (1.0 bedeutet in llama.cpp und transformers deaktiviert)

  • Chat-Vorlage: <|im_start|>user\nErstelle ein Flappy-Bird-Spiel in Python.<|im_end|>\n<|im_start|>assistant\n<think>\n

👍 Empfohlene Einstellungen für llama.cpp

Wir haben bemerkt, dass viele Leute einen Wiederholungs-Penalty größer als 1.0 verwenden. Zum Beispiel 1.1 bis 1.5. Das beeinträchtigt tatsächlich die Sampling-Mechanismen von llama.cpp. Das Ziel einer Wiederholungsstrafe ist es, wiederholte Generierungen zu bestrafen, aber wir fanden, dass das nicht wie erwartet funktioniert.

Das Abschalten Wiederholungs-Penalty funktioniert auch (also das Setzen auf 1.0), aber wir fanden, dass es nützlich ist, um endlose Generierungen zu bestrafen.

Um es zu verwenden, mussten wir außerdem die Reihenfolge der Sampler in llama.cpp so ändern, dass sie vor dem Anwenden von Wiederholungs-Penalty, andernfalls gibt es endlose Generierungen. Füge also dies hinzu:

Standardmäßig verwendet llama.cpp diese Reihenfolge:

Wir ordnen im Wesentlichen Temperature und dry neu an und verschieben min_p nach vorne. Das bedeutet, wir wenden die Sampler in dieser Reihenfolge an:

Wenn du weiterhin Probleme hast, kannst du den--repeat-penalty von 1.0 auf 1.2 oder 1.3 erhöhen.

Mit freundlicher Genehmigung von @krist486 für den Hinweis auf die Sampling-Richtungen von llama.cpp.

☀️ Dry-Wiederholungsstrafe

Wir haben die Verwendung von dry-Penalty wie in https://github.com/ggml-org/llama.cpp/blob/master/examples/main/README.md mit einem Wert von 0.8 untersucht, aber wir fanden tatsächlich, dass dies eher Syntaxprobleme verursacht, insbesondere beim Programmieren. Wenn du weiterhin Probleme hast, kannst du diedry-Penalty auf 0.8 erhöhen.

Die Nutzung unserer vertauschten Sampling-Reihenfolge kann auch helfen, wenn du dich entscheidest, dry-Penalty.

🦙 Tutorial: So führst du QwQ-32B in Ollama aus

  1. Installieren ollama falls du das noch nicht getan hast!

  1. Führe das Modell aus! Beachte, dass du ollama servein einem anderen Terminal ausführen kannst, falls es fehlschlägt! Wir haben alle unsere Fixes und vorgeschlagenen Parameter (Temperature, min_p usw.) in param in unserem Hugging-Face-Upload!

📖 Tutorial: So führst du QwQ-32B in llama.cpp aus

  1. Holen Sie sich die neueste llama.cpp auf hier auf GitHub. Sie können auch die folgenden Build-Anweisungen befolgen. Ändern Sie -DGGML_CUDA=ON zu -DGGML_CUDA=OFF wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. Für Apple-Mac-/Metal-Geräte, setzen Sie -DGGML_CUDA=OFF und fahren Sie dann wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert.

  1. Lade das Modell über (nach der Installation von pip install huggingface_hub hf_transfer ). Sie können Q4_K_M oder andere quantisierte Versionen (wie BF16-Vollpräzision) wählen. Weitere Versionen unter: https://huggingface.co/unsloth/QwQ-32B-GGUF

  1. Führe Unsloths Flappy-Bird-Test aus, der die Ausgabe speichert in Q4_K_M_yes_samplers.txt

  2. Bearbeiten --threads 32 für die Anzahl der CPU-Threads, --ctx-size 16384 für die Kontextlänge, --n-gpu-layers 99 für GPU-Offloading auf wie viele Layer. Versuche, ihn anzupassen, wenn deiner GPU der Speicher ausgeht. Entferne ihn auch, wenn du nur CPU-Inferenz hast.

  3. Wir verwenden --repeat-penalty 1.1 und --dry-multiplier 0.5 das du anpassen kannst.

Die vollständige Eingabe aus unserem https://unsloth.ai/blog/deepseekr1-dynamic 1,58-Bit-Blog lautet:

Der Anfang und das Ende der endgültigen Python-Ausgabe nach dem Entfernen der Denk-Teile:

Vollständige endgültige Python-Ausgabe (Denk-Teile entfernt):
  1. Wenn man es ausführt, erhält man ein lauffähiges Spiel!

  1. Versuche jetzt dasselbe ohne unsere Fixes! Entferne also --samplers "top_k;top_p;min_p;temperature;dry;typ_p;xtc" Dadurch wird die Ausgabe gespeichert in Q4_K_M_no_samplers.txt

Du wirst etwas Schleifen bekommen, aber problematisch falsche Python-Syntax und viele andere Probleme. Zum Beispiel sieht das Folgende korrekt aus, ist aber falsch! Also Zeile 39 pipes.clear() ### <<< NameError: name 'pipes' is not defined. Hast du vergessen, 'pipes' zu importieren?

  1. Wenn du --repeat-penalty 1.5, wird es noch schlimmer und offensichtlicher, mit tatsächlich völlig falscher Syntax.

  1. Du fragst dich vielleicht: Vielleicht ist es Q4_K_M? B16, also volle Präzision, sollte doch funktionieren, oder? Falsch – die Ausgaben schlagen erneut fehl, wenn wir unseren Fix nicht verwenden --samplers "top_k;top_p;min_p;temperature;dry;typ_p;xtc" wenn du eine Wiederholungsstrafe verwendest.

🌄 Funktioniert immer noch nicht? Versuche Min_p = 0.1, Temperature = 1.5

Laut dem Min_p-Papier https://arxiv.org/pdf/2407.01082, für kreativere und vielfältigere Ausgaben, und wenn du immer noch Wiederholungen siehst, versuche, top_p und top_k zu deaktivieren!

Ein weiterer Ansatz ist es, zu deaktivieren min_p direkt, da llama.cpp standardmäßig min_p = 0.1!

🤔 <think>-Token wird nicht angezeigt?

Einige Leute berichten, dass, weil <think> standardmäßig in der Chat-Vorlage hinzugefügt wird, einige Systeme die Denkspuren nicht korrekt ausgeben. Du musst die Jinja-Vorlage manuell ändern von:

zu einer anderen, indem du das <think>\n am Ende entfernst. Das Modell muss nun <think>\n während der Inferenz manuell hinzufügen, was nicht immer gelingen könnte. DeepSeek hat auch alle Modelle so bearbeitet, dass standardmäßig ein <think> Token hinzugefügt wird, um das Modell zu zwingen, in den Reasoning-Modus zu wechseln.

Ändere also {%- if add_generation_prompt %} {{- '<|im_start|>assistant\n<think>\n' }} {%- endif %} zu {%- if add_generation_prompt %} {{- '<|im_start|>assistant\n' }} {%- endif %}

also entferne <think>\n

Vollständige Jinja-Vorlage mit entferntem <think>\n-Teil

Zusätzliche Hinweise

Wir dachten zuerst vielleicht:

  1. QwQs Kontextlänge war nicht nativ 128K, sondern eher 32K mit YaRN-Erweiterung. Zum Beispiel in der Readme-Datei für https://huggingface.co/Qwen/QwQ-32B, sehen wir:

Wir haben versucht, das YaRN-Handling von llama.cpp zu überschreiben, aber nichts änderte sich.

  1. Wir dachten auch vielleicht, dass das RMS-LayerNorm-Epsilon falsch war – nicht 1e-5, sondern vielleicht 1e-6. Zum Beispiel dies hat rms_norm_eps=1e-06, während dies hat rms_norm_eps=1e-05 . Wir haben es auch überschrieben, aber es hat nicht funktioniert:

  1. Wir haben auch getestet, ob die Tokenizer-IDs zwischen llama.cpp und normalen Transformers übereinstimmen, dank @kalomaze. Sie stimmten überein, also war das nicht der Übeltäter.

Wir stellen unsere experimentellen Ergebnisse unten vor:

BF16-Vollpräzision ohne Sampling-Fix
BF16-Vollpräzision mit Sampling-Fix
Q4_K_M-Präzision ohne Sampling-Fix
Q4_K_M-Präzision mit Sampling-Fix

✏️ Fehlerbehebungen beim Tokenizer

🛠️ Dynamische 4-Bit-Quantisierungen

Wir haben außerdem dynamische 4-Bit-Quantisierungen hochgeladen, die die Genauigkeit gegenüber naiven 4-Bit-Quantisierungen erhöhen! Wir fügen die Analyse der QwQ-Quantisierungsfehlerdiagramme sowohl für Aktivierungs- als auch für Gewichtsquantisierungsfehler bei:

Wir haben dynamische 4-Bit-Quantisierungen hochgeladen nach: https://huggingface.co/unsloth/QwQ-32B-unsloth-bnb-4bit

Seit vLLM 0.7.3 (20. Februar 2025) https://github.com/vllm-project/vllm/releases/tag/v0.7.3, unterstützt vLLM nun das Laden von Unsloth-dynamischen 4-Bit-Quantisierungen!

Alle unsere GGUFs sind unter https://huggingface.co/unsloth/QwQ-32B-GGUF!

Zuletzt aktualisiert

War das hilfreich?