🌠QwQ-32B: 効果的な実行方法

当社の修正版と、無限生成を避ける設定、GGUFを使ってQwQ-32Bを効果的に実行する方法。

Qwen は QwQ-32B をリリースしました。これは多くの ベンチマークで DeepSeek-R1 に匹敵する性能を持つ推論モデルです。しかし、人々は 無限生成, 大量の繰り返し、<think> トークンの問題やファインチューニングの問題を経験しています。このガイドが、ほとんどの問題のデバッグと修正に役立つことを願っています！

私たちの修正を含むモデルアップロードは、ファインチューニング、vLLM、Transformers でうまく動作します。llama.cpp や llama.cpp をバックエンドとして使うエンジンを使用している場合は、無限生成を修正するためにこちらの 手順に従ってください 。

私たちの修正を含む Unsloth の QwQ-32B アップロード：

GGUF	ダイナミック 4-bit	BnB 4-bit	16-bit

⚙️ 公式推奨設定

によると Qwen、推論に推奨される設定は以下のとおりです：

• Temperature 0.6

• Top_K を 40 に設定（または 20 から 40）

• Min_P 0.00（任意ですが、0.01 でもうまく動作します。llama.cpp のデフォルトは 0.1 です）

• Top_P 0.95

• Repetition Penalty 1.0。（1.0は llama.cpp と transformers では無効を意味します）

• チャットテンプレート： <|im_start|>user\nPython で Flappy Bird ゲームを作成してください。<|im_end|>\n<|im_start|>assistant\n<think>\n

llama.cpp は min_p = 0.1がデフォルトで、問題を引き起こす可能性があります。0.0 に強制してください。

👍 llama.cpp に推奨される設定

多くの人が 繰り返しペナルティ を 1.0 より大きく設定していることに気づきました。たとえば 1.1 から 1.5 です。これは実際には llama.cpp のサンプリング機構に干渉します。繰り返しペナルティの目的は、繰り返し生成を罰することですが、これが期待どおりには機能しないことが分かりました。

をオフにする 繰り返しペナルティ のも有効です（つまり 1.0 に設定することです）が、無限生成を抑制するために使うのは有用だと分かりました。

これを使うには、適用前に llama.cpp のサンプラーの順序も編集する必要があることが分かりました 繰り返しペナルティ。そうしないと無限生成が起こります。なので、これを追加してください：

--samplers "top_k;top_p;min_p;temperature;dry;typ_p;xtc"

デフォルトでは、llama.cpp は次の順序を使います：

--samplers "dry;top_k;typ_p;top_p;min_p;xtc;temperature"

実質的に temperature と dry の順序を入れ替え、min_p を前方へ移動します。つまり、次の順序でサンプラーを適用します：

top_k=40
top_p=0.95
min_p=0.0
temperature=0.6
dry
typ_p
xtc

それでも問題が続く場合は、--repeat-penalty 1.0 を 1.2 または 1.3 に上げてみてください。

ご助力に感謝します @krist486 llama.cpp のサンプリングの手順について教えてくれたことに感謝します。

☀️ Dry 繰り返しペナルティ

私たちは dry penalty の使用を調査しました。 https://github.com/ggml-org/llama.cpp/blob/master/examples/main/README.md で提案されているように 0.8 を使ってみましたが、実際にはこれが 特にコーディングで構文の問題を引き起こすことが分かりました。それでも問題が続く場合は、dry penalty を 0.8 に上げてください。

サンプリング順序を入れ替える私たちの方法も、 dry penalty.

🦙 チュートリアル: QwQ-32B を Ollama で実行する方法

1. インストール ollama まだなら、

apt-get update
apt-get install pciutils -y
curl -fsSL https://ollama.com/install.sh | sh

1. モデルを実行してください！失敗した場合は別のターミナルから ollama serveを呼び出せます。私たちの修正と推奨パラメータ（temperature、min_p など）は param に含まれています！

ollama run hf.co/unsloth/QwQ-32B-GGUF:Q4_K_M

📖 チュートリアル: QwQ-32B を llama.cpp で実行する方法

1. 最新の llama.cpp を GitHub こちらから取得してください。以下のビルド手順に従うこともできます。 -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。GPU がない場合、または CPU 推論だけを使いたい場合です。 Apple Mac / Metal デバイスの場合、次を設定して -DGGML_CUDA=OFF その後は通常どおり続けてください - Metal サポートは既定で有効です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=ON -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

1. モデルのダウンロード（ pip install huggingface_hub hf_transfer ）。Q4_K_M、または他の量子化版（たとえばBF16のフル精度）を選べます。その他の版はこちら： https://huggingface.co/unsloth/QwQ-32B-GGUF

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/QwQ-32B-GGUF",
    local_dir = "unsloth-QwQ-32B-GGUF",
    allow_patterns = ["*Q4_K_M*"], # Q4_K_M 用
)

1. Unsloth の Flappy Bird テストを実行すると、出力は Q4_K_M_yes_samplers.txt

2. 編集 --threads 32 CPU スレッド数を --ctx-size 16384 コンテキスト長を --n-gpu-layers 99 GPU オフロードする層数を指定します。GPU のメモリ不足になる場合は調整してみてください。CPU のみで推論する場合は、これも削除してください。

3. に保存されます --repeat-penalty 1.1 および --dry-multiplier 0.5 を使用しています。これは調整可能です。

./llama.cpp/llama-cli \\
    --model unsloth-QwQ-32B-GGUF/QwQ-32B-Q4_K_M.gguf \
    --threads 32 \\
    --ctx-size 16384 \\
    --n-gpu-layers 99 \\
    --seed 3407 \\
    --prio 2 \\
    --temp 0.6 \\
    --repeat-penalty 1.1 \
    --dry-multiplier 0.5 \
    --min-p 0.01 \\
    --top-k 40 \
    --top-p 0.95 \
    -no-cnv \\
    --samplers "top_k;top_p;min_p;temperature;dry;typ_p;xtc" \
    --prompt "<|im_start|>user\nPython で Flappy Bird ゲームを作成してください。以下を必ず含めてください:\n1. pygame を使用すること。\n2. 背景色はランダムに選ばれた明るい色にすること。最初は薄い青色から始めること。\n3. SPACE を複数回押すと鳥が加速すること。\n4. 鳥の形は四角、円、三角形のいずれかからランダムに選ぶこと。色は暗い色からランダムに選ぶこと。\n5. 下部に、暗い茶色または黄色からランダムに選ばれた色の地面を置くこと。\n6. 右上にスコアを表示すること。パイプを通過して当たらなければ加算すること。\n7. 十分な間隔を空けたパイプをランダムに配置すること。色は暗い緑、薄い茶色、または暗い灰色からランダムにすること。\n8. 負けたらベストスコアを表示すること。テキストは画面内に収めること。q または Esc を押すとゲームを終了すること。再開は SPACE を再度押すこと。\n最終的なゲームは Python のマークダウンセクション内に入れてください。最終的なマークダウンセクションの前に、コードのエラーを確認して修正してください。<|im_end|>\n<|im_start|>assistant\n<think>\n"  \
        2>&1 | tee Q4_K_M_yes_samplers.txt

私たちの https://unsloth.ai/blog/deepseekr1-dynamic 1.58bitブログからの全文入力は次のとおりです:

<|im_start|>user
Python で Flappy Bird ゲームを作成してください。以下を必ず含めてください:
1. pygame を使うこと。
2. 背景色はランダムに選び、明るい色にすること。最初は薄い青にしてください。
3. SPACE を何度も押すと鳥が加速すること。
4. 鳥の形は四角、円、三角形のいずれかからランダムに選ぶこと。色は暗い色からランダムに選ぶこと。
5. 画面下部に、濃い茶色または黄色からランダムに選んだ色の地面を配置すること。
6. 右上にスコアを表示すること。パイプを通過して当たらなければ加点すること。
7. 十分な間隔を空けてランダムな位置にパイプを配置すること。色は濃い緑、薄い茶色、または濃い灰色からランダムにすること。
8. 失敗したらベストスコアを表示すること。テキストは画面内に収めること。q または Esc を押すとゲームを終了し、SPACE をもう一度押すと再開すること。
最終的なゲームは Python のマークダウンセクション内に入れてください。最終的なマークダウンセクションの前に、コードのエラーを確認して修正してください。<|im_end|>
<|im_start|>assistant
<think>

思考部分を削除した後の最終的な Python 出力の冒頭と末尾：

import pygame
import random
import sys

pygame.init()
### 続き

class Bird:
    def __init__(self):
        ### 続き

def main():
    best_score = 0
    current_score = 0
    game_over = False
    pipes = []
    first_time = True  # 最初のゲームプレイを追跡

    # 初期設定
    background_color = (173, 216, 230)  # 最初は薄い青
    land_color = random.choice(land_colors)
    bird = Bird()

    while True:
        for event in pygame.event.get():
            ### 続き

        if not game_over:
            # 鳥とパイプを更新
            bird.update()
            ### 続き

        # 描画
        ### 続き
        pygame.display.flip()
        clock.tick(60)

if __name__ == "__main__":
    main()

完全な最終 Python 出力（思考部分を削除）：

import pygame
import random
import sys

pygame.init()
WIDTH, HEIGHT = 800, 600
screen = pygame.display.set_mode((WIDTH, HEIGHT))
pygame.display.set_caption("Flappy Bird Clone")
clock = pygame.time.Clock()

# 色
pipe_colors = [(0, 100, 0), (210, 180, 140), (50, 50, 50)]
land_colors = [(139, 69, 19), (255, 255, 0)]

# ゲーム定数
GRAVITY = 0.5
PIPE_SPEED = 5
BIRD_SIZE = 30
LAND_HEIGHT = 50
PIPE_WIDTH = 50
PIPE_GAP = 150

class Bird:
    def __init__(self):
        self.x = WIDTH // 2
        self.y = HEIGHT // 2
        self.velocity = 0
        self.shape = random.choice(['square', 'circle', 'triangle'])
        self.color = (random.randint(0, 100), random.randint(0, 100), random.randint(0, 100))
        self.rect = pygame.Rect(self.x - BIRD_SIZE//2, self.y - BIRD_SIZE//2, BIRD_SIZE, BIRD_SIZE)
    
    def update(self):
        self.velocity += GRAVITY
        self.y += self.velocity
        self.rect.y = self.y - BIRD_SIZE//2
        self.rect.x = self.x - BIRD_SIZE//2  # x を中央に保つ
    
    def draw(self):
        if self.shape == 'square':
            pygame.draw.rect(screen, self.color, self.rect)
        elif self.shape == 'circle':
            pygame.draw.circle(screen, self.color, (self.rect.centerx, self.rect.centery), BIRD_SIZE//2)
        elif self.shape == 'triangle':
            points = [
                (self.rect.centerx, self.rect.top),
                (self.rect.left, self.rect.bottom),
                (self.rect.right, self.rect.bottom)
            ]
            pygame.draw.polygon(screen, self.color, points)

def spawn_pipe():
    pipe_x = WIDTH
    top_height = random.randint(50, HEIGHT - PIPE_GAP - LAND_HEIGHT)
    rect_top = pygame.Rect(pipe_x, 0, PIPE_WIDTH, top_height)
    bottom_y = top_height + PIPE_GAP
    bottom_height = (HEIGHT - LAND_HEIGHT) - bottom_y
    rect_bottom = pygame.Rect(pipe_x, bottom_y, PIPE_WIDTH, bottom_height)
    color = random.choice(pipe_colors)
    return {
        'rect_top': rect_top,
        'rect_bottom': rect_bottom,
        'color': color,
        'scored': False
    }

def main():
    best_score = 0
    current_score = 0
    game_over = False
    pipes = []
    first_time = True  # 最初のゲームプレイを追跡

    # 初期設定
    background_color = (173, 216, 230)  # 最初は薄い青
    land_color = random.choice(land_colors)
    bird = Bird()

    while True:
        for event in pygame.event.get():
            if event.type == pygame.QUIT:
                pygame.quit()
                sys.exit()
            if event.type == pygame.KEYDOWN:
                if event.key == pygame.K_ESCAPE or event.key == pygame.K_q:
                    pygame.quit()
                    sys.exit()
                if event.key == pygame.K_SPACE:
                    if game_over:
                        # ゲームをリセット
                        bird = Bird()
                        pipes.clear()
                        current_score = 0
                        if first_time:
                            # 初回のゲームオーバー後の再開
                            background_color = (random.randint(200, 255), random.randint(200, 255), random.randint(200, 255))
                            first_time = False
                        else:
                            background_color = (random.randint(200, 255), random.randint(200, 255), random.randint(200, 255))
                        land_color = random.choice(land_colors)
                        game_over = False
                    else:
                        # 鳥をジャンプさせる
                        bird.velocity = -15  # 初期上向き速度

        if not game_over:
            # 鳥とパイプを更新
            bird.update()

            # パイプを左へ移動
            remove_pipes = []
            for pipe in pipes:
                pipe['rect_top'].x -= PIPE_SPEED
                pipe['rect_bottom'].x -= PIPE_SPEED
                # 鳥がパイプを通過したか確認
                if not pipe['scored'] and bird.rect.x > pipe['rect_top'].right:
                    current_score += 1
                    pipe['scored'] = True
                # パイプが画面外か確認
                if pipe['rect_top'].right < 0:
                    remove_pipes.append(pipe)
            # 画面外のパイプを削除
            for p in remove_pipes:
                pipes.remove(p)

            # 必要なら新しいパイプを生成
            if not pipes or pipes[-1]['rect_top'].x < WIDTH - 200:
                pipes.append(spawn_pipe())

            # 衝突を確認
            land_rect = pygame.Rect(0, HEIGHT - LAND_HEIGHT, WIDTH, LAND_HEIGHT)
            bird_rect = bird.rect
            # パイプを確認
            for pipe in pipes:
                if bird_rect.colliderect(pipe['rect_top']) or bird_rect.colliderect(pipe['rect_bottom']):
                    game_over = True
                    break
            # 地面と上端を確認
            if bird_rect.bottom >= land_rect.top or bird_rect.top <= 0:
                game_over = True

            if game_over:
                if current_score > best_score:
                    best_score = current_score

        # 描画
        screen.fill(background_color)
        # パイプを描画
        for pipe in pipes:
            pygame.draw.rect(screen, pipe['color'], pipe['rect_top'])
            pygame.draw.rect(screen, pipe['color'], pipe['rect_bottom'])
        # 地面を描画
        pygame.draw.rect(screen, land_color, (0, HEIGHT - LAND_HEIGHT, WIDTH, LAND_HEIGHT))
        # 鳥を描画
        bird.draw()
        # スコアを描画
        font = pygame.font.SysFont(None, 36)
        score_text = font.render(f'Score: {current_score}', True, (0, 0, 0))
        screen.blit(score_text, (WIDTH - 150, 10))
        # ゲームオーバー画面
        if game_over:
            over_text = font.render('Game Over!', True, (255, 0, 0))
            best_text = font.render(f'Best: {best_score}', True, (255, 0, 0))
            restart_text = font.render('Press SPACE to restart', True, (255, 0, 0))
            screen.blit(over_text, (WIDTH//2 - 70, HEIGHT//2 - 30))
            screen.blit(best_text, (WIDTH//2 - 50, HEIGHT//2 + 10))
            screen.blit(restart_text, (WIDTH//2 - 100, HEIGHT//2 + 50))
        
        pygame.display.flip()
        clock.tick(60)

if __name__ == "__main__":
    main()

1. 実行すると、動作可能なゲームが得られます！

1. 今度は、修正なしで同じことを試してみましょう！なので削除してください --samplers "top_k;top_p;min_p;temperature;dry;typ_p;xtc" これにより出力は Q4_K_M_no_samplers.txt

./llama.cpp/llama-cli \\
    --model unsloth-QwQ-32B-GGUF/QwQ-32B-Q4_K_M.gguf \
    --threads 32 \\
    --ctx-size 16384 \\
    --n-gpu-layers 99 \\
    --seed 3407 \\
    --prio 2 \\
    --temp 0.6 \\
    --repeat-penalty 1.1 \
    --dry-multiplier 0.5 \
    --min-p 0.01 \\
    --top-k 40 \
    --top-p 0.95 \
    -no-cnv \\
    --prompt "<|im_start|>user\nPython で Flappy Bird ゲームを作成してください。以下を必ず含めてください:\n1. pygame を使用すること。\n2. 背景色はランダムに選ばれた明るい色にすること。最初は薄い青色から始めること。\n3. SPACE を複数回押すと鳥が加速すること。\n4. 鳥の形は四角、円、三角形のいずれかからランダムに選ぶこと。色は暗い色からランダムに選ぶこと。\n5. 下部に、暗い茶色または黄色からランダムに選ばれた色の地面を置くこと。\n6. 右上にスコアを表示すること。パイプを通過して当たらなければ加算すること。\n7. 十分な間隔を空けたパイプをランダムに配置すること。色は暗い緑、薄い茶色、または暗い灰色からランダムにすること。\n8. 負けたらベストスコアを表示すること。テキストは画面内に収めること。q または Esc を押すとゲームを終了すること。再開は SPACE を再度押すこと。\n最終的なゲームは Python のマークダウンセクション内に入れてください。最終的なマークダウンセクションの前に、コードのエラーを確認して修正してください。<|im_end|>\n<|im_start|>assistant\n<think>\n"  \
        2>&1 | tee Q4_K_M_no_samplers.txt

いくらかループしますが、 問題のある不正確な Python 構文 やその他多くの問題が発生します。たとえば、下のものは正しく見えますが、間違っています！つまり 39 行目 pipes.clear() ### <<< NameError: name 'pipes' is not defined. Did you forget to import 'pipes'?

import pygame
import random

pygame.init()

# 定数
WIDTH, HEIGHT = 800, 600
GROUND_HEIGHT = 20
GRAVITY = 0.7
PIPE_SPEED = -3
BIRD_SIZE = 45
MIN_GAP = 130
MAX_GAP = 200
PIPE_COLORS = [(0, 96, 0), (205, 133, 63), (89, 97, 107)]
DARK_BROWN = (94, 72, 4)
YELLOW = (252, 228, 6)

screen = pygame.display.set_mode((WIDTH, HEIGHT))
clock = pygame.time.Clock()

def random_light_color():
    return (
        random.randint(180, 230),
        random.randint(190, 300),
        random.randint(250, 255)
    )

def reset_game():
    global bird_x, bird_y
    global pipes, score
    global background_color, land_color
    global bird_shape, bird_color

    # 鳥のプロパティ
    bird_x = WIDTH * 0.3
    bird_y = HEIGHT // 2
    bird_vel = -5  # 初期上向き推力

    pipes.clear() ### <<< NameError: name 'pipes' is not defined. Did you forget to import 'pipes'?

1. もし --repeat-penalty 1.5を使うと、さらに悪化してより明白になり、実際には完全に誤った構文になります。

import pygame
from random import randint  # 色/形/位置をランダムに生成するため 
pygame.init()

# 定数:
WIDTH, HEIGHT =456 ,702   #
BACKGROUND_COLOR_LIGHTS=['lightskyblue']
GAP_SIZE=189           #

BIRD_RADIUS=3.  
PIPE_SPEED=- ( )    ? 
class Game():
def __init__(self):
        self.screen_size=( )

def reset_game_vars():
    global current_scor e
   # 0 とその他の初期状態に設定する。

# メインゲームループ:
while running :
     for event in pygame.event.get() : 
        if quit ... etc

pygame.quit()
print("コードは簡略化されています。時間制約のため、完全に動作する版にはさらなる実装が必要です。")

1. Q4_K_M だからでしょうか？B16、つまりフル精度なら問題なく動くはずですよね？ いいえ、違います。私たちの修正である --samplers "top_k;top_p;min_p;temperature;dry;typ_p;xtc" を適用しないと、出力は再び失敗します。

🌄 まだ動作しませんか？ Min_p = 0.1、Temperature = 1.5 を試してください

Min_p の論文によると https://arxiv.org/pdf/2407.01082、より創造的で多様な出力のために、まだ繰り返しが見える場合は top_p と top_k を無効にしてみてください！

./llama.cpp/llama-cli --model unsloth-QwQ-32B-GGUF/QwQ-32B-Q4_K_M.gguf \
    --threads 32 --n-gpu-layers 99 \
    --ctx-size 16384 \\
    --temp 1.5 \
    --min-p 0.1 \
    --top-k 0 \
    --top-p 1.0 \\
    -no-cnv \\
    --prompt "<|im_start|>user\nPython で Flappy Bird ゲームを作成してください。以下を必ず含めてください:\n1. pygame を使用すること。\n2. 背景色はランダムに選ばれた明るい色にすること。最初は薄い青色から始めること。\n3. SPACE を複数回押すと鳥が加速すること。\n4. 鳥の形は四角、円、三角形のいずれかからランダムに選ぶこと。色は暗い色からランダムに選ぶこと。\n5. 下部に、暗い茶色または黄色からランダムに選ばれた色の地面を置くこと。\n6. 右上にスコアを表示すること。パイプを通過して当たらなければ加算すること。\n7. 十分な間隔を空けたパイプをランダムに配置すること。色は暗い緑、薄い茶色、または暗い灰色からランダムにすること。\n8. 負けたらベストスコアを表示すること。テキストは画面内に収めること。q または Esc を押すとゲームを終了すること。再開は SPACE を再度押すこと。\n最終的なゲームは Python のマークダウンセクション内に入れてください。最終的なマークダウンセクションの前に、コードのエラーを確認して修正してください。<|im_end|>\n<|im_start|>assistant\n<think>\n"

別の方法として、 min_p を直接無効にすることもできます。llama.cpp はデフォルトで min_p = 0.1!

./llama.cpp/llama-cli --model unsloth-QwQ-32B-GGUF/QwQ-32B-Q4_K_M.gguf \
    --threads 32 --n-gpu-layers 99 \
    --ctx-size 16384 \\
    --temp 0.6 \\
    --min-p 0.0 \\
    --top-k 40 \
    --top-p 0.95 \
    -no-cnv \\
    --prompt "<|im_start|>user\nPython で Flappy Bird ゲームを作成してください。以下を必ず含めてください:\n1. pygame を使用すること。\n2. 背景色はランダムに選ばれた明るい色にすること。最初は薄い青色から始めること。\n3. SPACE を複数回押すと鳥が加速すること。\n4. 鳥の形は四角、円、三角形のいずれかからランダムに選ぶこと。色は暗い色からランダムに選ぶこと。\n5. 下部に、暗い茶色または黄色からランダムに選ばれた色の地面を置くこと。\n6. 右上にスコアを表示すること。パイプを通過して当たらなければ加算すること。\n7. 十分な間隔を空けたパイプをランダムに配置すること。色は暗い緑、薄い茶色、または暗い灰色からランダムにすること。\n8. 負けたらベストスコアを表示すること。テキストは画面内に収めること。q または Esc を押すとゲームを終了すること。再開は SPACE を再度押すこと。\n最終的なゲームは Python のマークダウンセクション内に入れてください。最終的なマークダウンセクションの前に、コードのエラーを確認して修正してください。<|im_end|>\n<|im_start|>assistant\n<think>\n"

🤔 <think> トークンが表示されない？

一部の人は、チャットテンプレートに <think> がデフォルトで追加されるため、いくつかのシステムでは思考トレースが正しく出力されないと報告しています。Jinja テンプレートを手動で次のように編集する必要があります：

から別のものへ、末尾の <think>\n を削除することで。これでモデルは推論時に手動で <think>\n を追加する必要がありますが、常に成功するとは限りません。DeepSeek もすべてのモデルを編集して、デフォルトで <think> トークンを追加し、モデルを推論モデルに入るよう強制しています。

したがって、次のように変更してください {%- if add_generation_prompt %} {{- '<|im_start|>assistant\n<think>\n' }} {%- endif %} を {%- if add_generation_prompt %} {{- '<|im_start|>assistant\n' }} {%- endif %}

つまり <think>\n

<think>\n 部分を削除した完全な jinja テンプレート

追加メモ

最初は、次のように考えました：

1. QwQ のコンテキスト長はネイティブには 128K ではなく、YaRN 拡張付きの 32K なのではないかと。たとえば https://huggingface.co/Qwen/QwQ-32Bの readme ファイルでは、次のように見えます：

{
  ...,
  "rope_scaling": {
    "factor": 4.0,
    "original_max_position_embeddings": 32768,
    "type": "yarn"
  }
}

llama.cpp の YaRN 処理を上書きしてみましたが、何も変わりませんでした。

--override-kv qwen2.context_length=int:131072 \
--override-kv qwen2.rope.scaling.type=str:yarn \
--override-kv qwen2.rope.scaling.factor=float:4 \
--override-kv qwen2.rope.scaling.original_context_length=int:32768 \
--override-kv qwen2.rope.scaling.attn_factor=float:1.13862943649292 \

1. RMS LayerNorm の epsilon が間違っているのではないかとも考えました。1e-5 ではなく 1e-6 かもしれないと。たとえば こちらは を持ち、 rms_norm_eps=1e-06、一方で こちらは を持ち、 rms_norm_eps=1e-05 を持っています。これも上書きしましたが、うまくいきませんでした：

--override-kv qwen2.attention.layer_norm_rms_epsilon=float:0.000001 \

1. トークナイザー ID が llama.cpp と通常の Transformers で一致するかも、 @kalomazeのご助力により確認しました。一致していたので、これが原因ではありませんでした。

以下に私たちの実験結果を示します：

61KB

file_BF16_no_samplers.txt

開く

サンプリング修正なしの BF16 フル精度

55KB

file_BF16_yes_samplers.txt

開く

サンプリング修正ありの BF16 フル精度

71KB

final_Q4_K_M_no_samplers.txt

開く

サンプリング修正なしの Q4_K_M 精度

65KB

final_Q4_K_M_yes_samplers.txt

開く

サンプリング修正ありの Q4_K_M 精度

✏️ トークナイザーのバグ修正

• ファインチューニングに特に影響するいくつかの問題も見つかりました！EOS トークンは正しいですが、PAD トークンはむしろ "<|vision_pad|>" にすべきだと思われます。私たちは以下で更新しました： https://huggingface.co/unsloth/QwQ-32B/blob/main/tokenizer_config.json

"eos_token": "<|im_end|>",
"pad_token": "<|endoftext|>",

🛠️ ダイナミック 4-bit 量子化

また、単純な 4bit 量子化より精度を向上させるダイナミック 4bit 量子化もアップロードしました！活性化量子化誤差と重み量子化誤差の両方について、QwQ の量子化誤差プロット分析を添付します：

ダイナミック 4-bit 量子化を次にアップロードしました： https://huggingface.co/unsloth/QwQ-32B-unsloth-bnb-4bit

vLLM 0.7.3 以降（2025年2月20日） https://github.com/vllm-project/vllm/releases/tag/v0.7.3、vLLM は Unsloth のダイナミック 4bit 量子化の読み込みをサポートするようになりました！

すべての GGUF はこちらにあります https://huggingface.co/unsloth/QwQ-32B-GGUF!