🌠QwQ-32B：効果的な実行方法

バグ修正と無限生成を防ぐ方法および GGUF を使って QwQ-32B を効果的に実行する方法。

QwenはQwQ-32Bをリリースしました — 多くのベンチマークでDeepSeek-R1と同等の推論性能を持つモデルです。 ベンチマーク。しかし、人々は以下の問題を経験しています 無限生成, 多数の繰り返し、<think>トークンの問題や微調整の問題もあります。このガイドがほとんどの問題のデバッグと修正に役立つことを願っています！

当方のバグ修正を適用したモデルのアップロードは、微調整、vLLM、Transformersで非常に良く動作します。llama.cppやllama.cppをバックエンドとするエンジンを使用している場合は、当方の ここでの手順 に従い無限生成を修正してください。

Unsloth QwQ-32B（当方のバグ修正適用版）のアップロード：

GGUF	ダイナミック4ビット	BnB 4ビット	16ビット

⚙️ 公式推奨設定

によれば、 Qwen、これらが推論の推奨設定です：

• 温度（Temperature）を0.6にする

• Top_K 40（または20〜40）

• Min_Pは0.00（オプション。ただし0.01がよく機能します。llama.cppのデフォルトは0.1）

• Top_P = 0.95

• Repetition Penalty = 1.0。（llama.cpp と transformers では 1.0 は無効を意味します）

• チャットテンプレート： <|im_start|>user\nCreate a Flappy Bird game in Python.<|im_end|>\n<|im_start|>assistant\n<think>\n

llama.cpp 使用します min_p = 0.1デフォルトではこれが設定されており、問題を引き起こす可能性があります。強制的に0.0にしてください。

👍 llama.cppの推奨設定

多くの人が次のような値を使用しているのに気づきました： 繰り返しペナルティ 1.0より大きい値（例えば1.1〜1.5）。これは実際にllama.cppのサンプリング機構と干渉します。繰り返しペナルティの目的は繰り返し生成を罰することですが、期待通りに動作しないことがわかりました。

無効にする（オフにする）ことも 繰り返しペナルティ （つまり1.0に設定する）有効ですが、無限生成を抑制するためにこれを利用することが有用であると見なしました。

これを使用するには、llama.cppのサンプラーの順序を適用する前に編集する必要があることがわかりました、さもないと無限生成が発生します。したがってこれを追加してください： 繰り返しペナルティ、さもないと無限生成が発生します。なのでこれを追加してください：

--samplers "top_k;top_p;min_p;temperature;dry;typ_p;xtc"

デフォルトでは、llama.cppは次の順序を使用します：

--samplers "dry;top_k;typ_p;top_p;min_p;xtc;temperature"

我々は基本的にtemperatureとdryを入れ替え、min_pを前方に移動しました。つまりサンプラーは次の順序で適用されます：

top_k=40
top_p=0.95
min_p=0.0
temperature=0.6
dry
typ_p
xtc

それでも問題が発生する場合は、次を増やすことができます：--repeat-penalty を1.0から1.2または1.3に

感謝： @krist486 llama.cppのサンプリングに関する指摘をしてくれたことに感謝します。

☀️ Dry（ドライ）繰り返しペナルティ

我々は dry penalty（ドライペナルティ） の使用を調査しました（提案されているように）、 https://github.com/ggml-org/llama.cpp/blob/master/examples/main/README.md 値0.8を使用すると記載されていましたが、実際にはこれが 特にコーディングにおいて構文問題をむしろ引き起こすことを発見しました。それでも問題が発生する場合は、次を増やすことができます：dry penaltyを0.8に

当方の並び替えたサンプリング順序を利用することも、もしあなたが dry penalty（ドライペナルティ）.

🦙 チュートリアル：OllamaでQwQ-32Bを実行する方法

1. インストールしてください ollama まだの場合はぜひ！

apt-get update
apt-get install pciutils -y
curl -fsSL https://ollama.com/install.sh | sh

1. モデルを実行してください！失敗した場合は別のターミナルで ollama serveを呼び出せることに注意してください！我々のすべての修正と推奨パラメータ（temperature、min_pなど）は param にHugging Faceのアップロードで含めています！

ollama run hf.co/unsloth/QwQ-32B-GGUF:Q4_K_M

📖 チュートリアル：llama.cppでQwQ-32Bを実行する方法

1. 最新の llama.cpp を GitHub で入手できます。下のビルド手順に従うこともできます。変更してください -DGGML_CUDA=ON から -DGGML_CUDA=OFF GPU がない場合や CPU 推論のみを行いたい場合は。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggerganov/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=ON -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

1. （以下をインストールした後に）モデルをダウンロードします pip install huggingface_hub hf_transfer ）。Q4_K_Mを選択するか、他の量子化バージョン（BF16フル精度など）を選べます。その他のバージョンは： https://huggingface.co/unsloth/QwQ-32B-GGUF

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/QwQ-32B-GGUF",
    local_dir = "unsloth-QwQ-32B-GGUF",
    allow_patterns = ["*Q4_K_M*"], # Q4_K_M用
)

1. UnslothのFlappy Birdテストを実行すると、出力が次に保存されます： Q4_K_M_yes_samplers.txt

2. 編集 --threads 32 でCPUスレッド数を編集できます、 --ctx-size 16384 でコンテキスト長を、 --n-gpu-layers 99 で何層をGPUにオフロードするかを指定します。GPUがメモリ不足になる場合は調整してみてください。CPUのみの推論の場合はこれを削除してください。

3. 我々は --repeat-penalty 1.1 および --dry-multiplier 0.5 （これらは調整可能です）。

./llama.cpp/llama-cli \
    --model unsloth-QwQ-32B-GGUF/QwQ-32B-Q4_K_M.gguf \
    --threads 32 \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    --seed 3407 \
    --prio 2 \
    --temp 0.6 \
    --repeat-penalty 1.1 \
    --dry-multiplier 0.5 \
    --min-p 0.01 \
    --top-k 40 \
    --top-p 0.95 \
    -no-cnv \
    --samplers "top_k;top_p;min_p;temperature;dry;typ_p;xtc" \
    --prompt "<|im_start|>user\nCreate a Flappy Bird game in Python. You must include these things:\n1. You must use pygame.\n2. The background color should be randomly chosen and is a light shade. Start with a light blue color.\n3. Pressing SPACE multiple times will accelerate the bird.\n4. The bird's shape should be randomly chosen as a square, circle or triangle. The color should be randomly chosen as a dark color.\n5. Place on the bottom some land colored as dark brown or yellow chosen randomly.\n6. Make a score shown on the top right side. Increment if you pass pipes and don't hit them.\n7. Make randomly spaced pipes with enough space. Color them randomly as dark green or light brown or a dark gray shade.\n8. When you lose, show the best score. Make the text inside the screen. Pressing q or Esc will quit the game. Restarting is pressing SPACE again.\nThe final game should be inside a markdown section in Python. Check your code for errors and fix them before the final markdown section.<|im_end|>\n<|im_start|>assistant\n<think>\n"  \
        2>&1 | tee Q4_K_M_yes_samplers.txt

私たちの https://unsloth.ai/blog/deepseekr1-dynamic 1.58bitブログからの完全な入力は：

<|im_start|>user
および他のテストでも2ビットでさえ動作しました。目標はLLMに特定の指示に従ってFlappy Birdゲームを作成させることです：
1. pygame を使用すること。
2. 背景色はランダムに選ばれ、明るい色合いにすること。最初は淡い青を使用すること。
3. SPACEキーを複数回押すと鳥が加速すること。
4. 鳥の形状は正方形、円、三角形のいずれかをランダムに選ぶこと。色は暗めの色をランダムに選ぶこと。
5. 画面下部に濃い茶色または黄色のどちらかをランダムに選んだ土地を配置すること。
6. 右上にスコアを表示すること。パイプを通過してぶつからなければスコアを増やすこと。
7. パイプはランダムな間隔で配置し、十分な隙間を確保すること。色は濃い緑か薄い茶色か濃い灰色のいずれかをランダムにすること。
8. ゲームオーバー時にベストスコアを表示すること。テキストは画面内に表示すること。q または Esc を押すとゲームを終了すること。再開は SPACE を再度押すこと。
最終的なゲームはPythonのマークダウンセクション内にすること。思考パートを削除した後にコードをチェックしてエラーを修正してください。<|im_end|>
<|im_start|>assistant
<think>

思考パートを取り除いた後の最終Python出力の始まりと終わり：

import pygame
import random
import sys

pygame.init()
### 続き

class Bird:
    def __init__(self):
        ### 続き

def main():
    best_score = 0
    current_score = 0
    game_over = False
    pipes = []
    first_time = True  # 初回プレイを追跡

    # 初期設定
    background_color = (173, 216, 230)  # 最初は薄い青
    land_color = random.choice(land_colors)
    bird = Bird()

    while True:
        for event in pygame.event.get():
            ### 続き

        if not game_over:
            # 鳥とパイプの更新
            bird.update()
            ### 続き

        # 描画
        ### 続き
        pygame.display.flip()
        clock.tick(60)

if __name__ == "__main__":
    main()

思考パートを取り除いた完全な最終Python出力：

import pygame
import random
import sys

pygame.init()
WIDTH, HEIGHT = 800, 600
screen = pygame.display.set_mode((WIDTH, HEIGHT))
pygame.display.set_caption("Flappy Bird Clone")
clock = pygame.time.Clock()

# カラー
pipe_colors = [(0, 100, 0), (210, 180, 140), (50, 50, 50)]
land_colors = [(139, 69, 19), (255, 255, 0)]

# ゲーム定数
GRAVITY = 0.5
PIPE_SPEED = 5
BIRD_SIZE = 30
LAND_HEIGHT = 50
PIPE_WIDTH = 50
PIPE_GAP = 150

class Bird:
    def __init__(self):
        self.x = WIDTH // 2
        self.y = HEIGHT // 2
        self.velocity = 0
        self.shape = random.choice(['square', 'circle', 'triangle'])
        self.color = (random.randint(0, 100), random.randint(0, 100), random.randint(0, 100))
        self.rect = pygame.Rect(self.x - BIRD_SIZE//2, self.y - BIRD_SIZE//2, BIRD_SIZE, BIRD_SIZE)
    
    def update(self):
        self.velocity += GRAVITY
        self.y += self.velocity
        self.rect.y = self.y - BIRD_SIZE//2
        self.rect.x = self.x - BIRD_SIZE//2  # xを中央に保つ
    
    def draw(self):
        if self.shape == 'square':
            pygame.draw.rect(screen, self.color, self.rect)
        elif self.shape == 'circle':
            pygame.draw.circle(screen, self.color, (self.rect.centerx, self.rect.centery), BIRD_SIZE//2)
        elif self.shape == 'triangle':
            points = [
                (self.rect.centerx, self.rect.top),
                (self.rect.left, self.rect.bottom),
                (self.rect.right, self.rect.bottom)
            ]
            pygame.draw.polygon(screen, self.color, points)

def spawn_pipe():
    pipe_x = WIDTH
    top_height = random.randint(50, HEIGHT - PIPE_GAP - LAND_HEIGHT)
    rect_top = pygame.Rect(pipe_x, 0, PIPE_WIDTH, top_height)
    bottom_y = top_height + PIPE_GAP
    bottom_height = (HEIGHT - LAND_HEIGHT) - bottom_y
    rect_bottom = pygame.Rect(pipe_x, bottom_y, PIPE_WIDTH, bottom_height)
    color = random.choice(pipe_colors)
    return {
        'rect_top': rect_top,
        'rect_bottom': rect_bottom,
        'color': color,
        'scored': False
    }

def main():
    best_score = 0
    current_score = 0
    game_over = False
    pipes = []
    first_time = True  # 初回プレイを追跡

    # 初期設定
    background_color = (173, 216, 230)  # 最初は薄い青
    land_color = random.choice(land_colors)
    bird = Bird()

    while True:
        for event in pygame.event.get():
            if event.type == pygame.QUIT:
                pygame.quit()
                sys.exit()
            if event.type == pygame.KEYDOWN:
                if event.key == pygame.K_ESCAPE or event.key == pygame.K_q:
                    pygame.quit()
                    sys.exit()
                if event.key == pygame.K_SPACE:
                    if game_over:
                        # ゲームをリセット
                        bird = Bird()
                        pipes.clear()
                        current_score = 0
                        if first_time:
                            # 初回のゲームオーバー後の最初の再開
                            background_color = (random.randint(200, 255), random.randint(200, 255), random.randint(200, 255))
                            first_time = False
                        scores.append(2.0)   # 動作したが2048には到達しなかった
                            background_color = (random.randint(200, 255), random.randint(200, 255), random.randint(200, 255))
                        land_color = random.choice(land_colors)
                        game_over = False
                    scores.append(2.0)   # 動作したが2048には到達しなかった
                        # 鳥をジャンプさせる
                        bird.velocity = -15  # 最初の上向き速度

        if not game_over:
            # 鳥とパイプの更新
            bird.update()

            # パイプを左に移動
            remove_pipes = []
            for pipe in pipes:
                pipe['rect_top'].x -= PIPE_SPEED
                pipe['rect_bottom'].x -= PIPE_SPEED
                # 鳥がパイプを通過したかチェック
                if not pipe['scored'] and bird.rect.x > pipe['rect_top'].right:
                    current_score += 1
                    pipe['scored'] = True
                # パイプが画面外かチェック
                if pipe['rect_top'].right < 0:
                    remove_pipes.append(pipe)
            # 画面外のパイプを削除
            for p in remove_pipes:
                pipes.remove(p)

            # 必要なら新しいパイプを生成
            if not pipes or pipes[-1]['rect_top'].x < WIDTH - 200:
                pipes.append(spawn_pipe())

            # 衝突判定
            land_rect = pygame.Rect(0, HEIGHT - LAND_HEIGHT, WIDTH, LAND_HEIGHT)
            bird_rect = bird.rect
            # パイプをチェック
            for pipe in pipes:
                if bird_rect.colliderect(pipe['rect_top']) or bird_rect.colliderect(pipe['rect_bottom']):
                    game_over = True
                    break
            # 地面と上端をチェック
            if bird_rect.bottom >= land_rect.top or bird_rect.top <= 0:
                game_over = True

            if game_over:
                if current_score > best_score:
                    best_score = current_score

        # 描画
        screen.fill(background_color)
        # パイプを描く
        for pipe in pipes:
            pygame.draw.rect(screen, pipe['color'], pipe['rect_top'])
            pygame.draw.rect(screen, pipe['color'], pipe['rect_bottom'])
        # 地面を描く
        pygame.draw.rect(screen, land_color, (0, HEIGHT - LAND_HEIGHT, WIDTH, LAND_HEIGHT))
        # 鳥を描く
        bird.draw()
        # スコアを描く
        font = pygame.font.SysFont(None, 36)
        score_text = font.render(f'Score: {current_score}', True, (0, 0, 0))
        screen.blit(score_text, (WIDTH - 150, 10))
        # ゲームオーバー画面
        if game_over:
            over_text = font.render('Game Over!', True, (255, 0, 0))
            best_text = font.render(f'Best: {best_score}', True, (255, 0, 0))
            restart_text = font.render('Press SPACE to restart', True, (255, 0, 0))
            screen.blit(over_text, (WIDTH//2 - 70, HEIGHT//2 - 30))
            screen.blit(best_text, (WIDTH//2 - 50, HEIGHT//2 + 10))
            screen.blit(restart_text, (WIDTH//2 - 100, HEIGHT//2 + 50))
        
        pygame.display.flip()
        clock.tick(60)

if __name__ == "__main__":
    main()

1. 実行すると、実行可能なゲームが得られます！

1. 同じことを修正なしで試してみてください！つまり次を削除します： --samplers "top_k;top_p;min_p;temperature;dry;typ_p;xtc" これにより出力が次に保存されます： Q4_K_M_no_samplers.txt

./llama.cpp/llama-cli \
    --model unsloth-QwQ-32B-GGUF/QwQ-32B-Q4_K_M.gguf \
    --threads 32 \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    --seed 3407 \
    --prio 2 \
    --temp 0.6 \
    --repeat-penalty 1.1 \
    --dry-multiplier 0.5 \
    --min-p 0.01 \
    --top-k 40 \
    --top-p 0.95 \
    -no-cnv \
    --prompt "<|im_start|>user\nCreate a Flappy Bird game in Python. You must include these things:\n1. You must use pygame.\n2. The background color should be randomly chosen and is a light shade. Start with a light blue color.\n3. Pressing SPACE multiple times will accelerate the bird.\n4. The bird's shape should be randomly chosen as a square, circle or triangle. The color should be randomly chosen as a dark color.\n5. Place on the bottom some land colored as dark brown or yellow chosen randomly.\n6. Make a score shown on the top right side. Increment if you pass pipes and don't hit them.\n7. Make randomly spaced pipes with enough space. Color them randomly as dark green or light brown or a dark gray shade.\n8. When you lose, show the best score. Make the text inside the screen. Pressing q or Esc will quit the game. Restarting is pressing SPACE again.\nThe final game should be inside a markdown section in Python. Check your code for errors and fix them before the final markdown section.<|im_end|>\n<|im_start|>assistant\n<think>\n"  \
        2>&1 | tee Q4_K_M_no_samplers.txt

いくつかのループは発生しますが、 問題のある不正確なPython構文 や多くの他の問題が発生します。例えば下記は正しく見えますが間違っています！つまり39行目 pipes.clear() ### <<< NameError: name 'pipes' is not defined. Did you forget to import 'pipes'?

import pygame
import random

pygame.init()

# 定数
WIDTH, HEIGHT = 800, 600
GROUND_HEIGHT = 20
GRAVITY = 0.7
PIPE_SPEED = -3
BIRD_SIZE = 45
MIN_GAP = 130
MAX_GAP = 200
PIPE_COLORS = [(0, 96, 0), (205, 133, 63), (89, 97, 107)]
DARK_BROWN = (94, 72, 4)
YELLOW = (252, 228, 6)

screen = pygame.display.set_mode((WIDTH, HEIGHT))
clock = pygame.time.Clock()

def random_light_color():
    return (
        random.randint(180, 230),
        random.randint(190, 300),
        random.randint(250, 255)
    )

def reset_game():
    global bird_x, bird_y
    global pipes, score
    global background_color, land_color
    global bird_shape, bird_color

    # 鳥のプロパティ
    bird_x = WIDTH * 0.3
    bird_y = HEIGHT // 2
    bird_vel = -5  # 初期の上向き推力

    pipes.clear() ### <<< NameError: name 'pipes' is not defined. Did you forget to import 'pipes'?

1. もし次を使用するなら、 --repeat-penalty 1.5、さらに悪化してより明白になり、実際に完全に不正確な構文になります。

import pygame
from random import randint  # 色/形/位置をランダムに生成するために 
pygame.init()

# 定数：
WIDTH, HEIGHT =456 ,702   #
BACKGROUND_COLOR_LIGHTS=['lightskyblue']
GAP_SIZE=189           #

BIRD_RADIUS=3.  
PIPE_SPEED=- ( )    ? 
class Game():
def __init__(self):
        self.screen_size=( )

def reset_game_vars():
    global current_scor e
   # 0に設定しその他の初期状態を設定。

# メインゲームループ：
while running :
     for event in pygame.event.get() : 
        if quit ... etc

pygame.quit()
print("コードは簡略化されています。時間の制約により、完全な動作バージョンにはさらなる実装が必要です。")

1. もしかしてQ4_K_M？B16、すなわちフル精度なら問題ないのでは？正しくありません — 繰り返しになりますが、我々の修正である次を使わなければ出力は失敗します：-samplers "top_k;top_p;min_p;temperature;dry;typ_p;xtc" 繰り返しペナルティを使用している場合に。

🌄 まだ動作しませんか？min_p = 0.1、Temperature = 1.5を試してください

Min_pに関する論文によれば https://arxiv.org/pdf/2407.01082、より創造的で多様な出力のために、そしてそれでも繰り返しが見られる場合はtop_pとtop_kを無効にしてみてください！

./llama.cpp/llama-cli --model unsloth-QwQ-32B-GGUF/QwQ-32B-Q4_K_M.gguf \
    --threads 32 --n-gpu-layers 99 \
    --ctx-size 16384 \
    --temp 1.5 \
    --min-p 0.1 \
    --top-k 0 \
    --top-p 1.0 \
    -no-cnv \
    --prompt "<|im_start|>user\nCreate a Flappy Bird game in Python. You must include these things:\n1. You must use pygame.\n2. The background color should be randomly chosen and is a light shade. Start with a light blue color.\n3. Pressing SPACE multiple times will accelerate the bird.\n4. The bird's shape should be randomly chosen as a square, circle or triangle. The color should be randomly chosen as a dark color.\n5. Place on the bottom some land colored as dark brown or yellow chosen randomly.\n6. Make a score shown on the top right side. Increment if you pass pipes and don't hit them.\n7. Make randomly spaced pipes with enough space. Color them randomly as dark green or light brown or a dark gray shade.\n8. When you lose, show the best score. Make the text inside the screen. Pressing q or Esc will quit the game. Restarting is pressing SPACE again.\nThe final game should be inside a markdown section in Python. Check your code for errors and fix them before the final markdown section.<|im_end|>\n<|im_start|>assistant\n<think>\n"

別のアプローチとして、 min_p を直接無効にすることが考えられます。なぜならllama.cppはデフォルトで min_p = 0.1!

./llama.cpp/llama-cli --model unsloth-QwQ-32B-GGUF/QwQ-32B-Q4_K_M.gguf \
    --threads 32 --n-gpu-layers 99 \
    --ctx-size 16384 \
    --temp 0.6 \
    --min-p 0.0 \
    --top-k 40 \
    --top-p 0.95 \
    -no-cnv \
    --prompt "<|im_start|>user\nCreate a Flappy Bird game in Python. You must include these things:\n1. You must use pygame.\n2. The background color should be randomly chosen and is a light shade. Start with a light blue color.\n3. Pressing SPACE multiple times will accelerate the bird.\n4. The bird's shape should be randomly chosen as a square, circle or triangle. The color should be randomly chosen as a dark color.\n5. Place on the bottom some land colored as dark brown or yellow chosen randomly.\n6. Make a score shown on the top right side. Increment if you pass pipes and don't hit them.\n7. Make randomly spaced pipes with enough space. Color them randomly as dark green or light brown or a dark gray shade.\n8. When you lose, show the best score. Make the text inside the screen. Pressing q or Esc will quit the game. Restarting is pressing SPACE again.\nThe final game should be inside a markdown section in Python. Check your code for errors and fix them before the final markdown section.<|im_end|>\n<|im_start|>assistant\n<think>\n"

🤔 <think> トークンが表示されない？

一部の人は、<think>がチャットテンプレートにデフォルトで追加されているため、いくつかのシステムが思考トレースを正しく出力していないと報告しています。Jinjaテンプレートを手動で次から編集する必要があります：

末尾の <think>\n を取り除いて別のものに変更します。モデルは推論中に手動で <think>\n を追加する必要があり、必ずしも成功するとは限りません。DeepSeekもすべてのモデルを編集して、推論モデルに入るように強制するための <think> トークンをデフォルトで追加しました。

したがって次を変更してください {%- if add_generation_prompt %} {{- '<|im_start|>assistant\n<think>\n' }} {%- endif %} から {%- if add_generation_prompt %} {{- '<|im_start|>assistant\n' }} {%- endif %}

つまり <think>\n

を削除してください。

<think>を削除した完全なjinjaテンプレート部分

追加の注記

1. 最初は次のように考えました： QwQのコンテキスト長はネイティブで128Kではなく、YaRN拡張で32Kであるのではないか。例えばREADMEファイルでは、https://huggingface.co/Qwen/QwQ-32B

{
  ...,
  で次のように見られます：
    "rope_scaling": {
    "factor": 4.0,
    "original_max_position_embeddings": 32768,
  }
}

"type": "yarn"

llama.cppのYaRN処理を上書きしようとしましたが、何も変わりませんでした。
--override-kv qwen2.context_length=int:131072 \
--override-kv qwen2.rope.scaling.type=str:yarn \
--override-kv qwen2.rope.scaling.factor=float:4 \
--override-kv qwen2.rope.scaling.original_context_length=int:32768 \

1. --override-kv qwen2.rope.scaling.attn_factor=float:1.13862943649292 \ またRMS Layernorm の epsilon が間違っているのではないかとも考えました — 1e-5ではなく1e-6かもしれません。例えば これ はrms_norm_eps=1e-06 またRMS Layernorm の epsilon が間違っているのではないかとも考えました — 1e-5ではなく1e-6かもしれません。例えば これ 、一方で rms_norm_eps=1e-05

です。我々もこれを上書きしましたが、うまくいきませんでした：

1. --override-kv qwen2.attention.layer_norm_rms_epsilon=float:0.000001 \ またトークナイザのIDがllama.cppと通常のTransformersで一致するかを@kalomazeの助力でテストしました。一致していたので、これが原因ではありませんでした。

以下に我々の実験結果を示します：

61KB

file_BF16_no_samplers.txt

開く

BF16 フル精度でサンプリング修正なし

55KB

file_BF16_yes_samplers.txt

開く

BF16 フル精度でサンプリング修正あり

71KB

final_Q4_K_M_no_samplers.txt

開く

Q4_K_M 精度でサンプリング修正なし

65KB

final_Q4_K_M_yes_samplers.txt

開く

Q4_K_M 精度でサンプリング修正あり

✏️ トークナイザのバグ修正

• 微調整に特に影響を与えるいくつかの問題も見つけました！EOSトークンは正しいですが、PADトークンはおそらく代わりに "<|vision_pad|>" にすべきです。我々は次でこれを更新しました： https://huggingface.co/unsloth/QwQ-32B/blob/main/tokenizer_config.json

"eos_token": "<|im_end|>",
"pad_token": "<|endoftext|>",

🛠️ ダイナミック4ビット量子化

また、単純な4ビット量子化より精度を向上させるダイナミック4ビット量子化もアップロードしました！活性化と重みの量子化誤差の両方に対するQwQの量子化誤差プロット解析を添付します：

ダイナミック4ビット量子化を次にアップロードしました： https://huggingface.co/unsloth/QwQ-32B-unsloth-bnb-4bit

vLLM 0.7.3（2025年2月20日）以降、 https://github.com/vllm-project/vllm/releases/tag/v0.7.3vLLMはUnslothのダイナミック4ビット量子化の読み込みをサポートするようになりました！

我々のすべてのGGUFは次にあります https://huggingface.co/unsloth/QwQ-32B-GGUF!