🌠Qwen3-2507 : guide d'exécution locale

Exécutez localement sur votre appareil les versions Thinking et Instruct de Qwen3-30B-A3B-2507 et 235B-A22B !

Qwen a publié des mises à jour 2507 (juillet 2025) pour ses Qwen3 modèles 4B, 30B et 235B, introduisant à la fois des variantes « avec réflexion » et « sans réflexion ». Le modèle sans réflexion «Qwen3-30B-A3B-Instruct-2507' et 'Qwen3-235B-A22B-Instruct-2507' dispose d’une fenêtre de contexte de 256K, d’un meilleur suivi des instructions, de capacités multilingues et d’un meilleur alignement.

Les modèles avec réflexion «Qwen3-30B-A3B-Thinking-2507' et 'Qwen3-235B-A22B-Thinking-2507excellent en raisonnement, le 235B obtenant des résultats SOTA en logique, mathématiques, sciences, codage et tâches académiques avancées.

Unsloth prend désormais aussi en charge le fine-tuning et Apprentissage par renforcement (RL) des modèles Qwen3-2507 — 2x plus rapide, avec 70 % de VRAM en moins, et des contextes 8x plus longs

Exécuter 30B-A3B Exécuter 235B-A22B Fine-tuner Qwen3-2507

Unsloth Dynamic 2.0 GGUFs :

Modèle

GGUFs à exécuter :

Qwen3-4B-2507

Instruct • Thinking

Qwen3-30B-A3B-2507

Instruct • Thinking

Qwen3-235B-A22B-2507

Instruct • Thinking

⚙️ Bonnes pratiques

Les paramètres des modèles Thinking et Instruct sont différents. Le modèle Thinking utilise temperature = 0.6, tandis que le modèle Instruct utilise temperature = 0.7 Le modèle Thinking utilise top_p = 0.95, tandis que le modèle Instruct utilise top_p = 0.8

Pour obtenir des performances optimales, Qwen recommande ces paramètres :

Paramètres du modèle Instruct :

Paramètres du modèle Thinking :

Température = 0.7

Température = 0.6

Min_P = 0.00 (la valeur par défaut de llama.cpp est 0.1)

Top_P = 0.80

Top_P = 0.95

TopK = 20

presence_penalty = 0.0 à 2.0 (la valeur par défaut de llama.cpp le désactive, mais pour réduire les répétitions, vous pouvez l’utiliser)

Longueur de sortie adéquate: Utilisez une longueur de sortie de 32,768 tokens pour la plupart des requêtes, ce qui est suffisant pour la plupart des requêtes.

Modèle de chat pour Thinking et Instruct (Thinking a <think></think>) est indiqué ci-dessous :

<|im_start|>user
Salut !<|im_end|>
<|im_start|>assistant
Combien font 1+1 ?<|im_end|>
<|im_start|>user
2<|im_end|>
<|im_start|>assistant

📖 Tutoriels pour exécuter Qwen3-30B-A3B-2507

Vous trouverez ci-dessous des guides pour les Thinking et Instruct versions du modèle.

Instruct : Qwen3-30B-A3B-Instruct-2507

Comme il s’agit d’un modèle sans réflexion, il n’est pas nécessaire de définir thinking=False et le modèle ne génère pas de blocs <think> </think> .

⚙️ Bonnes pratiques

Pour obtenir des performances optimales, Qwen recommande les paramètres suivants :

Nous suggérons d’utiliser temperature=0.7, top_p=0.8, top_k=20, et min_p=0.0 presence_penalty entre 0 et 2 si le framework le prend en charge, afin de réduire les répétitions infinies.
temperature = 0.7
top_k = 20
min_p = 0.00 (la valeur par défaut de llama.cpp est 0.1)
top_p = 0.80
presence_penalty = 0.0 à 2.0 (la valeur par défaut de llama.cpp le désactive, mais pour réduire les répétitions, vous pouvez l’utiliser) Essayez 1.0 par exemple.
Prend en charge jusqu’à 262,144 de contexte nativement, mais vous pouvez le définir à 32,768 tokens pour réduire l’utilisation de la RAM

🦙 Ollama : Tutoriel pour exécuter Qwen3-30B-A3B-Instruct-2507

Installer ollama si ce n’est pas déjà fait ! Vous ne pouvez exécuter que des modèles allant jusqu’à 32B.

apt-get update
apt-get install pciutils -y
curl -fsSL https://ollama.com/install.sh | sh

Exécutez le modèle ! Notez que vous pouvez appeler ollama servedans un autre terminal si cela échoue ! Nous incluons toutes nos corrections et les paramètres suggérés (température, etc.) dans params dans notre envoi Hugging Face !

ollama run hf.co/unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:UD-Q4_K_XL

✨ Llama.cpp : Tutoriel pour exécuter Qwen3-30B-A3B-Instruct-2507

Obtenez le dernier llama.cpp par défaut. Seule votre machine peut atteindre le serveur. GitHub ici. Vous pouvez également suivre les instructions de compilation ci-dessous. Modifiez -DGGML_CUDA=ON à -DGGML_CUDA=OFF si vous n’avez pas de GPU ou si vous voulez simplement une inférence CPU. Pour les appareils Apple Mac / Metal, définissez -DGGML_CUDA=OFF puis continuez comme d’habitude - la prise en charge Metal est activée par défaut.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

Vous pouvez directement télécharger depuis HuggingFace via :

./llama.cpp/llama-cli \
    -hf unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:Q4_K_XL \
    --jinja -ngl 99 --ctx-size 32768 \
    --temp 0.7 --min-p 0.0 --top-p 0.80 --top-k 20 --presence-penalty 1.0

Téléchargez le modèle via (après avoir installé pip install huggingface_hub hf_transfer ). Vous pouvez choisir UD_Q4_K_XL ou d’autres versions quantifiées.

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF",
    local_dir = "unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

Thinking : Qwen3-30B-A3B-Thinking-2507

Ce modèle ne prend en charge que le mode Thinking et une fenêtre de contexte de 256K nativement. Le modèle de chat par défaut ajoute <think> automatiquement, vous pouvez donc ne voir qu’une balise de fermeture </think> dans la sortie.

⚙️ Bonnes pratiques

Pour obtenir des performances optimales, Qwen recommande les paramètres suivants :

Nous suggérons d’utiliser temperature=0.6, top_p=0.95, top_k=20, et min_p=0.0 presence_penalty entre 0 et 2 si le framework le prend en charge, afin de réduire les répétitions infinies.
temperature = 0.6
top_k = 20
min_p = 0.00 (la valeur par défaut de llama.cpp est 0.1)
top_p = 0.95
presence_penalty = 0.0 à 2.0 (la valeur par défaut de llama.cpp le désactive, mais pour réduire les répétitions, vous pouvez l’utiliser) Essayez 1.0 par exemple.
Prend en charge jusqu’à 262,144 de contexte nativement, mais vous pouvez le définir à 32,768 tokens pour réduire l’utilisation de la RAM

🦙 Ollama : Tutoriel pour exécuter Qwen3-30B-A3B-Instruct-2507

Installer ollama si ce n’est pas déjà fait ! Vous ne pouvez exécuter que des modèles allant jusqu’à 32B. Pour exécuter les modèles complets 235B-A22B, voir ici.

apt-get update
apt-get install pciutils -y
curl -fsSL https://ollama.com/install.sh | sh

Exécutez le modèle ! Notez que vous pouvez appeler ollama servedans un autre terminal si cela échoue ! Nous incluons toutes nos corrections et les paramètres suggérés (température, etc.) dans params dans notre envoi Hugging Face !

ollama run hf.co/unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF:UD-Q4_K_XL

✨ Llama.cpp : Tutoriel pour exécuter Qwen3-30B-A3B-Instruct-2507

Obtenez le dernier llama.cpp par défaut. Seule votre machine peut atteindre le serveur. GitHub ici. Vous pouvez également suivre les instructions de compilation ci-dessous. Modifiez -DGGML_CUDA=ON à -DGGML_CUDA=OFF si vous n’avez pas de GPU ou si vous voulez simplement une inférence CPU. Pour les appareils Apple Mac / Metal, définissez -DGGML_CUDA=OFF puis continuez comme d’habitude - la prise en charge Metal est activée par défaut.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

Vous pouvez directement télécharger depuis Hugging Face via :

./llama.cpp/llama-cli \
    -hf unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF:Q4_K_XL \
    --jinja -ngl 99 --ctx-size 32768 \
    --temp 0.6 --min-p 0.0 --top-p 0.95 --top-k 20 --presence-penalty 1.0

Téléchargez le modèle via (après avoir installé pip install huggingface_hub hf_transfer ). Vous pouvez choisir UD_Q4_K_XL ou d’autres versions quantifiées.

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF",
    local_dir = "unsloth/Qwen3-30B-A3B-Thinking-2507-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

📖 Exécuter Qwen3-235B-A22B-2507 Tutoriels

Vous trouverez ci-dessous des guides pour les Thinking et Instruct versions du modèle.

Thinking : Qwen3-235B-A22B-Thinking-2507

⚙️ Bonnes pratiques

Pour obtenir des performances optimales, Qwen recommande ces paramètres pour le modèle Thinking :

temperature = 0.6
top_k = 20
min_p = 0.00 (la valeur par défaut de llama.cpp est 0.1)
top_p = 0.95
presence_penalty = 0.0 à 2.0 (la valeur par défaut de llama.cpp le désactive, mais pour réduire les répétitions, vous pouvez l’utiliser) Essayez 1.0 par exemple.
Longueur de sortie adéquate: Utilisez une longueur de sortie de 32,768 tokens pour la plupart des requêtes, ce qui est suffisant pour la plupart des requêtes.

✨Exécuter Qwen3-235B-A22B-Thinking via llama.cpp :

Pour Qwen3-235B-A22B, nous utiliserons spécifiquement Llama.cpp pour une inférence optimisée et une multitude d’options.

Si vous souhaitez une version complète non quantifiée, utilisez nos Q8_K_XL, Q8_0 ou BF16 versions !

Obtenez le dernier llama.cpp par défaut. Seule votre machine peut atteindre le serveur. GitHub ici. Vous pouvez également suivre les instructions de compilation ci-dessous. Modifiez -DGGML_CUDA=ON à -DGGML_CUDA=OFF si vous n’avez pas de GPU ou si vous voulez simplement une inférence CPU. Pour les appareils Apple Mac / Metal, définissez -DGGML_CUDA=OFF puis continuez comme d’habitude - la prise en charge Metal est activée par défaut.
```
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

Vous pouvez directement utiliser llama.cpp pour télécharger le modèle, mais je recommande généralement d’utiliser huggingface_hub Pour utiliser directement llama.cpp, faites :

./llama.cpp/llama-cli \
    -hf unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF:Q2_K_XL \
    --ctx-size 16384 \
    --n-gpu-layers 99 \\
    -ot ".ffn_.*_exps.=CPU" \
    --temp 0.6 \
    --min-p 0.0 \
    --top-p 0.95 \
    --top-k 20 \
    --presence-penalty 1.0

Téléchargez le modèle via (après avoir installé pip install huggingface_hub hf_transfer ). Vous pouvez choisir UD-Q2_K_XL, ou d’autres versions quantifiées..

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0" # Peut parfois déclencher une limite de débit, donc mettez à 0 pour désactiver
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF",
    local_dir = "unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF",
    allow_patterns = ["*UD-Q2_K_XL*"],
)

Exécutez le modèle et essayez n’importe quelle instruction.
Modifiez --threads -1 pour le nombre de threads CPU, --ctx-size 262114 pour la longueur du contexte, --n-gpu-layers 99 pour l’offloading GPU, selon le nombre de couches. Essayez de l’ajuster si votre GPU manque de mémoire. Supprimez-le également si vous n’avez qu’une inférence sur CPU.

Utilisez -ot ".ffn_.*_exps.=CPU" pour décharger toutes les couches MoE sur le CPU ! Cela vous permet effectivement de faire tenir toutes les couches non MoE sur 1 GPU, améliorant ainsi la vitesse de génération. Vous pouvez personnaliser l’expression regex pour faire tenir plus de couches si vous disposez de plus de capacité GPU.

./llama.cpp/llama-cli \
    --model unsloth/Qwen3-235B-A22B-Thinking-2507-GGUF/UD-Q2_K_XL/Qwen3-235B-A22B-Thinking-2507-UD-Q2_K_XL-00001-of-00002.gguf \
    --ctx-size 16384 \
    --n-gpu-layers 99 \\
    -ot ".ffn_.*_exps.=CPU" \
    --seed 3407 \\
    --temp 0.6 \
    --min-p 0.0 \
    --top-p 0.95 \
    --top-k 20
    --presence-penalty 1.0

Instruct : Qwen3-235B-A22B-Instruct-2507

Comme il s’agit d’un modèle sans réflexion, il n’est pas nécessaire de définir thinking=False et le modèle ne génère pas de blocs <think> </think> .

⚙️ Bonnes pratiques

Pour obtenir des performances optimales, nous recommandons les paramètres suivants :

1. Paramètres d’échantillonnage: Nous suggérons d’utiliser temperature=0.7, top_p=0.8, top_k=20, et min_p=0. presence_penalty entre 0 et 2 si le framework le prend en charge, afin de réduire les répétitions infinies.

2. Longueur de sortie adéquate: Nous recommandons d’utiliser une longueur de sortie de 16,384 tokens pour la plupart des requêtes, ce qui est suffisant pour les modèles Instruct.

3. Standardiser le format de sortie : Nous recommandons d’utiliser des prompts pour standardiser les sorties du modèle lors des benchmarks.

Problèmes de mathématiques: Inclure Veuillez raisonner étape par étape, et mettre votre réponse finale entre \boxed{}. dans le prompt.
Questions à choix multiples: Ajoutez la structure JSON suivante au prompt pour standardiser les réponses : « Veuillez indiquer votre choix dans le champ `answer` avec uniquement la lettre du choix, par exemple, `"answer": "C".`

✨Exécuter Qwen3-235B-A22B-Instruct via llama.cpp :

Pour Qwen3-235B-A22B, nous utiliserons spécifiquement Llama.cpp pour une inférence optimisée et une multitude d’options.

Si vous souhaitez une version complète non quantifiée, utilisez nos Q8_K_XL, Q8_0 ou BF16 versions !

Obtenez la dernière version de llama.cpp sur GitHub ici. Vous pouvez également suivre les instructions de compilation ci-dessous. Changez -DGGML_CUDA=ON à -DGGML_CUDA=OFF si vous n’avez pas de GPU ou si vous voulez simplement une inférence CPU. Pour les appareils Apple Mac / Metal, définissez -DGGML_CUDA=OFF puis continuez comme d’habitude - la prise en charge Metal est activée par défaut.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2. Vous pouvez directement utiliser llama.cpp pour télécharger le modèle, mais je recommande généralement d’utiliser huggingface_hub Pour utiliser directement llama.cpp, faites :\

./llama.cpp/llama-cli \
    -hf unsloth/Qwen3-235B-A22B-Instruct-2507-GGUF:Q2_K_XL \
    --ctx-size 16384 \
    --n-gpu-layers 99 \\
    -ot ".ffn_.*_exps.=CPU" \
    --temp 0.7 \
    --min-p 0.0 \
    --top-p 0.8 \
    --top-k 20 \
    --repeat-penalty 1.0

3. Téléchargez le modèle via (après avoir installé pip install huggingface_hub hf_transfer ). Vous pouvez choisir UD-Q2_K_XL, ou d’autres versions quantifiées..

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0" # Peut parfois déclencher une limite de débit, donc mettez à 0 pour désactiver
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Qwen3-235B-A22B-Instruct-2507-GGUF",
    local_dir = "unsloth/Qwen3-235B-A22B-Instruct-2507-GGUF",
    allow_patterns = ["*UD-Q2_K_XL*"],
)

4. Exécutez le modèle et essayez n’importe quelle instruction. 5. Modifiez --threads -1 pour le nombre de threads CPU, --ctx-size 262114 pour la longueur du contexte, --n-gpu-layers 99 pour l’offloading GPU, selon le nombre de couches. Essayez de l’ajuster si votre GPU manque de mémoire. Supprimez-le également si vous n’avez qu’une inférence sur CPU.

./llama.cpp/llama-cli \
    --model unsloth/Qwen3-235B-A22B-Instruct-2507-GGUF/UD-Q2_K_XL/Qwen3-235B-A22B-Instruct-2507-UD-Q2_K_XL-00001-of-00002.gguf \
    --ctx-size 16384 \
    --n-gpu-layers 99 \\
    -ot ".ffn_.*_exps.=CPU" \
    --temp 0.7 \
    --min-p 0.0 \
    --top-p 0.8 \
    --top-k 20

🛠️ Amélioration de la vitesse de génération

Si vous disposez de plus de VRAM, vous pouvez essayer de décharger davantage de couches MoE, ou de décharger des couches entières elles-mêmes.

Normalement, -ot ".ffn_.*_exps.=CPU" décharge toutes les couches MoE sur le CPU ! Cela vous permet effectivement de faire tenir toutes les couches non MoE sur 1 GPU, améliorant ainsi la vitesse de génération. Vous pouvez personnaliser l’expression regex pour faire tenir plus de couches si vous disposez de plus de capacité GPU.

Si vous avez un peu plus de mémoire GPU, essayez -ot ".ffn_(up|down)_exps.=CPU" Cela décharge les couches MoE de projection up et down.

Essayez -ot ".ffn_(up)_exps.=CPU" si vous avez encore plus de mémoire GPU. Cela ne décharge que les couches MoE de projection up.

Vous pouvez aussi personnaliser la regex, par exemple -ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU" signifie décharger les couches MoE gate, up et down, mais uniquement à partir de la 6e couche.

Le la dernière version de llama.cpp introduit également un mode à haut débit. Utilisez llama-parallel. En savoir plus à ce sujet ici. Vous pouvez aussi quantifier le cache KV à 4 bits par exemple pour réduire les mouvements de VRAM / RAM, ce qui peut aussi accélérer le processus de génération. La section suivante parle de la quantification du cache KV.

📐Comment faire tenir un long contexte

Pour faire tenir un contexte plus long, vous pouvez utiliser la quantification du cache KV pour quantifier les caches K et V en bits plus faibles. Cela peut aussi augmenter la vitesse de génération grâce à la réduction des mouvements de données RAM / VRAM. Les options autorisées pour la quantification K (la valeur par défaut est f16) comprennent celles ci-dessous.

--cache-type-k f32, f16, bf16, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1

Vous devriez utiliser les variantes _1 pour une précision légèrement améliorée, bien que ce soit un peu plus lent. Par exemple q4_1, q5_1 Essayez donc --cache-type-k q4_1

Vous pouvez aussi quantifier le cache V, mais vous devrez compiler llama.cpp avec la prise en charge de Flash Attention via -DGGML_CUDA_FA_ALL_QUANTS=ON, et utilisez --flash-attn pour l’activer. Après avoir installé Flash Attention, vous pouvez alors utiliser --cache-type-v q4_1

🦥 Fine-tuning de Qwen3-2507 avec Unsloth

Unsloth rend Qwen3 le fine-tuning de Qwen3-2507 2x plus rapide, utilise 70 % de VRAM en moins et prend en charge des contextes 8x plus longs. Comme Qwen3-2507 n’a été publié qu’en variante 30B, cela signifie qu’il vous faudra environ un GPU A100 de 40 Go pour fine-tuner le modèle avec QLoRA (4 bits).

Pour un notebook, comme le modèle ne peut pas tenir dans les GPU gratuits de 16 Go de Colab, vous devrez utiliser un A100 de 40 Go. Vous pouvez utiliser notre notebook conversationnel, mais remplacez l’ensemble de données par n’importe lequel de votre choix. Cette fois, vous n’avez pas besoin de combiner le raisonnement dans votre ensemble de données car le modèle n’a pas de raisonnement.

Notebook de raisonnement + conversationnel Qwen3 (14B)

Si vous avez une ancienne version d’Unsloth et/ou si vous affineez localement, installez la dernière version d’Unsloth :

pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo

Fine-tuning des modèles MOE Qwen3-2507

La prise en charge du fine-tuning inclut les modèles MOE : 30B-A3B et 235B-A22B. Qwen3-30B-A3B fonctionne avec 30 Go de VRAM grâce à Unsloth. Pour le fine-tuning des MoE, ce n’est probablement pas une bonne idée de fine-tuner la couche routeur, donc nous l’avons désactivée par défaut.

Notebooks Qwen3-2507-4B pour : Thinking et Instruct

Le modèle 30B-A3B tient dans 30 Go de VRAM, mais vous pourriez manquer de RAM ou d’espace disque, car le modèle complet 16 bits doit être téléchargé et converti à la volée en 4 bits pour le fine-tuning QLoRA. Cela est dû à des problèmes lors de l’importation directe des modèles MOE 4 bits BnB. Cela n’affecte que les modèles MOE.

Si vous fine-tunez les modèles MOE, veuillez utiliser FastModel et non FastLanguageModel

from unsloth import FastModel
import torch
model, tokenizer = FastModel.from_pretrained(
    model_name = "unsloth/Qwen3-30B-A3B-Instruct-2507",
    max_seq_length = 2048, # Choisissez n’importe quelle valeur pour un long contexte !
    load_in_4bit = True,  # Quantification 4 bits pour réduire la mémoire
    load_in_8bit = False, # [NOUVEAU !] Un peu plus précis, utilise 2x plus de mémoire
    full_finetuning = False, # [NOUVEAU !] Nous avons maintenant l’affinage complet !
    # token = "hf_...", # utilisez-en un si vous utilisez des modèles protégés
)

PrécédentQwen3-VL SuivantMiniMax-M2.7

Mis à jour il y a 1 mois

Ce contenu vous a-t-il été utile ?