Cogito v2.1：ローカル実行ガイド

Cogito v2.1 LLM は IDA で訓練された世界で最も強力なオープンモデルの一つです。v1 は 70B、109B、405B、671B の 4 サイズがあり、ハードウェアに合ったサイズを選べます。

Deep Cogito v2.1は、2025年11月19日時点で最も強力なオープンウェイトモデルである、更新された671B MoEです。

Cogito v2.1は1つの671B MoEサイズで提供され、Cogito v2 Previewは Deep Cogito のモデルリリースは70Bから671Bまでの4つのモデルサイズに及びます。を使用することにより IDA（反復蒸留と増幅）、これらのモデルは推論時に単により長く探索するのではなく（DeepSeek R1のように）、反復的な方針改善を用いて推論過程をモデル内に取り込む形で訓練されます。

Deep Cogitoは拠点を置いています： 米国サンフランシスコ （Unslothのように 🇺🇸）そして4つのモデルサイズすべてに対して量子化されたダイナミックモデルを提供できることを嬉しく思います！すべてのアップロードはUnslothを使用しており Dynamic 2.0 SOTAの5ショットMMLUおよびKLダイバージェンスの性能を実現しているため、これらのLLMを量子化したまま最小限の精度低下で実行およびファインチューニングできます！

チュートリアル ナビゲーション：

671B MoEを実行する109B MoEを実行する405B Denseを実行する70B Denseを実行する

ハードウェアに合ったモデルサイズを選んでください！4つのモデルサイズすべてに対して1.58bitから16bitまでのバリアントをアップロードしています！

💎 モデルサイズとアップロード

モデルサイズは4つあります：

1. Llamaをベースにした2つのDenseモデル - 70B と 405B

2. Llama 4 Scout（109B）とDeepSeek R1（671B）をベースにした2つのMoEモデル

モデルサイズ	推奨量子化＆リンク	ディスクサイズ	アーキテクチャ
70B Dense	UD-Q4_K_XL	44GB	Llama 3 70B
109B MoE	UD-Q3_K_XL	50GB	Llama 4 Scout
405B Dense	UD-Q2_K_XL	152GB	Llama 3 405B
671B MoE	UD-Q2_K_XL	251GB	DeepSeek R1

必須ではありませんが、最高のパフォーマンスを得るには、VRAMとRAMの合計がダウンロードする量子化ファイルのサイズと等しくなるようにしてください。VRAM＋RAMがそれより少ない場合でも量子化は動作しますが、はるかに遅くなります。

🐳 llama.cppでCogito 671B MoEを実行する

1. 最新の llama.cpp を GitHub で入手できます。下のビルド手順に従うこともできます。変更してください -DGGML_CUDA=ON から -DGGML_CUDA=OFF GPU がない場合や CPU 推論のみを行いたい場合は。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split llama-mtmd-cli
cp llama.cpp/build/bin/llama-* llama.cpp

1. 直接モデルを読み込むために llama.cpp モデルを直接ロードするには、以下を実行できます：（:IQ1_S）は量子化タイプです。Hugging Face（項目3）経由でもダウンロードできます。これは次と類似しています ollama run に類似しています。使用してください export LLAMA_CACHE="folder" で強制的に llama.cpp 特定の場所に保存するために。

ぜひ試してみてください -ot ".ffn_.*_exps.=CPU" ですべてのMoE層をCPUにオフロードします！これにより、非MoE層を1つのGPUに収められるようになり、生成速度が向上します。GPU容量が大きい場合は正規表現をカスタマイズしてより多くの層を適合させることができます。

もしもう少しGPUメモリがあるなら、次を試してください -ot ".ffn_(up|down)_exps.=CPU" これはupおよびdownの投影MoE層をオフロードします。

試してみてください -ot ".ffn_(up)_exps.=CPU" もしさらに多くのGPUメモリがある場合。これはup投影MoE層のみをオフロードします。

そして最後にすべての層を次でオフロードします -ot ".ffn_.*_exps.=CPU" これは最小のVRAMを使用します。

正規表現をカスタマイズすることもできます。例えば -ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU" は6層目以降のgate、up、downのMoE層をオフロードすることを意味します。

export LLAMA_CACHE="unsloth/cogito-671b-v2.1-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/cogito-671b-v2.1-GGUF:UD-Q2_K_XL \
    --n-gpu-layers 99 \
    --temp 0.6 \
    --top_p 0.95 \
    --min_p 0.01 \
    --ctx-size 16384 \
    --seed 3407 \
    --jinja \
    -ot ".ffn_.*_exps.=CPU"

1. （以下をインストールした後に）モデルをダウンロードします pip install huggingface_hub hf_transfer ）。量子化バージョンとして選べます UD-IQ1_S（ダイナミック1.78bit量子化）や他の量子化バージョンのような Q4_K_M ）を選択できます。私たちは 2.7ビット動的量子化の使用を推奨します UD-Q2_K_XL はサイズと精度のバランスをとるためです。その他のバージョンは： https://huggingface.co/unsloth/cogito-671b-v2.1-GGUF

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0" # 時にレート制限されることがあるため、無効にするために0に設定してください
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/cogito-671b-v2.1-GGUF",
    local_dir = "unsloth/cogito-671b-v2.1-GGUF",
    allow_patterns = ["*UD-IQ1_S*"], # ダイナミック1bit（168GB） ダイナミック2bit（251GB）には"*UD-Q2_K_XL*"を使用してください
)

1. 編集 --threads 32 でCPUスレッド数を編集できます、 --ctx-size 16384 でコンテキスト長を、 --n-gpu-layers 2 で何層をGPUにオフロードするかを指定します。GPUがメモリ不足になる場合は調整してみてください。CPUのみの推論の場合はこれを削除してください。

🖱️llama.cppでCogito 109B MoEを実行する

1. 上記の671Bモデルを実行する手順と同じ指示に従ってください 上の671Bモデル.

2. それから以下を実行します：

export LLAMA_CACHE="unsloth/cogito-v2-preview-llama-109B-MoE-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/cogito-v2-preview-llama-109B-MoE-GGUF:Q3_K_XL \
    --n-gpu-layers 99 \
    --temp 0.6 \
    --min-p 0.01 \
    --top-p 0.9 \
    --ctx-size 16384 \
    --jinja \
    -ot ".ffn_.*_exps.=CPU"

🌳llama.cppでCogito 405B Denseを実行する

1. 上記の671Bモデルを実行する手順と同じ指示に従ってください 上の671Bモデル.

2. それから以下を実行します：

export LLAMA_CACHE="unsloth/cogito-v2-preview-llama-405B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/cogito-v2-preview-llama-405B-GGUF:Q2_K_XL \
    --n-gpu-layers 99 \
    --temp 0.6 \
    --min-p 0.01 \
    --top-p 0.9 \
    --jinja \
    --ctx-size 16384

😎 llama.cppでCogito 70B Denseを実行する

1. 上記の671Bモデルを実行する手順と同じ指示に従ってください 上の671Bモデル.

2. それから以下を実行します：

export LLAMA_CACHE="unsloth/cogito-v2-preview-llama-70B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/cogito-v2-preview-llama-70B-GGUF:Q4_K_XL \
    --n-gpu-layers 99 \
    --temp 0.6 \
    --min-p 0.01 \
    --top-p 0.9 \
    --jinja \
    --ctx-size 16384

詳細については https://www.deepcogito.com/research/cogito-v2-1 詳細については