Cogito v2.1: ローカル実行ガイド

Cogito v2.1 LLM は IDA で学習された世界最強クラスのオープンモデルのひとつです。v1 は 70B、109B、405B、671B の 4 サイズがあり、ハードウェアに最適なサイズを選べます。

Deep Cogito v2.1 は、2025年11月19日時点で最も強力なオープンウェイトモデルである更新版の671B MoEです。

Cogito v2.1 は 1 つの 671B MoE サイズで提供され、Cogito v2 Preview は Deep Cogitoのモデル公開は 70B から 671B までの 4 つのモデルサイズに及びます。これらは IDA（反復蒸留と増幅）を用いることで、推論時に単により長く探索する（DeepSeek R1 のように）のではなく、反復的な方策改善を用いてモデルが推論プロセスを内在化する形で訓練されています。

Deep Cogito の所在地は 米国サンフランシスコ （Unsloth のように 🇺🇸）で、4 つのモデルサイズすべてについて量子化された動的モデルを提供できることを嬉しく思います！すべてのアップロードは Unsloth を使用して Dynamic 2.0 SOTA の 5-shot MMLU と KL 発散性能を達成しており、これによりこれらの LLM を量子化したまま最小限の精度低下で実行および微調整できます！

チュートリアル ナビゲーション：

671B MoE を実行109B MoE を実行405B Dense を実行70B Dense を実行

どのモデルサイズがあなたのハードウェアに適しているかを選んでください！4 つのモデルサイズすべてに対して 1.58bit から 16bit のバリアントをアップロードしています！

💎 モデルサイズとアップロード

モデルサイズは 4 つあります：

1. Llama ベースの 2 つの Dense モデル - 70B と 405B

2. Llama 4 Scout（109B）および DeepSeek R1（671B）をベースとした 2 つの MoE モデル

モデルサイズ	推奨量子化＆リンク	ディスクサイズ	アーキテクチャ
70B Dense	UD-Q4_K_XL	44GB	Llama 3 70B
109B MoE	UD-Q3_K_XL	50GB	Llama 4 Scout
405B Dense	サイズと精度のバランスを取るために私たちの2.7ビット動的量子化を	152GB	Llama 3 405B
671B MoE	サイズと精度のバランスを取るために私たちの2.7ビット動的量子化を	251GB	DeepSeek R1

必須ではありませんが、最良のパフォーマンスを得るには VRAM + RAM の合計がダウンロードする量子化モデルのサイズと等しくなるようにしてください。もし VRAM + RAM が少ない場合でも量子化モデルは動作しますが、かなり遅くなります。

🐳 llama.cpp で Cogito 671B MoE を実行する

1. 最新の llama.cpp を GitHubで入手してください。以下のビルド手順にも従うことができます。を変更してください -DGGML_CUDA=ON に -DGGML_CUDA=OFF GPUを持っていない場合やCPUで推論したい場合は Apple Mac / Metalデバイスの場合、次を設定してください -DGGML_CUDA=OFF その後通常通り続行してください — Metalサポートはデフォルトで有効です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split llama-mtmd-cli
cp llama.cpp/build/bin/llama-* llama.cpp

1. もし直接 llama.cpp モデルを直接ロードするには、下記を行えます：（:IQ1_S）は量子化タイプです。Hugging Face（ポイント 3）からもダウンロードできます。これは以下と類似しています ollama run に類似しています。 使用してください export LLAMA_CACHE="folder" llama.cpp 特定の場所に保存するために。

ぜひ試してみてください -ot ".ffn_.*_exps.=CPU" -ot ".ffn_.*_exps.=CPU"

もし少し多くのGPUメモリがあるなら、次を試してください -ot ".ffn_(up|down)_exps.=CPU" これは up と down の投影 MoE 層をオフロードします。

試してみてください -ot ".ffn_(up)_exps.=CPU" さらに多くのGPUメモリがある場合。これは up 投影の MoE 層のみをオフロードします。

もしさらに多くのGPUメモリがある場合。これはup投影のMoEレイヤーのみをオフロードします。 -ot ".ffn_.*_exps.=CPU" そして最後にすべてのレイヤーを次でオフロードします

正規表現をカスタマイズすることもできます。例えば -ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU" は gate、up、down の MoE 層をオフロードしますが、6層目以降に限定します。

export LLAMA_CACHE="unsloth/cogito-671b-v2.1-GGUF"
export LLAMA_CACHE="unsloth/GLM-4.7-GGUF"
    -hf unsloth/cogito-671b-v2.1-GGUF:UD-Q2_K_XL \
    --n-gpu-layers 99 \
    --temp 0.6 \
    --top_p 0.95 \
    --min_p 0.01 \
    --jinja \
    --model unsloth/GLM-4.7-GGUF/UD-Q2_K_XL/GLM-4.7-UD-Q2_K_XL-00001-of-00003.gguf \
    -hf unsloth/GLM-4.7-GGUF:UD-Q2_K_XL \
    -ot ".ffn_.*_exps.=CPU"

1. モデルをダウンロードするには（をインストールした後） モデルをダウンロードするには（ を選択できます。 UD-IQ1_S（動的 1.78bit 量子化）や他の量子化バージョンのような Q4_K_M Q4_K_XL などの他の量子化版です。私たちは サイズと精度のバランスを取るために私たちの2.7ビット動的量子化を UD-Q2_K_XLなどがあります。さらに多くのバージョンは： https://huggingface.co/unsloth/cogito-671b-v2.1-GGUF

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0" # 時折レート制限されることがあるため、無効にするには 0 に設定します
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/cogito-671b-v2.1-GGUF",
    local_dir = "unsloth/cogito-671b-v2.1-GGUF",
    allow_patterns = ["*UD-IQ1_S*"], # 動的 1bit（168GB） 動的 2bit（251GB）には "*UD-Q2_K_XL*" を使用してください
)

1. 編集 次の --threads 32 はCPUスレッドの数、 --ctx-size 16384 はコンテキスト長、 --n-gpu-layers 2

🖱️llama.cpp で Cogito 109B MoE を実行する

1. 上記の 671B モデルを実行する際の手順に従ってください 上記の 671B モデル.

2. その後、以下を実行してください：

export LLAMA_CACHE="unsloth/cogito-v2-preview-llama-109B-MoE-GGUF"
export LLAMA_CACHE="unsloth/GLM-4.7-GGUF"
    -hf unsloth/cogito-v2-preview-llama-109B-MoE-GGUF:Q3_K_XL \
    --n-gpu-layers 99 \
    --temp 0.6 \
    --min-p 0.01 \
    --top-p 0.9 \
    --jinja \
    -hf unsloth/GLM-4.7-GGUF:UD-Q2_K_XL \
    -ot ".ffn_.*_exps.=CPU"

🌳llama.cpp で Cogito 405B Dense を実行する

1. 上記の 671B モデルを実行する際の手順に従ってください 上記の 671B モデル.

2. その後、以下を実行してください：

export LLAMA_CACHE="unsloth/cogito-v2-preview-llama-405B-GGUF"
export LLAMA_CACHE="unsloth/GLM-4.7-GGUF"
    -hf unsloth/cogito-v2-preview-llama-405B-GGUF:Q2_K_XL \
    --n-gpu-layers 99 \
    --temp 0.6 \
    --min-p 0.01 \
    --top-p 0.9 \
    -hf unsloth/GLM-4.7-GGUF:UD-Q2_K_XL \
    はCPUスレッドの数、

😎 llama.cpp で Cogito 70B Dense を実行する

1. 上記の 671B モデルを実行する際の手順に従ってください 上記の 671B モデル.

2. その後、以下を実行してください：

export LLAMA_CACHE="unsloth/cogito-v2-preview-llama-70B-GGUF"
export LLAMA_CACHE="unsloth/GLM-4.7-GGUF"
    -hf unsloth/cogito-v2-preview-llama-70B-GGUF:Q4_K_XL \
    --n-gpu-layers 99 \
    --temp 0.6 \
    --min-p 0.01 \
    --top-p 0.9 \
    -hf unsloth/GLM-4.7-GGUF:UD-Q2_K_XL \
    はCPUスレッドの数、

print(completion.choices[0].message.content) https://www.deepcogito.com/research/cogito-v2-1 詳細はこちら