Introducing Unsloth Desktop: the first local app to run & train models
✨Read more
Ctrlk
RedditDiscordGitHubNewsletter
For the complete documentation index, see llms.txt. This page is also available as Markdown.

GLM-5.2 - ローカル実行方法

Z.aiの新しいGLM-5.2モデルをローカルハードウェアで実行しましょう！

GLM-5.2 は Z.ai の新しいオープンモデルで、長期的なコーディング、推論、エージェントタスク全般で SOTA 性能を発揮します。 744Bパラメータ、40Bのアクティブパラメータ、そして 100万コンテキスト ウィンドウを備え、現在は Unsloth Dynamic GGUF を使ってローカル実行できます。GLM-5.2 は 最強のオープンモデル としてこれまでで最高であり、多くのベンチマークで Claude 4.8 Opus、GPT-5.5、Gemini 3.1 Pro と同等の性能を示しています。

動的1ビットは ~76.2% トップ1精度に到達しながら 86%小型化。動的2ビットは ~82% 精度に到達しながら 84%小型化。これは、84%小さいからといってモデルが82%悪いわけではなく、むしろ完全な 1.5TB モデルより精度が約18%低いだけだという意味です。Unsloth にゼロデイアクセスを提供してくれた Z.ai に感謝します。 GLM-5.2-GGUF

GLM-5.2 チュートリアルを実行量子化結果

⚙️ 使用ガイド

2ビット動的量子化 UD-IQ2_M は 239GB のディスク容量を使用します。これは 256GBユニファイドメモリ搭載のMac に直接収まり、 1x24GB GPU および および256GBのRAM とMoEオフローディングで良好に動作します。

この 1ビット 量子化は223GBのRAMに収まり、8ビットには810GBのRAMが必要です。右側で1ビットGGUFの動作をご覧ください：

表：推論ハードウェア要件 （単位 = 合計メモリ：RAM + VRAM、またはユニファイドメモリ）

1ビット
2ビット
3ビット
4ビット
5ビット
8ビット

223 GB

245 GB

290～360 GB

372～475 GB

570 GB

810 GB

最良の性能を得るには、VRAM とシステムRAMを含む利用可能な総メモリが、量子化モデルファイルサイズを十分な余裕をもって上回っていることを確認してください。

推奨設定

GLM-5.2 には 3つの思考モードがあります。非思考と、2つのモードでの思考： 高 + 最大。複雑なタスクには Max Thinking を使ってください。 Unsloth Studio UI で High + Max Thinking と non-Thinking を簡単に切り替えられます。

ほとんどの用途では以下の設定を使ってください：

デフォルト設定（ほとんどのタスク）
SWE-Bench Pro

temperature = 1.0

temperature = 1.0

top_p = 0.95

top_p = 1.0

  • 最大コンテキストウィンドウ： 1,048,576.

思考を無効化し、推論の強度を変更する

GLM 5.2 はデフォルトで推論を使用します。また、 reasoning_effort が「high」「max」または無効のいずれかになる推論強度もサポートしています。

思考を無効にするには、 --chat-template-kwargs '{"enable_thinking":false}'を使ってください。 Windows PowerShellでは、次を使用します： --chat-template-kwargs "{\"enable_thinking\":false}"

また、 --reasoning on または --reasoning off を llama.cpp でも使えるようになりました！

推論強度のカスタマイズや推論の無効化には、以下の例を使ってください：

📈 量子化分析

また、GLM-5.2-GGUF の量子化の精度を評価するために KLD（KL ダイバージェンス）ベンチマークも実施しました。動的4ビットの UD-Q4_K_XL と動的5ビットの UD-Q5_K_XL はほぼロスレスであり、より小さい量子化でも、重要な層を動的に高精度に、重要でない層を低ビットに振り分けることで非常にうまく動作します。

純粋なトップ1%精度では、 動的1ビットは86%小型化されながら約76.2%の精度を達成します！動的2ビットは84%小型化されながら約82%の精度を達成します。これは、いくつかの層をより高い精度に動的量子化しても、86%小さいからといってモデルが86%悪くなるわけではなく、完全な1.5TBモデルより能力が24%低いだけだということを示しています。

では、「76%の精度」とは実際には何を指すのでしょうか？

76%のトップ1%は、「フランスの首都は」が 76% パリ、24% シドニーを選ぶ、という意味ではありません。モデルが 24%「賢くない」わけでもありません。これに関しては、パリは常に100%、シドニーは0%です。76%という数値には、たとえば次のような質問に対するコーパス全体のフィラー語やストップワードが含まれます：

「小説を作成して」と言うと、LLM のサンプリングにより：

  • これから小説を作成します...

  • 小説は以下です：

  • どのジャンルにしますか？

各例は正しいですが、変化するのは [I, The, What] の分布です。ベースラインでは [I] を100%の頻度で使っていたかもしれませんが、今では [I] が76%、[The] が24%です。

それは 決して 、24%の確率で意味不明な誤出力や誤った出力が出るという意味ではありません。

99.9% KLD も一般的には良好です。とはいえ、4bit 以降でより大きな向上があるため、分布外の超大規模タスクでは動的4ビットが最善だと思われます。

Top-1% は、KLD 自体を「強制」した二項分布です。KLD は、ベースライン（BF16 または Q8_0）と量子化版の確率の「距離」です。量子化の目的は、以下の目的関数を最小化することです：

minimize 1n∑DKL[ f(q(W)) ∣∣ f(W)) ]\text{minimize } \frac{1}{n} \sum{\text{D}_{\text{KL}}[\text{ }f(q(W))\text{ }||\text{ } f(W))\text{ }]}

ここで f は言語モデルの順伝播であり、 q は量子化操作であり、 W はモデルのパラメータまたは重みです。目的は、ベースラインの logits 出力 f(W) と量子化モデルの出力との「距離」をできるだけ小さくすることです。KLD を0にできれば、モデルを完全に再構築できたことになります！

私たちは 平均KLD を以下のように使います。というのも、全訓練コーパス（たとえば15Tトークン）にわたって KLD を実行するのは高コストだからです。代わりに サンプリング を行い、訓練コーパスの小さな代表サブセットを取得して / 下流タスクに対して最適化します。 平均KLDは一般にディスク容量に対して単調な傾向に従い、1ビットの GLM 5.2 でも十分に動作することを示しています！

トップ1%精度は単に greedy decoding の演算子で、argmax の項目が選ばれると仮定します。1bit では、76% がベースラインの argmax と同じものを選びます。

GLM-5.2 チュートリアルを実行：

現在、GLM-5.2 を llama.cpp および Unsloth Studioで実行できます。アクセシビリティと精度の観点から最良の結果を得るため、239GB の UD-IQ2_M 量子化版を利用します。

🦥 Unsloth Studio で GLM-5.2 を実行

GLM-5.2 は Unsloth Studioで実行できます。これはローカルAI向けのオープンソースWeb UIです。 Unsloth Studio は自動的に RAM にオフロードし、マルチGPU構成を検出します。Unsloth Studio を使えば、ローカルでモデルを MacOS、Windows、Linuxで実行でき、さらに：

2ビット GLM-5.2 GGUF 出力
1

Unsloth のインストールと起動

インストールするには、ターミナルで次を実行してください：

MacOS、Linux、WSL：

Windows PowerShell：

Unslothを起動

MacOS、Linux、WSL、およびWindows：

次に開く http://127.0.0.1:8888 （またはお使いのURL）をブラウザで。

HTTPS と Cloudflare で安全に Unsloth を起動

NEW! Unsloth は、無料の Cloudflare トンネルを通じて HTTPS 経由で Studio を安全に起動する方法を新たに提供します。以下を使ってください（Windows、Mac、Linux で動作します）：

2

GLM-5.2 を検索してダウンロード

Unsloth Studio は自動的に RAM にオフロードし、マルチGPU構成を検出します。初回起動時には、アカウントを保護するためのパスワードを作成し、後で再度サインインする必要があります。

次に〜へ移動し Unsloth Chat タブを開いて GLM-5.2 を検索バーで検索し、必要なモデルと量子化版をダウンロードしてください。モデルを実行するのに十分な計算資源があることを確認してください。

3

GLM-5.2 を実行

Unsloth Studioを使うと推論パラメータは自動設定されますが、手動でも変更できます。コンテキスト長、チャットテンプレート、その他の設定も編集できます。

詳細については、 Unsloth Studio推論ガイド.

Canvas で実行中の 1ビット GLM-5.2 の例

🦙 llama.cpp で GLM-5.2 を実行

このガイドでは UD-IQ2_M 量子化版を実行します。少なくとも245GBのRAMが必要になります。量子化タイプは自由に変更してください。これらのチュートリアルでは、 llama.cpp を高速ローカル推論に使用します。GGUF： GLM-5.2-GGUF

1

最新の llama.cpp を GitHubはこちら。以下のビルド手順に従うこともできます。GPUがない場合、またはCPU推論だけを使いたい場合は、 -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。 Apple Mac / Metalデバイス向け、 -DGGML_CUDA=OFF その後は通常どおり続けてください。Metalサポートはデフォルトで有効です。

2

現在は llama.cpp を直接使ってモデルを読み込み・ダウンロードできます。 ollama runと同じように。まず、 UD-IQ2_Mのように、希望する量子化タイプを選択してください。また、 export LLAMA_CACHE="unsloth/GLM-5.2-GGUF" を使って llama.cpp 特定の場所に保存します。 このダウンロードプロセスは非常に遅い場合がありますので、次のセクションの手動ダウンロード手順を使うのがおそらく最善です。

3

モデルを手動でダウンロードしたい場合は （かなり高速です！）、以下のコードでモデルをダウンロードできます（ pip install huggingface_hubをインストールした後）。ダウンロードが止まる場合は、次を参照してください： Hugging Face Hub、XETのデバッグ

動的1bitを使いたい場合は、次を実行してください：

4

その後、会話モードでモデルを実行します。 unsloth/GLM-5.2-GGUF/UD-IQ2_M/GLM-5.2-UD-IQ2_M-00001-of-00006.gguf を2bitに使用し、または unsloth/GLM-5.2-GGUF/UD-IQ1_S/GLM-5.2-UD-IQ1_S-00001-of-00006.gguf を1bitに使用します。

5

llama-cli を起動すると、次のように表示されます：

その後、短い Flappy Bird ゲームを作るよう促すと、次のようになります：

完全な会話とゲームは以下のとおりです：

HTML での完全なゲーム
会話全体

しかもゲームには効果音があり、素晴らしく動作します！ ちなみにこれは1-bit量子化で、うまく動きました！

📐KVキャッシュ量子化による長文コンテキスト

llama.cppで長文コンテキストを活用するには、メモリ使用量を減らすためにKVキャッシュ量子化を使う必要があります。最近、llama.cppはKVキャッシュ量子化に高精度化の工夫を追加しました - 参照 および他のPRも！

現在、次のKVキャッシュdtypesがサポートされています：

デフォルトでは f16 が使用されます。もし q4_0 を使うなら、重みあたり約4.5ビットなので、16 / 4.5 = 約3.5倍長いコンテキスト長！ つまり、これまで10Kに対応していたモデルなら、35Kも狙えます！ q4_1 のほうがたぶん良いでしょう。シフトパラメータも使えますし、重みあたり5ビットなので、コンテキストは3.2倍長くなります。

以下のように使います：

📊 ベンチマーク

下に、GLM-5.2 のベンチマークを表形式で確認できます：

ベンチマーク
GLM-5.2
Claude Opus 4.8
GPT-5.5
Gemini 3.1 Pro
GLM-5.1
Qwen3.7-Max
MiniMax M3
DeepSeek-V4-Pro

推論

HLE

40.5

49.8*

41.4*

45

31

41.4

37

37.7

HLE（ツール付き）

54.7

57.9*

52.2*

51.4*

52.3

53.5

-

48.2

CritPt

20.9

20.9

27.1

17.7

4.6

13.4

3.7

12.9

AIME 2026

99.2

95.7

98.3

98.2

95.3

97

-

94.6

HMMT 2025年11月

94.4

96.5

96.5

94.8

94

95

84.4

94.4

HMMT 2026年2月

92.5

96.7

96.7

87.3

82.6

97.1

84.4

95.2

IMOAnswerBench

91.0

83.5

-

81

83.8

90

-

89.8

GPQA-Diamond

91.2

93.6

93.6

94.3

86.2

90

93

90.1

コーディング

SWE-bench Pro

62.1

69.2

58.6

54.2

58.4

60.6

59

55.4

NL2Repo

48.9

69.7

50.7

33.4

42.7

47.2

42.1

35.5

DeepSWE

46.2

58

70

10

18

18

20

8

ProgramBench

63.7

71.9

70.8

39.5

50.9

-

-

47.8

Terminal Bench 2.1 (Terminus-2)

81.0

85

84

74

63.5

75

65

64

Terminal Bench 2.1（最良報告ハーネス）

82.7

78.9

83.4

70.7

69

-

-

-

FrontierSWE（優勢）

74.4

75.1

72.6

39.6

30.5

-

-

29.0

PostTrainBench

34.3

37.2

28.4

21.6

20.1

-

-

-

エージェント型

13.0

26.0

12.0

4.0

1.0

-

-

-

MCP-Atlas（公開セット）

Tool-Decathlon

76.8

77.8

75.3

69.2

71.8

76.4

74.2

73.6

Tool-Decathlon

48.2

59.9

55.6

48.8

40.7

-

-

52.8

前へFine-tune Gemma 4次へRun MTP Models

最終更新

役に立ちましたか？