<bos><start_of_turn>user\nHello!<end_of_turn>\n<start_of_turn>model\nHey there!<end_of_turn>\n<start_of_turn>user\nWhat is 1+1?<end_of_turn>\n<start_of_turn>model\n
* チャットテンプレート（含む） `\n`改行がレンダリングされます（最後を除く）
{% code overflow="wrap" %}
```
user
Hello!model
Hey there!user
What is 1+1?model\n
```
{% endcode %}
{% hint style="danger" %}
llama.cppやその他の推論エンジンは自動的に\を追加します - \を二重に追加しないでください！モデルにプロンプトを与えるときは\を無視するべきです！
{% endhint %}
### ✨スマートフォンでGemma 3を実行する
モデルをスマートフォンで実行するには、携帯電話などのエッジデバイス上でGGUFをローカル実行できる任意のモバイルアプリを使用することを推奨します。ファインチューニング後にGGUFへエクスポートして、スマートフォン上でローカル実行できます。モデルの処理で過熱する可能性があるため、スマートフォンに十分なRAM/処理能力があることを確認してください。このユースケースにはGemma 3 270MやGemma 3nモデルを推奨します。次のものを試すことができます： [オープンソースプロジェクト AnythingLLM の](https://github.com/Mintplex-Labs/anything-llm) ダウンロードできるモバイルアプリ（場所） [Androidはこちら](https://play.google.com/store/apps/details?id=com.anythingllm) または [ChatterUI](https://github.com/Vali-98/ChatterUI)、これらはスマートフォンでGGUFを実行するのに適した優れたアプリです。
{% hint style="success" %}
チュートリアルのすべてで、モデル名 'gemma-3-27b-it-GGUF' を 'gemma-3-270m-it-GGUF:Q8\_K\_XL' のような任意のGemmaモデル名に変更できます。
{% endhint %}
## :llama: チュートリアル：OllamaでGemma 3を実行する方法
1. Ollamaで実行する `をインストールしてください` まだインストールしていない場合は！
```bash
apt-get update
こちらを参照してください
apt-get install pciutils -y
```
2. curl -fsSL | sh `モデルを実行してください！失敗した場合は別のターミナルで`ollama serve `を呼び出すことができます！私たちはすべての修正と推奨パラメータ（temperatureなど）を` 私たちのHugging Faceアップロードで！モデル名 'gemma-3-27b-it-GGUF' を 'gemma-3-270m-it-GGUF:Q8\_K\_XL' のような任意のGemmaモデルに変更できます。
```bash
ollama run hf.co/unsloth/gemma-3-27b-it-GGUF:Q4_K_XL
```
## 📖 チュートリアル：llama.cppでGemma 3 27Bを実行する方法
1. 最新の `llama.cpp` を [GitHubで入手してください](https://github.com/ggml-org/llama.cpp)。以下のビルド手順にも従うことができます。を変更してください `-DGGML_CUDA=ON` に `-DGGML_CUDA=OFF` GPUを持っていない場合やCPUで推論したい場合は **Apple Mac / Metalデバイスの場合**、次を設定してください `-DGGML_CUDA=OFF` その後通常通り続行してください — Metalサポートはデフォルトで有効です。
```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
-DBUILD_SHARED_LIBS=ON -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split llama-mtmd-cli
cp llama.cpp/build/bin/llama-* llama.cpp
```
2. もし直接 `llama.cpp` を使用したい場合、以下のようにできます：（:Q4\_K\_XL）は量子化タイプです。Hugging Face（ポイント3）からダウンロードすることもできます。これはollama runに類似しています。 `ollama run`
```bash
./llama.cpp/llama-mtmd-cli \
-hf unsloth/gemma-3-4b-it-GGUF:Q4_K_XL
```
3. **または** モデルをダウンロードする（以下をインストールした後） `モデルをダウンロードするには（` ）。Q4\_K\_Mや他の量子化バージョン（BF16フル精度など）を選択できます。その他のバージョンは：
```python
# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
repo_id = "unsloth/gemma-3-27b-it-GGUF",
local_dir = "unsloth/gemma-3-27b-it-GGUF",
allow_patterns = ["*Q4_K_XL*", "mmproj-BF16.gguf"], # Q4_K_M用
)
```
4. UnslothのFlappy Birdテストを実行する
5. 編集 `次の` --threads 32 `はCPUスレッドの数、` コンテキスト長用（Gemma 3は128Kのコンテキスト長をサポートします！）、 `--n-gpu-layers 99` --n-gpu-layers 2
6. 会話モードの場合：
```bash
./llama.cpp/llama-mtmd-cli \
--model unsloth/gemma-3-27b-it-GGUF/gemma-3-27b-it-Q4_K_XL.gguf \
--mmproj unsloth/gemma-3-27b-it-GGUF/mmproj-BF16.gguf \
--jinja \
--n-gpu-layers 99 \
--model unsloth/GLM-4.7-GGUF/UD-Q2_K_XL/GLM-4.7-UD-Q2_K_XL-00001-of-00003.gguf \
--prio 2 \
--flash-attn on \
--repeat-penalty 1.0 \
--min-p 0.01 \
--top-k 64 \
--top-p 0.95
```
7. 会話モード以外でFlappy Birdをテストするには：
```bash
export LLAMA_CACHE="unsloth/GLM-4.7-GGUF"
--model unsloth/gemma-3-27b-it-GGUF/gemma-3-27b-it-Q4_K_XL.gguf \
--jinja \
--n-gpu-layers 99 \
--model unsloth/GLM-4.7-GGUF/UD-Q2_K_XL/GLM-4.7-UD-Q2_K_XL-00001-of-00003.gguf \
--prio 2 \
--flash-attn on \
--repeat-penalty 1.0 \
--min-p 0.01 \
--top-k 64 \
--temp 1.0 \
-no-cnv \
--prompt "user\nCreate a Flappy Bird game in Python. You must include these things:\n1. You must use pygame.\n2. The background color should be randomly chosen and is a light shade. Start with a light blue color.\n3. Pressing SPACE multiple times will accelerate the bird.\n4. The bird's shape should be randomly chosen as a square, circle or triangle. The color should be randomly chosen as a dark color.\n5. Place on the bottom some land colored as dark brown or yellow chosen randomly.\n6. Make a score shown on the top right side. Increment if you pass pipes and don't hit them.\n7. Make randomly spaced pipes with enough space. Color them randomly as dark green or light brown or a dark gray shade.\n8. When you lose, show the best score. Make the text inside the screen. Pressing q or Esc will quit the game. Restarting is pressing SPACE again.\nThe final game should be inside a markdown section in Python. Check your code for errors and fix them before the final markdown section.\nmodel\n"
```
私たちの完全な入力は 1.58bitのブログは：
{% hint style="danger" %}
Gemma 3は自動的に\を追加するので、\を削除することを忘れないでください！
{% endhint %}
{% code overflow="wrap" %}
```
user
Heptagon
1. pygame を使用すること。
2. 背景色はランダムに選択され、淡い色合いにすること。最初は薄い青色から始めること。
3. SPACE を複数回押すと鳥が加速すること。
4. 鳥の形状はランダムに四角形、円、三角形のいずれかにし、色はランダムに暗い色にすること。
5. 画面下部に、ランダムに選ばれた暗い茶色または黄色の土地を配置すること。
6. スコアを右上に表示すること。パイプを通過して当たらなかった場合に増加させること。
7. 十分な間隔のランダムな間隔でパイプを配置すること。色はランダムに濃い緑、薄い茶色、または暗い灰色のいずれかにすること。
8. ゲームオーバー時にベストスコアを表示すること。テキストは画面内に表示すること。q または Esc を押すとゲームを終了すること。再開は再び SPACE を押すこと。
最終的なゲームはPythonのマークダウンセクション内にするべきです。コードのエラーを確認してください
```
{% endcode %}
## :sloth: UnslothでのGemma 3のファインチューニング
**Unslothは、Gemma 3の推論とトレーニングでfloat16マシン上で動作する唯一のフレームワークです。** これは、無料のTesla T4 GPUを備えたColabノートブックでも動作することを意味します！
* 私たちの新しいものを試してください [Gemma 3（270M）ノートブック](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Gemma3_\(270M\).ipynb) これは270Mパラメータモデルをチェスが非常に強くなるようにし、次のチェスの手を予測できます。
* 次のためのノートブックを使ってGemma 3（4B）をファインチューニングしてください： [**テキスト**](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Gemma3_\(4B\).ipynb) または [**ビジョン**](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Gemma3_\(4B\)-Vision.ipynb)
* または微調整する： [Gemma 3n（E4B）](https://unsloth.ai/docs/jp/moderu/tutorials/gemma-3-how-to-run-and-fine-tune/gemma-3n-how-to-run-and-fine-tune) と一緒に [テキスト](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Gemma3N_\(4B\)-Conversational.ipynb) • [ビジョン](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Gemma3N_\(4B\)-Vision.ipynb) • [オーディオ](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Gemma3N_\(4B\)-Audio.ipynb)
{% hint style="warning" %}
完全なフルファインチューニング（FFT）でGemma 3を試すと、float16デバイスではすべてのレイヤーがデフォルトでfloat32になります。Unslothはfloat16を想定して動的にアップキャストします。修正するには、読み込み後に `model.to(torch.float16)` を実行するか、bfloat16をサポートするGPUを使用してください。
{% endhint %}
### Unslothのファインチューニング修正
Unslothにおける私たちの解決策は3つあります：
1. すべての中間活性化をbfloat16形式で保持する — float32でも可能ですが、その場合はVRAMまたはRAMを2倍使用します（Unslothの非同期勾配チェックポイント機能を介して）
2. テンソルコアで行うすべての行列乗算をfloat16で実行しますが、Pytorchの混合精度autocastの助けを借りずに手動でアップキャスト/ダウンキャストを行います。
3. 行列乗算を必要としない他のオプション（layernormなど）をfloat32にアップキャストします。
## 🤔 Gemma 3 修正の分析
.png?alt=media)
