FunctionGemma：実行＆ファインチューニング

FunctionGemma をローカルのデバイスや携帯電話で実行およびファインチューニングする方法を学びます。

FunctionGemmaは、関数呼び出しとファインチューニング向けにGoogleが設計した新しい270Mパラメータのモデルです。ベースは Gemma 3 270Mで、テキストのみのツール呼び出し向けに特化して訓練されており、小さなサイズのため自分の携帯電話での展開に適しています。

フル精度モデルを次で実行できます： 550MBのRAM （CPU）および、今は ファインチューン Unslothでローカルに実行できます。デイゼロサポートのためにGoogle DeepMindがUnslothと協力してくれたことに感謝します！

実行チュートリアルFunctionGemmaのファインチューニング

• 実行するためのFunctionGemma GGUF： unsloth/functiongemma-270m-it-GGUF

無料ノートブック：

• にファインチューンする ツール呼び出しの前に推論/思考する を使用して FunctionGemmaノートブック

• を行う マルチターンのツール呼び出し で無料の マルチターンツール呼び出しノートブック

• にファインチューンする モバイル操作を有効にする （カレンダー、タイマー設定）を私たちの Mobile Actions ノートブック

⚙️ 使用ガイド

Googleは推論のために次の設定を推奨しています：

• top_k = 64

• top_p = 0.95

• temperature = 1.0

• 最大コンテキスト長 = 32,768

チャットテンプレートの形式は以下を使用したときに見られます：

def get_today_date():
    """ 今日の日付を取得する """
    return {"today_date": "2025年12月18日"}
    
tokenizer.apply_chat_template(
    [
        {"role" : "user", "content" : "今日の日付は何ですか？"},
    ],
    tools = [get_today_date], add_generation_prompt = True, tokenize = False,
)

FunctionGemmaのチャットテンプレート形式：

FunctionGemmaはsystemまたは developerメッセージを として あなたは以下の関数で関数呼び出しができるモデルです Unslothバージョンにはこれが組み込み済みの場合があるので、渡し忘れた場合は、ぜひ unsloth/functiongemma-270m-it を使用してください

<bos><start_of_turn>developer\nYou are a model that can do function calling with the following functions<start_function_declaration>declaration:get_today_date{description:<escape>Gets today's date<escape>,parameters:{type:<escape>OBJECT<escape>}}<end_function_declaration><end_of_turn>\n<start_of_turn>user\nwhat is today's date?<end_of_turn>\n<start_of_turn>model\n

🖥️ FunctionGemmaを実行する

以下にローカルデスクトップガイドを示します。あるいはPhone Deployment Guideをご覧ください。

Llama.cpp チュートリアル（GGUF）：

llama.cppでの実行手順（ほとんどのデバイスに収めるために4ビットを使用します）：

1

最新の llama.cpp を GitHub で入手できます。下のビルド手順に従うこともできます。変更してください -DGGML_CUDA=ON から -DGGML_CUDA=OFF GPU がない場合や CPU 推論のみを行いたい場合は。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

Hugging Faceから直接プルすることができます。モデルが非常に小さいため、量子化していないフル精度のBF16バリアントを使用します。

./llama.cpp/llama-cli \
    -hf unsloth/functiongemma-270m-it-GGUF:BF16 \
    --jinja -ngl 99 --ctx-size 32768 \
    --top-k 64 --top-p 0.95 --temp 1.0

3

（以下をインストールした後に）モデルをダウンロードします pip install huggingface_hub hf_transfer ）。量子化バージョンとして選べます BF16 あるいは他の量子化バージョン（ただしモデルサイズが小さいため4ビット以下にすることは推奨されません）を使用できます。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/functiongemma-270m-it-GGUF",
    local_dir = "unsloth/functiongemma-270m-it-GGUF",
    allow_patterns = ["*BF16*"],
)

4

次にモデルを会話モードで実行します：

./llama.cpp/llama-cli \
    --model unsloth/functiongemma-270m-it-GGUF/functiongemma-270m-it-BF16.gguf \
    --ctx-size 32768 \\
    --n-gpu-layers 99 \
    --seed 3407 \
    --prio 2 \
    --top-k 64 \
    --top-p 0.95 \
    --temp 1.0 \
    --jinja

📱 電話への展開

その小さなサイズにより、FunctionGemmaは携帯電話上でも実行および展開できます。PyTorchと協力して、量子化対応トレーニング（QAT）を使用して70%の精度を回復し、エッジデバイスへ直接展開するための効率化されたワークフローを作成しました。

• FunctionGemmaをローカルに展開する先： Pixel 8 および iPhone 15 Pro に 約50トークン/秒の推論速度を得られます

• プライバシー重視、即時応答、オフライン機能を得る

• 当社の 無料のColabノートブック でQwen3 0.6Bをファインチューニングして携帯展開用にエクスポートできます — 単にGemma3に変更し、次の手順に従ってください： Gemma 3 Executorchのドキュメント.

📱Run LLMs on your Phone

携帯電話での展開に関するiOSとAndroidのチュートリアルを表示：

iOSチュートリアルAndroidチュートリアル

🦥 FunctionGemmaのファインチューニング

Googleは次の点に注意しました： FunctionGemmaはファインチューニングすることを意図している 特定の関数呼び出しタスク、マルチターンのユースケースを含めて。Unslothは現在FunctionGemmaのファインチューニングをサポートしています。私たちは2つのファインチューニングノートブックを作成し、モデルを介してどのように訓練できるかを示しています： フルファインチューニングまたはColabノートブックを通じた無料のLoRA：

ツール呼び出し前に推論するファインチューニングノートブック

Google Colabcolab.research.google.com

モバイル操作用ファインチューニングノートブック

Google Colabcolab.research.google.com

の中で ツール呼び出し前に推論するファインチューニングノートブック私たちは 関数呼び出しの前に「思考/推論」するようにファインチューニングします。ツール使用能力を向上させるために連鎖思考（チェイン・オブ・ソート）はますます重要になっています。

FunctionGemmaは関数呼び出しに特化した小さなモデルです。独自のチャットテンプレートを使用します。ツール定義とユーザープロンプトが与えられると、構造化された出力を生成します。次にこの出力を解析してツールを実行し、結果を取得して最終的な応答を生成できます。

ターンの種類	内容
デベロッパープロンプト	<start_of_turn>developer あなたは以下の関数で関数呼び出しができます：
関数宣言	<start_function_declaration>declaration:get_weather{ description: "都市の天気を取得する", parameters: { city: STRING } } <end_function_declaration> <end_of_turn>
ユーザーターン	<start_of_turn>user パリの天気はどうですか？ <end_of_turn>
関数呼び出し	<start_of_turn>model <start_function_call>call:get_weather{ city: "paris" } <end_function_call>
関数応答	<start_function_response>response:get_weather{temperature:26} <end_function_response>
アシスタントの締めくくり	パリの天気は摂氏26度です。 <end_of_turn>

ここでは、（推論を交互に行うのではなく）単一の思考ブロックを使用する単純化されたバージョンを、 <think></think>を通じて実装します。したがって、モデルの対話は次のようになります：

思考（Thinking） + 関数呼び出し	<start_of_turn>model <think> ユーザーはパリの天気を求めています。私はget_weatherツールを持っています。city引数で呼び出すべきです。 </think> <start_function_call>call:get_weather{ city: "paris" } <end_function_call>

🪗モバイル操作向けにFunctionGemmaをファインチューンする

FunctionGemmaにモバイル操作を行わせる方法を示すノートブックも作成しました。の中で、評価も有効にし、端末上での操作向けにファインチューニングする方法がよく機能することを、評価損失の低下で示しています： モバイル操作用ファインチューニングノートブック例えばプロンプトが与えられた場合

「Team Sync Meeting」というリマインダーを2025年6月6日（金）午後2時に設定してください。 [{'role': 'developer',

'content': '現在の日時はYYYY-MM-DDTHH:MM:SS形式で与えられます: 2025-06-04T15:29:23\n曜日は水曜日です\nあなたは以下の関数で関数呼び出しができるモデルです\n',
  'tool_calls': None},
  {'role': 'user',
 'content': '「Team Sync Meeting」というリマインダーを2025年6月6日（金）午後2時に設定してください。',
  'tool_calls': None}]
  私たちはモデルを次を出力できるようにファインチューニングしました：

「Team Sync Meeting」というリマインダーを2025年6月6日（金）午後2時に設定してください。<end_of_turn>

<start_of_turn>user
<start_function_call>call:create_calendar_event{body:None,datetime:2025-06-06 14:00:00,email:None,first_name:None,last_name:None,phone_number:None,query:None,subject:None,title:<escape>Team Sync Meeting<escape>,to:None}<end_function_call><start_function_response>
<start_of_turn>model
FunctionGemmaによるマルチターンのツール呼び出し

🏃‍♂️FunctionGemmaにマルチターンのツール呼び出しを行わせる方法を示すノートブックも作成しました。の中で、FunctionGemmaが長いメッセージ変化の中でツールを呼び出すことができる様子を示しています。例えば以下を参照ください：

まず以下のようにツールを指定する必要があります： マルチターンツール呼び出しノートブック今日の日付を取得する

返り値：

def get_today_date():
    """
    today_date: 日付形式の例 2025年12月18日

    from datetime import datetime
        today_date = datetime.today().strftime("%d %B %Y")
    """
    return {"today_date": today_date}
    def get_current_weather(location: str, unit: str = "celsius"):
    指定された場所の現在の天気を取得します。

引数：
    """
    location: 都市と州、例: "San Francisco, CA, USA" または "Sydney, Australia"

    unit: 温度を返す単位。（選択肢: ["celsius", "fahrenheit"]）
        temperature: 指定場所の現在の気温
        weather: 指定場所の現在の天気

    from datetime import datetime
        if "San Francisco" in location.title():
        return {"temperature": 15, "weather": "sunny"}
    """
    elif "Sydney" in location.title():
        return {"temperature": 25, "weather": "cloudy"}
    return {"temperature": 30, "weather": "rainy"}
        def add_numbers(x: float | str, y: float | str):
    scores.append(2.0)   # 動作したが2048には到達しなかった
        2つの数を加算します

x: 最初の数
    """
    y: 2番目の数

    unit: 温度を返す単位。（選択肢: ["celsius", "fahrenheit"]）
        result: x + y
        return {"result" : float(x) + float(y)}

    from datetime import datetime
        def multiply_numbers(x: float | str, y: float | str):
    """
    2つの数を乗算します

result: x * y
    """
    return {"result" : float(x) * float(y)}

    unit: 温度を返す単位。（選択肢: ["celsius", "fahrenheit"]）
        result: x + y
        return {"result" : float(x) + float(y)}

    from datetime import datetime
        次にすべてのツールのマッピングを作成します：
    """
    FUNCTION_MAPPING = {

"get_today_date" : get_today_date,

"get_current_weather" : get_current_weather,
    "add_numbers": add_numbers,
    "multiply_numbers": multiply_numbers,
    TOOLS = list(FUNCTION_MAPPING.values())
    また、いくつかのツール呼び出しと解析コードが必要です：
}
#@title FunctionGemma 解析コード（拡張可能）

def extract_tool_calls(text):

def cast(v):
import re
try: return int(v)
    except:
        try: return float(v)
        except: return {'true': True, 'false': False}.get(v.lower(), v.strip("'\""))
            return [{
            "name": name,

    "arguments": {
        k: cast((v1 or v2).strip())
        for k, v1, v2 in re.findall(r"(\w+):(?:<escape>(.*?)<escape>|([^,}]*))", args)
            } for name, args in re.findall(r"<start_function_call>call:(\w+)\{(.*?)\}<end_function_call>", text, re.DOTALL)]
            def process_tool_calls(output, messages):
        }
    calls = extract_tool_calls(output)

if not calls: return messages
    messages.append({
    "tool_calls": [{"type": "function", "function": call} for call in calls]
    results = [
        "role": "assistant",
        {"name": c['name'], "response": FUNCTION_MAPPING[c['name']](**c['arguments'])}
    })
    for c in calls
        messages.append({ "role": "tool", "content": results })
        def _do_inference(model, messages, max_new_tokens = 128):
    ]
    messages, tools = TOOLS, add_generation_prompt = True, return_dict = True, return_tensors = "pt",
    return messages

output = tokenizer.decode(inputs["input_ids"][0], skip_special_tokens = False)
    inputs = tokenizer.apply_chat_template(
        out = model.generate(**inputs.to(model.device), max_new_tokens = max_new_tokens,
    )
    top_p = 0.95, top_k = 64, temperature = 1.0,)

    generated_tokens = out[0][len(inputs["input_ids"][0]):]
                         return tokenizer.decode(generated_tokens, skip_special_tokens = True)
    def do_inference(model, messages, print_assistant = True, max_new_tokens = 128):
    output = _do_inference(model, messages, max_new_tokens = max_new_tokens)
    
messages = process_tool_calls(output, messages)
    if messages[-1]["role"] == "tool":
    messages.append({"role": "assistant", "content": output})
    if print_assistant: print(output)
        if messages[-1]["role"] == "tool":
    そして今、モデルを呼び出すことができます！
    max_seq_length = 4096 # 任意のシーケンス長を選択できます！
    return messages

model_name = "unsloth/functiongemma-270m-it",

from unsloth import FastLanguageModel
import torch
load_in_4bit = False,  # メモリ削減のための4ビット量子化
model, tokenizer = FastLanguageModel.from_pretrained(
    load_in_8bit = False, # [NEW!] 少し精度が高く、メモリは2倍使います
    max_seq_length = max_seq_length, # 長いコンテキスト向けに任意で選択してください！
    load_in_16bit = True, # [NEW!] 16ビットLoRAを有効にします
    messages = []
    messages.append({"role": "user", "content": "今日の日付は何ですか？"})
    full_finetuning = False, # [NEW!] フルファインチューニングも利用可能になりました！
    # token = "hf_...", # ゲート付きモデルを使う場合は指定してください
)

messages = do_inference(model, messages, max_new_tokens = 128)
FunctionGemmaのために作成した3つのノートブックを試してみてください：
Try the 3 notebooks we made for FunctionGemma:

Try the 3 notebooks we made for FunctionGemma:

ツール呼び出し前に推論するファインチューニングノートブック

Google Colabcolab.research.google.com

モバイル操作用ファインチューニングノートブック

Google Colabcolab.research.google.com

マルチターンツール呼び出しノートブック

Google Colabcolab.research.google.com