FunctionGemma: 実行とファインチューニングの方法

FunctionGemma をお使いの端末やスマートフォンでローカル実行・ファインチューニングする方法を学びます。

FunctionGemmaは、関数呼び出しとファインチューニング向けに設計された、Googleによる新しい2.7億パラメータのモデルです。ベースは Gemma 3 270Mで、テキストのみのツール呼び出し向けに特化して学習されており、その小さなサイズのおかげで自分のスマートフォンにデプロイするのに最適です。

フル精度モデルを 550MBのRAM （CPU）で実行でき、今では ファインチューニング をUnslothでローカル実行できます。初日サポートのためにUnslothと提携してくださったGoogle DeepMindに感謝します！

実行チュートリアルFunctionGemmaのファインチューニング

• 実行用のFunctionGemma GGUF： unsloth/functiongemma-270m-it-GGUF

無料ノートブック：

• 以下を学習させるファインチューニング ツール呼び出しの前に推論/思考する 次を使って FunctionGemmaノートブック

• 実施する マルチターンのツール呼び出し 無料の マルチターン・ツール呼び出しノートブックで

• 以下を学習させるファインチューニング モバイル操作を有効化 （カレンダー、タイマー設定）を次のノートブックで モバイル操作ノートブック

⚙️ 使用ガイド

Googleは推論時に次の設定を推奨しています：

• top_k = 64

• top_p = 0.95

• temperature = 1.0

• 最大コンテキスト長 = 32,768

以下を使うとチャットテンプレート形式が分かります：

def get_today_date():
    """ 今日の日付を取得します """
    return {"today_date": "2025年12月18日"}
    
tokenizer.apply_chat_template(
    [
        {"role" : "user", "content" : "今日の日付は何ですか？"},
    ],
    tools = [get_today_date], add_generation_prompt = True, tokenize = False,
)

FunctionGemmaのチャットテンプレート形式：

FunctionGemmaではシステムまたは 開発者メッセージ として 次の関数を使って関数呼び出しができるモデルです Unsloth版にはこれが組み込み済みで、渡し忘れても補完されます。そのため、次を使ってください unsloth/functiongemma-270m-it

<bos><start_of_turn>developer\n次の関数を使って関数呼び出しができるモデルです<start_function_declaration>declaration:get_today_date{description:<escape>今日の日付を取得します<escape>,parameters:{type:<escape>OBJECT<escape>}}<end_function_declaration><end_of_turn>\n<start_of_turn>user\n今日の日付は何ですか？<end_of_turn>\n<start_of_turn>model\n

🖥️ FunctionGemmaを実行

ローカルデスクトップ向けガイドは以下をご覧ください。または、Phone Deployment Guideをご覧いただけます。

Llama.cppチュートリアル（GGUF）：

llama.cppで実行するための手順です（多くのデバイスに収めるため、4-bitを使用します）：

1

最新の llama.cpp を GitHubはこちらから入手してください。以下のビルド手順に従うこともできます。変更してください -DGGML_CUDA=ON を -DGGML_CUDA=OFF GPUがない場合、またはCPU推論だけを使いたい場合。 Apple Mac / Metalデバイスの場合、次を設定し -DGGML_CUDA=OFF 、あとは通常どおり進めてください。Metalサポートはデフォルトで有効です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

Hugging Faceから直接取得できます。モデルが非常に小さいため、量子化していないフル精度のBF16版を使用します。

./llama.cpp/llama-cli \\
    -hf unsloth/functiongemma-270m-it-GGUF:BF16 \\
    --jinja -ngl 99 --ctx-size 32768 \\
    --top-k 64 --top-p 0.95 --temp 1.0

3

（次をインストール後に）モデルをダウンロード： pip install huggingface_hub hf_transfer ）。選択できるのは BF16 または他の量子化版です（ただし、モデルサイズが小さいため4-bitより下にするのは推奨されません）。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/functiongemma-270m-it-GGUF",
    local_dir = "unsloth/functiongemma-270m-it-GGUF",
    allow_patterns = ["*BF16*"],
)

4

次に会話モードでモデルを実行します：

./llama.cpp/llama-cli \\
    --model unsloth/functiongemma-270m-it-GGUF/functiongemma-270m-it-BF16.gguf \\
    --ctx-size 32768 \\
    --n-gpu-layers 99 \\
    --seed 3407 \\
    --prio 2 \\
    --top-k 64 \\
    --top-p 0.95 \\
    --temp 1.0 \\
    --jinja

📱 スマホへのデプロイ

サイズが小さいため、FunctionGemmaはスマートフォン上でも実行・デプロイできます。PyTorchと協力して、量子化認識学習（QAT）を使って70%の精度を回復し、その後エッジデバイスへ直接デプロイする簡略化されたワークフローを作成しました。

• FunctionGemmaをローカルでデプロイして Pixel 8 と iPhone 15 Pro に 約50トークン/秒の推論速度

• を実現しましょう

• プライバシー重視、即時応答、オフライン機能を利用できます 無料のColabノートブック を使ってQwen3 0.6Bをファインチューニングし、スマホデプロイ用にエクスポートできます。Gemma3に変更して、 Gemma 3 Executorch docs.

📱Run LLMs on your Phone

を参照してください

iOSチュートリアルAndroidチュートリアル

🦥 FunctionGemmaのファインチューニング

Googleは次のように述べています FunctionGemmaはファインチューニングを前提としている ため、あなた固有の関数呼び出しタスク、マルチターンのユースケースを含めて調整できます。Unslothは現在FunctionGemmaのファインチューニングをサポートしています。私たちは2つのファインチューニング用ノートブックを作成し、Colabノートブックを使って フルファインチューニングまたはLoRAで無料学習する方法

ツール呼び出し前に推論するファインチューニングノートブック

Google Colabcolab.research.google.com

モバイル操作ファインチューニングノートブック

Google Colabcolab.research.google.com

では ツール呼び出し前に推論するファインチューニングノートブック、 関数呼び出しの前に「考える/推論する」ようにファインチューニングします。連鎖的思考推論は、ツール利用能力を向上させるうえでますます重要になっています。

FunctionGemmaは、関数呼び出しに特化した小型モデルです。独自のチャットテンプレートを使用します。ツール定義とユーザープロンプトを与えると、構造化された出力を生成します。次にこの出力を解析してツールを実行し、その結果を取得して最終回答の生成に利用できます。

ターン種別	内容
開発者プロンプト	<start_of_turn>developer 次の関数を使って関数呼び出しができます：
関数宣言	<start_function_declaration>declaration:get_weather{ description: "都市の天気を取得する", parameters: { city: STRING } } <end_function_declaration> <end_of_turn>
ユーザートーン	<start_of_turn>user パリの天気はどうですか？ <end_of_turn>
関数呼び出し	<start_of_turn>model <start_function_call>call:get_weather{ city: "paris" } <end_function_call>
関数応答	<start_function_response>response:get_weather{temperature:26} <end_function_response>
アシスタントの締め	パリの天気は摂氏26度です。 <end_of_turn>

ここでは、交互に推論するのではなく、単一の思考ブロックを使った簡略版を <think></think>で実装します。その結果、モデルとのやり取りは次のようになります：

思考 + 関数呼び出し	<start_of_turn>model <think> ユーザーはパリの天気を求めている。get_weatherツールがあるので、city引数を付けて呼び出すべきだ。 </think> <start_function_call>call:get_weather{ city: "paris" } <end_function_call>

🪗モバイル操作向けFunctionGemmaのファインチューニング

FunctionGemmaにモバイル操作を行わせる方法を示すノートブックも作成しました。 モバイル操作ファインチューニングノートブックでは評価も有効にしており、オンデバイス操作向けにファインチューニングすると、評価損失が下がることからもうまく機能する様子を示しています：

たとえば、次のプロンプトが与えられた場合 2025年6月6日（金）午後2時に「Team Sync Meeting」のリマインダーを設定してください。

[{'role': 'developer',
  'content': 'YYYY-MM-DDTHH:MM:SS形式で与えられた現在日時: 2025-06-04T15:29:23\n曜日は水曜日\n次の関数を使って関数呼び出しができるモデルです\n',
  'tool_calls': None},
 {'role': 'user',
  'content': '2025年6月6日（金）午後2時に「Team Sync Meeting」のリマインダーを設定してください。',
  'tool_calls': None}]

モデルが次を出力できるようにファインチューニングしました：

<start_of_turn>user
2025年6月6日（金）午後2時に「Team Sync Meeting」のリマインダーを設定してください。<end_of_turn>
<start_of_turn>model
<start_function_call>call:create_calendar_event{body:None,datetime:2025-06-06 14:00:00,email:None,first_name:None,last_name:None,phone_number:None,query:None,subject:None,title:<escape>Team Sync Meeting<escape>,to:None}<end_function_call><start_function_response>

🏃‍♂️FunctionGemmaによるマルチターン・ツール呼び出し

FunctionGemmaでマルチターンのツール呼び出しを行う方法を示すノートブックも作成しました。 マルチターン・ツール呼び出しノートブックででは、FunctionGemmaが長いメッセージの変更の中でツールを呼び出せることを示します。たとえば、以下を参照してください：

まず、以下のようにツールを定義する必要があります：

def get_today_date():
    """
    今日の日付を取得します

    戻り値：
        today_date: 2025年12月18日形式の日付
    """
    from datetime import datetime
    today_date = datetime.today().strftime("%d %B %Y")
    return {"today_date": today_date}

def get_current_weather(location: str, unit: str = "celsius"):
    """
    指定した場所の現在の天気を取得します。

    引数：
        location: 都市と州、たとえば "San Francisco, CA, USA" または "Sydney, Australia"
        unit: 温度を返す単位。（選択肢: ["celsius", "fahrenheit"]）

    戻り値：
        temperature: 指定した場所の現在の気温
        weather: 指定した場所の現在の天気
    """
    if "San Francisco" in location.title():
        return {"temperature": 15, "weather": "sunny"}
    elif "Sydney" in location.title():
        return {"temperature": 25, "weather": "cloudy"}
    else:
        return {"temperature": 30, "weather": "rainy"}

def add_numbers(x: float | str, y: float | str):
    """
    2つの数を足し合わせます

    引数：
        x: 1つ目の数
        y: 2つ目の数

    戻り値：
        result: x + y
    """
    return {"result" : float(x) + float(y)}

def multiply_numbers(x: float | str, y: float | str):
    """
    2つの数を掛け合わせます

    引数：
        x: 1つ目の数
        y: 2つ目の数

    戻り値：
        result: x * y
    """
    return {"result" : float(x) * float(y)}

次に、すべてのツールのマッピングを作成します：

FUNCTION_MAPPING = {
    "get_today_date" : get_today_date,
    "get_current_weather" : get_current_weather,
    "add_numbers": add_numbers,
    "multiply_numbers": multiply_numbers,
}
TOOLS = list(FUNCTION_MAPPING.values())

さらに、ツール呼び出しとパースのコードも必要です：

#@title FunctionGemma parsing code (expandible)
import re
def extract_tool_calls(text):
    def cast(v):
        try: return int(v)
        except:
            try: return float(v)
            except: return {'true': True, 'false': False}.get(v.lower(), v.strip("'\""))

    return [{
        "name": name,
        "arguments": {
            k: cast((v1 or v2).strip())
            for k, v1, v2 in re.findall(r"(\w+):(?:<escape>(.*?)<escape>|([^,}]*))", args)
        }
    } for name, args in re.findall(r"<start_function_call>call:(\w+)\{(.*?)\}<end_function_call>", text, re.DOTALL)]

def process_tool_calls(output, messages):
    calls = extract_tool_calls(output)
    if not calls: return messages
    messages.append({
        "role": "assistant",
        "tool_calls": [{"type": "function", "function": call} for call in calls]
    })
    results = [
        {"name": c['name'], "response": FUNCTION_MAPPING[c['name']](**c['arguments'])}
        for c in calls
    ]
    messages.append({ "role": "tool", "content": results })
    return messages

def _do_inference(model, messages, max_new_tokens = 128):
    inputs = tokenizer.apply_chat_template(
        messages, tools = TOOLS, add_generation_prompt = True, return_dict = True, return_tensors = "pt",
    )
    output = tokenizer.decode(inputs["input_ids"][0], skip_special_tokens = False)

    out = model.generate(**inputs.to(model.device), max_new_tokens = max_new_tokens,
                         top_p = 0.95, top_k = 64, temperature = 1.0,)
    generated_tokens = out[0][len(inputs["input_ids"][0]):]
    return tokenizer.decode(generated_tokens, skip_special_tokens = True)
    
def do_inference(model, messages, print_assistant = True, max_new_tokens = 128):
    output = _do_inference(model, messages, max_new_tokens = max_new_tokens)
    messages = process_tool_calls(output, messages)
    if messages[-1]["role"] == "tool":
        output = _do_inference(model, messages, max_new_tokens = max_new_tokens)
    messages.append({"role": "assistant", "content": output})
    if print_assistant: print(output)
    return messages

さあ、モデルを呼び出せます！

from unsloth import FastLanguageModel
import torch
max_seq_length = 4096 # 任意のシーケンス長を選択できます！
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/functiongemma-270m-it",
    max_seq_length = max_seq_length, # 長いコンテキストには任意に選択可能！
    load_in_4bit = False,  # メモリ削減のための4bit量子化
    load_in_8bit = False, # [NEW!] 少し高精度、メモリは2倍使用
    load_in_16bit = True, # [NEW!] 16bit LoRAを有効化
    full_finetuning = False, # [NEW!] 現在はフルファインチューニングも可能です！
    # token = "hf_...", # ゲート付きモデルを使う場合はこれを使用
)

messages = []
messages.append({"role": "user", "content": "今日の日付は何ですか？"})
messages = do_inference(model, messages, max_new_tokens = 128)

私たちが作成したFunctionGemma用の3つのノートブックを試してみてください：

ツール呼び出し前に推論するファインチューニングノートブック

Google Colabcolab.research.google.com

モバイル操作ファインチューニングノートブック

Google Colabcolab.research.google.com

マルチターン・ツール呼び出しノートブックで

Google Colabcolab.research.google.com