📱iOSまたはAndroidスマートフォンでLLMを実行・デプロイする方法

ExecuTorchを使って、自分のLLMをファインチューニングし、AndroidやiPhoneにデプロイするためのチュートリアル。

LLMをトレーニングして、その後 ローカルにデプロイする方法を紹介できることを楽しみにしています を Androidスマートフォン そして iPhone。私たちは ExecuTorch をPyTorchとMetaと共同で使い、量子化対応学習（QAT）を用いて、その後エッジデバイスへ直接デプロイする、簡潔なワークフローを作成しました。 Unsloth、TorchAO、そしてExecuTorchを使って、次のことができることを紹介します：

• InstagramやWhatsAppで何十億人ものユーザーを支えているMetaの同じ技術（ExecuTorch）を使う

• Qwen3-0.6Bをローカルで Pixel 8 そして iPhone 15 Proに約40トークン/秒でデプロイする

• TorchAO経由でQATを適用し、精度の70%を回復する

• プライバシー優先、即時応答、オフライン機能を手に入れましょう

• 次の 無料のColabノートブック Qwen3 0.6Bをファインチューニングし、スマートフォンへのデプロイ用にエクスポートする

iOSチュートリアルAndroidチュートリアル

Qwen3-4B iPhone 15 Pro上にデプロイされた

Qwen3-0.6B 約40トークン/秒で動作中

🦥 モデルのトレーニング

スマートフォンへのデプロイ向けにQwen3、Gemma3、Llama3、Qwen2.5、Phi4など多くのモデルをサポートしています！次の手順に従ってください 無料のColabノートブック Qwen3-0.6Bのデプロイ手順は

Google Colabcolab.research.google.com

まずUnslothを更新し、TorchAOとExecutorchをインストールします。

pip install --upgrade unsloth unsloth_zoo
pip install torchao==0.14.0 executorch pytorch_tokenizers

次に単純に qat_scheme = "phone-deployment" を使って、スマートフォンにデプロイしたいことを示します。なお、次も設定していることに注意してください full_finetuning = True 完全ファインチューニング用に！

from unsloth import FastLanguageModel
import torch
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/Qwen3-0.6B",
    max_seq_length = 1024,
    full_finetuning = True,
    qat_scheme = "phone-deployment", # スマートフォン向けデプロイのフラグ
)

私たちが使っているのは qat_scheme = "phone-deployment" 実際には次を使っています qat_scheme = "int8-int4" 内部ではUnsloth/TorchAOのQATを有効にするために シミュレート 学習中にLinear層へINT4重み量子化付きのINT8動的活性量子化を適用し（フェイク量子化演算経由）、計算は16ビットのままにします。学習後、モデルは実際の量子化版に変換されるため、デバイス上のモデルはより小さくなり、通常は 素朴なPTQよりも精度をよく保持します.

の説明に従ってファインチューニングした後 Colabノートブック、その後それを .pte ファイルとしてExecutorch経由で保存します：

# 重みチェックポイントのstate dictキーをExecuTorchが期待する形式に変換する
python -m executorch.examples.models.qwen3.convert_weights "phone_model" pytorch_model_converted.bin
# ExecuTorchリポジトリからモデル設定をダウンロードする
curl -L -o 0.6B_config.json https://raw.githubusercontent.com/pytorch/executorch/main/examples/models/qwen3/config/0_6b_config.json
# ExecuTorchのpteファイルへエクスポートする
python -m executorch.examples.models.llama.export_llama \
    --model "qwen3_0_6b" \
    --checkpoint pytorch_model_converted.bin \
    --params 0.6B_config.json \
    --output_name qwen3_0.6B_model.pte \
    -kv --use_sdpa_with_kv_cache -X --xnnpack-extended-ops \
    --max_context_length 1024 --max_seq_length 128 --dtype fp32 \
    --metadata '{"get_bos_id":199999, "get_eos_ids":[200020,199999]}'

🏁 学習後のデプロイ

そして今、あなたの qwen3_0.6B_model.pte ファイルは約472MBで、これをデプロイできます！デバイスを選んで、すぐに始めましょう：

• Run LLMs on your Phone – Xcodeルート、シミュレータまたは実機

• Run LLMs on your Phone – コマンドラインルート、Unslothは不要

iOSデプロイ

iOS上でモデルを動かすためのチュートリアルです（iPhone 16 Proでテスト済みですが、他のiPhoneでも動作します）。Xcode 15を実行できる物理的なmacOSデバイスが必要です。

macOS開発環境のセットアップ

Xcodeとコマンドラインツールをインストール

1. Mac App StoreからXcodeをインストールしてください（バージョン15以降である必要があります）

2. ターミナルを開き、インストールを確認します： xcode-select -p

3. コマンドラインツールをインストールし、ライセンスに同意します：

   1. xcode-select --install

   2. sudo xcodebuild -license accept

4. Xcodeを初めて起動し、求められたら追加コンポーネントをインストールします

5. プラットフォームの選択を求められたら、iOS 18を選び、シミュレータ用にダウンロードします

重要：最初のXcode起動は非常に重要です！追加コンポーネントのインストールを省略しないでください！こちらを確認してください ここ そして ここ 追加のヘルプはこちらです。

すべてが正常に動作するか確認： xcode-select -p

パスが表示されるはずです。表示されない場合は、手順3を繰り返してください。

Apple Developerアカウントの設定

物理デバイスのみ！

iOSシミュレータのみを使う場合は、このセクション全体をスキップしてください。物理iPhoneへのデプロイには有料の開発者アカウントが必要です。

Apple IDを作成する

Apple IDをお持ちでないですか？ こちらからサインアップ.

アカウントをXcodeに追加する

1. Xcodeを開く

2. Xcode → Settings → Accounts に移動する

3. +ボタンをクリックし、Apple IDを選択する

4. 普段使っているApple IDでサインインする

Apple Developer Programに登録する

ExecuTorchには 増加メモリ制限機能が必要で、これには有料の開発者アカウントが必要です：

1. アクセスする developer.apple.com

2. Apple IDでサインインする

3. Apple Developer Programに登録する

ExecuTorchデモアプリをセットアップする

サンプルコードを入手：

# LLMサンプルアプリを直接ダウンロードする
curl -L https://github.com/meta-pytorch/executorch-examples/archive/main.tar.gz | \
  tar -xz --strip-components=2 executorch-examples-main/llm/apple

Xcodeで開く

1. 開く apple/etLLM.xcodeproj をXcodeで

2. 上部ツールバーで iPhone 16 Pro シミュレータをターゲットデバイスとして選択する

3. Play（▶️）を押してビルドして実行する

🎉 成功！アプリはシミュレータで起動するはずです。まだ動作しません。モデルを追加する必要があります。

シミュレータへのデプロイ

開発者アカウントは不要です。

モデルファイルを準備する

1. Xcodeでシミュレータを停止する（停止ボタンを押す）

2. HuggingFace Hubのリポジトリに移動する（ローカルに保存していない場合）

3. 次の2つのファイルをダウンロードする：

   1. qwen3_0.6B_model.pte （エクスポートしたモデル）

   2. tokenizer.json（トークナイザ）

シミュレータ上に共有フォルダを作成する

1. シミュレータの仮想ホームボタンをクリックする

2. ファイルApp → ブラウズ → このiPhone内 を開く

3. 省略記号（•••）ボタンをタップし、次の名前で新しいフォルダを作成する Qwen3test

ターミナルを使ってファイルを転送する

# シミュレータの隠しフォルダを探す
find ~/Library/Developer/CoreSimulator/Devices/ -type d -iname "*Qwen3test*"

フォルダが見えたら、次を実行します：

cp tokenizer.json /path/to/Qwen3test/tokenizer.json
cp qwen3_0.6B_model.pte /path/to/Qwen3test/qwen3_model.pte

読み込み＆チャット

1. シミュレータのetLLMアプリに戻ります。タップして起動します。

1. Qwen3testフォルダからモデルとトークナイザを読み込む

1. ファインチューニングしたモデルでチャットを始めましょう！🎉

物理iPhoneへのデプロイ

初期デバイス設定

1. iPhoneをUSBでMacに接続する

2. iPhoneのロックを解除し、「このデバイスを信頼」をタップする

3. Xcodeで、Window → Devices and Simulators に移動する

4. デバイスが左側に表示されるまで待ちます（しばらく「Preparing」と表示されることがあります）

Xcodeの署名設定を行う

1. Appleアカウントを追加する：Xcode → Settings → Accounts → +

2. プロジェクトナビゲータで、etLLMプロジェクト（青いアイコン）をクリックする

3. TARGETSの下でetLLMを選択する

4. Signing & Capabilitiesタブに移動する

5. 「Automatically manage signing」をオンにする

6. ドロップダウンからTeamを選択する

Bundle Identifierを一意のものに変更する（例：com.yourname.etLLM）。これでプロビジョニングプロファイルのエラーの99%が解決します

必要な機能を追加する

1. Signing & Capabilitiesのまま、+ Capabilityをクリックする

2. 「Increased Memory Limit」を検索して追加する

ビルドして実行

1. 上部ツールバーで、デバイスセレクタから物理iPhoneを選択する

2. Play（▶️）を押すか、Cmd + Rを押す

開発者証明書を信頼する

最初のビルドは失敗します。これは正常です！

1. iPhoneで、設定 → プライバシーとセキュリティ → 開発者モード に移動する

2. オンにする

3. 同意し、通知を承諾する

4. デバイスを再起動し、Xcodeに戻ってもう一度Playを押す

開発者モードにより、XCodeがiPhone上でアプリを実行およびインストールできるようになります

モデルファイルをiPhoneに転送する

1. アプリが起動したら、MacでFinderを開く

2. サイドバーでiPhoneを選択する

3. Filesタブをクリックする

4. etLLMを展開する

5. .pteとtokenizer.jsonファイルをこのフォルダに直接ドラッグ＆ドロップする

6. 気長に待ってください！これらのファイルは大きく、数分かかる場合があります

読み込み＆チャット

1. iPhoneで、etLLMアプリに戻る

1. アプリのUIからモデルとトークナイザを読み込む

1. ファインチューニングしたQwen3が、今やiPhone上でネイティブに動作しています！

Androidデプロイ

このガイドでは、Linux/Macのコマンドライン環境を使って、Androidデバイス上にExecuTorch Llamaデモアプリをビルドしてインストールする方法を説明します（Pixel 8でテスト済みですが、他のAndroidスマートフォンでも動作します）。この方法は依存関係を最小限に抑え（Android Studio不要）、重いビルド処理をあなたのコンピュータにオフロードします。

要件

開発マシンに次のものがインストールされていることを確認してください：

• Java 17（Java 21がデフォルトであることが多いですが、ビルドの問題を引き起こす場合があります）

• Git

• Wget / Curl

• Androidコマンドラインツール

• インストールガイド およびセットアップ adb Androidとコンピュータ上で

確認

Javaのバージョンが17.xに一致していることを確認します：

# 出力は次のようになるはずです: openjdk version "17.0.x"
java -version

一致しない場合は、Ubuntu/Debian経由でインストールします：

sudo apt install openjdk-17-jdk

次に、それをデフォルトに設定するか、exportします JAVA_HOME:

export JAVA_HOME=/usr/lib/jvm/java-17-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH

別のOSやディストリビューションを使っている場合は、次を参照するとよいでしょう このガイド または、お気に入りのLLMに案内してもらってください。

手順1: Android SDKとNDKをインストールする

フルAndroid Studioを使わずに、最小限のAndroid SDK環境をセットアップします。

1. SDKディレクトリを作成します：

mkdir -p ~/android-sdk/cmdline-tools
cd ~/android-sdk

1. Androidコマンドラインツールをインストールする

wget https://dl.google.com/android/repository/commandlinetools-linux-11076708_latest.zip
unzip commandlinetools-linux-*.zip -d cmdline-tools

# 重要: SDK構造に合わせるために再整理する
mv cmdline-tools/cmdline-tools cmdline-tools/latest

手順2: 環境変数を設定する

これらを以下に追加します ~/.bashrc または ~/.zshrc:

export ANDROID_HOME=$HOME/android-sdk
export PATH=$ANDROID_HOME/cmdline-tools/latest/bin:$PATH
export PATH=$ANDROID_HOME/platform-tools:$PATH

再読み込みします：

source ~/.zshrc  # または、使用しているシェルに応じて ~/.bashrc

手順3: SDKコンポーネントをインストールする

ExecuTorchには特定のNDKバージョンが必要です。

# ライセンスに同意する
yes | sdkmanager --licenses

# API 34とNDK 25をインストールする
sdkmanager "platforms;android-34" "platform-tools" "build-tools;34.0.0" "ndk;25.0.8775105"

NDK変数を設定します：

export ANDROID_NDK=$ANDROID_HOME/ndk/25.0.8775105

手順4: コードを取得する

私たちは executorch-examples リポジトリを使います。そこには更新されたLlamaデモが含まれています。

cd ~
git clone https://github.com/meta-pytorch/executorch-examples.git
cd executorch-examples

手順5: よくあるコンパイル問題を修正する

現在のコードにはこれらの問題はありませんが、以前に遭遇したことがあり、役に立つかもしれません：

「SDK Location not found」を修正する：

次を作成します local.properties ファイルを作成して、GradleにSDKの場所を明示的に伝えます：

echo "sdk.dir=$HOME/android-sdk" > llm/android/LlamaDemo/local.properties

修正 cannot find symbol エラー：

現在のコードでは非推奨のメソッドを使っています getDetailedError()。次のコマンドでパッチを当てます：

sed -i 's/e.getDetailedError()/e.getMessage()/g' llm/android/LlamaDemo/app/src/main/java/com/example/executorchllamademo/MainActivity.java

手順6: APKをビルドする

この手順ではアプリとネイティブライブラリをコンパイルします。

1. Androidプロジェクトに移動します：

   cd llm/android/LlamaDemo

2. Gradleでビルドします（ツールチェーンエラーを避けるため、明示的に JAVA_HOME を17に設定します）：

   注意: 最初の実行には数分かかります。

   export JAVA_HOME=/usr/lib/jvm/java-17-openjdk-amd64
   ./gradlew :app:assembleDebug

3. 最終的に生成されたapkは次の場所にあります：

   app/build/outputs/apk/debug/app-debug.apk

手順7: Androidデバイスにインストールする

アプリをインストールするには2つの方法があります。

オプションA: ADBを使用する（有線/無線）

もし adb スマートフォンにアクセスできるなら：

adb install -r app/build/outputs/apk/debug/app-debug.apk

オプションB: 直接ファイル転送

リモートVMを使っている場合、またはケーブルがない場合：

1. app-debug.apkを、スマートフォンからダウンロードできる場所にアップロードします

2. スマートフォンでダウンロードします

3. タップしてインストールします（求められた場合は「提供元不明のアプリのインストール」を有効にします）。

手順8: モデルファイルを転送する

アプリには.pteモデルとトークナイザファイルが必要です。

1. ファイルを転送します: model.pteとtokenizer.bin（またはtokenizer.model）をスマートフォンのストレージ（例: Downloadsフォルダ）に移動します。

2. LlamaDemoアプリを開く: スマートフォンでアプリを起動します。

3. モデルを選択

4. Settings（歯車アイコン）またはファイルピッカーをタップします。

5. Downloadsフォルダに移動します。

6. .pteファイルを選択します。

7. トークナイザファイルを選択します。

完了です！これでデバイス上で直接LLMとチャットできます。

トラブルシューティング

• ビルドに失敗する？ java -versionを確認してください。17である必要があります。

• モデルが読み込まれない？両方選択したことを確認してください .pte と トークナイザ.

• アプリがクラッシュする？有効な .pte ファイルはExecuTorch用に特別にエクスポートされている必要があります（通常はCPU向けのXNNPACKバックエンド）。

モデルをスマートフォンへ転送する

現在、 executorchllama 私たちが作成したアプリは、Android上の特定のディレクトリからのみモデルを読み込むことをサポートしており、残念ながら通常のファイルマネージャーからはアクセスできません。しかし、adbを使えば、モデルファイルをそのディレクトリに保存できます。

adbが正しく動作し、接続されていることを確認してください

adb devices 

1. ワイヤレスデバッグで接続している場合、次のように表示されます：

   

   または、有線/ケーブルで接続している場合：

   

   コンピュータにスマートフォンへのアクセス権限を与えていない場合：

   

1. 次のようなポップアップダイアログがスマートフォンに表示されるので、それを許可する必要があります

完了したら、次の .pte そして tokenizer.json ファイルを置くフォルダを作成します。

スマートフォンのパス上にそのディレクトリを作成します。

adb shell mkdir -p /data/local/tmp/llama
adb shell chmod 777 /data/local/tmp/llama

ディレクトリが正しく作成されたことを確認します。

adb shell ls -l /data/local/tmp/llama
合計 0

内容をそのディレクトリへプッシュします。コンピュータ、接続、スマートフォンによっては数分以上かかることがあります。気長にお待ちください。

adb push <コンピュータ上のtokenizer.jsonへのパス> /data/local/tmp/llama
adb push <コンピュータ上のmodel.pteへのパス> /data/local/tmp/llama

1. を開いて executorchllamademo 手順5でインストールしたアプリを開き、右上の歯車アイコンをタップして設定を開きます。

2. Model の横の矢印をタップしてピッカーを開き、モデルを選択します。 ファイル名のない白い空のダイアログが表示された場合、ADB によるモデルのプッシュが失敗した可能性があります。その手順をやり直してください。また、最初は「モデルが選択されていません」と表示されることがあります。

3. モデルを選択すると、アプリにモデルのファイル名が表示されるはずです。

1. 次に、トークナイザでも同じ操作を繰り返します。トークナイザ欄の横の矢印をクリックして、対応するファイルを選択してください。

1. アップロードするモデルによっては、モデルの種類を選択する必要があるかもしれません。ここでは Qwen3 が選択されています。

1. 両方のファイルを選択したら、「Load Model」ボタンをクリックします。

1. チャットウィンドウのある元の画面に戻り、「model loading」と表示されることがあります。読み込みが完了するまで、スマートフォンの RAM やストレージ速度によっては数秒かかる場合があります。

1. 「successfully loaded model」と表示されたら、モデルとのチャットを始められます。 さあ、これで Android スマートフォン上で LLM をネイティブに動かせるようになりました！

📱ExecuTorch が支える数十億

ExecuTorch 数十億人のためのオンデバイス ML 体験を支えています Instagram、WhatsApp、Messenger、Facebook で。Instagram Cutouts は ExecuTorch を使って写真から編集可能なステッカーを抽出します。Messenger のような暗号化されたアプリでは、ExecuTorch により、デバイス上でプライバシーに配慮した言語識別と翻訳が可能になります。ExecuTorch は、Apple、Qualcomm、ARM などにわたる十数種類以上のハードウェアバックエンドをサポートしており、 Meta の Quest 3 と Ray-Ban.

その他のモデルのサポート

• すべての Qwen 3 dense モデル（Qwen3-0.6B, Qwen3-4B, Qwen3-32B など）

• すべての Gemma 3 モデル（Gemma3-270M, Gemma3-4B, Gemma3-27B など）

• すべての Llama 3 モデル（Llama 3.1 8B, Llama 3.3 70B Instruct など）

• Qwen 2.5、Phi 4 Mini モデルなど、さらに多くのモデルに対応！

次の内容をカスタマイズできます 無料のColabノートブック Qwen3-0.6B 向けに、上記のモデルのいずれもスマートフォンへデプロイできるようにするための

Qwen3 0.6B メインのスマートフォン用デプロイノートブック

Google Colabcolab.research.google.com

Gemma 3 で動作

Google Colabcolab.research.google.com

Llama 3 で動作

Google Colabcolab.research.google.com

当社の Unslothノートブック その他すべてのノートブックのページ。