# iOS または Android スマートフォンで LLM を実行・デプロイする方法
どのようにLLMをトレーニングしてから **ローカルにデプロイするかをお見せできることを楽しみにしています** に **Androidフォン** および **iPhone**。私たちは共同で作業しました： [ExecuTorch](https://github.com/pytorch/executorch/) PyTorchとMetaと協力して、量子化を意識したトレーニング（[QAT](https://unsloth.ai/docs/jp/burogu/quantization-aware-training-qat)）を使用する合理化されたワークフローを作成し、それをエッジデバイスに直接デプロイします。とともに [Unsloth](https://github.com/unslothai/unsloth)、TorchAO、ExecuTorchを使用して、次のことを示します：
* MetaがInstagramやWhatsAppで数十億に提供しているのと同じ技術（ExecuTorch）を使用する
* Qwen3-0.6Bをローカルにデプロイする **Pixel 8** および **iPhone 15 Proで約40トークン/秒**
* TorchAOを介したQATを適用して精度の70%を回復する
* プライバシー第一、即時応答、オフライン機能を得る
* 私たちの [無料のColabノートブック](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_\(0_6B\)-Phone_Deployment.ipynb) を使用してQwen3 0.6Bをファインチューニングし、電話へのデプロイ用にエクスポートします
iOSチュートリアル Androidチュートリアル
{% columns %}
{% column %}
**Qwen3-4B** iPhone 15 Proにデプロイ済み
" %}
まずUnslothを更新し、TorchAOとExecutorchをインストールします。
```bash
pip install --upgrade unsloth unsloth_zoo
pip install torchao==0.14.0 executorch pytorch_tokenizers
```
その後、単純に次を使用します `qat_scheme = "phone-deployment"` で電話へのデプロイを行うことを示します。ここではまた `full_finetuning = True` をフルファインチューニングのために設定します！
```python
from unsloth import FastLanguageModel
import torch
model, tokenizer = FastLanguageModel.from_pretrained(
model_name = "unsloth/Qwen3-0.6B",
max_seq_length = 1024,
full_finetuning = True,
qat_scheme = "phone-deployment", # 電話デプロイ用のフラグ
)
```
私たちは実際に `qat_scheme = "phone-deployment"` 内部では実際に使用します `qat_scheme = "int8-int4"` を内部で使用して、Unsloth/TorchAOのQATを有効にし、 *をシミュレートします* トレーニング中に（フェイク量子化操作を介して）Linearレイヤーの重みをINT4に量子化し、動的活性化のINT8量子化をシミュレートしながら計算は16ビットのままにします。トレーニング後、モデルは実際の量子化バージョンに変換されるため、デバイス上のモデルは小さくなり、通常は **単純なPTQよりも精度をよりよく保持します**.
Colabノートブックに記載されているようにファインチューニングした後、 [Colabノートブック](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_\(0_6B\)-Phone_Deployment.ipynb)を使って、次にそれを `.pte` ファイルとしてExecutorch経由で保存します：
{% code expandable="true" %}
```bash
# 重みチェックポイントのstate dictキーをExecuTorchが期待するものに変換
python -m executorch.examples.models.qwen3.convert_weights "phone_model" pytorch_model_converted.bin
# ExecuTorchレポジトリからモデル設定をダウンロード
curl -L -o 0.6B_config.json https://raw.githubusercontent.com/pytorch/executorch/main/examples/models/qwen3/config/0_6b_config.json
# ExecuTorch pteファイルへエクスポート
python -m executorch.examples.models.llama.export_llama \
--model "qwen3_0_6b" \
--checkpoint pytorch_model_converted.bin \
--params 0.6B_config.json \
--output_name qwen3_0.6B_model.pte \
-kv --use_sdpa_with_kv_cache -X --xnnpack-extended-ops \
--max_context_length 1024 --max_seq_length 128 --dtype fp32 \
--metadata '{"get_bos_id":199999, "get_eos_ids":[200020,199999]}'
```
{% endcode %}
### 🏁 トレーニング後のデプロイ
そして、あなたの `qwen3_0.6B_model.pte` ファイル（サイズは約472MB）を使ってデプロイできます！デバイスを選んですぐに始めましょう：
* [#ios-deployment](#ios-deployment "mention") – Xcode経由（シミュレータまたはデバイス）
* [#android-deployment](#android-deployment "mention") – コマンドライン経由（Studio不要）
## :apple: iOSデプロイ
iOSでモデルを実行するためのチュートリアル（iPhone 16 Proでテスト済みですが他のiPhoneでも動作します）。Xcode 15を実行できる物理的なmacOSデバイスが必要です。
### macOS開発環境のセットアップ
**Xcodeとコマンドラインツールをインストールする**
1. Mac App StoreからXcodeをインストールしてください（バージョン15以降であること）
2. ターミナルを開いてインストールを確認します： `xcode-select -p`
3. コマンドラインツールをインストールし、ライセンスに同意します：
1. `xcode-select --install`
2. `sudo xcodebuild -license accept`
4. Xcodeを初回起動して、表示される追加コンポーネントをインストールします
5. プラットフォームの選択を求められたら、iOS 18を選びシミュレータ用にダウンロードしてください
{% hint style="warning" %}
重要：最初のXcode起動は非常に重要です！追加コンポーネントのインストールをスキップしないでください！詳細は [こちら](https://developer.apple.com/documentation/xcode/downloading-and-installing-additional-xcode-components) および [こちら](https://developer.apple.com/documentation/safari-developer-tools/adding-additional-simulators) を参照してください。
{% endhint %}
**すべてが機能するか確認：** `xcode-select -p`
パスが表示されるはずです。表示されない場合はステップ3を繰り返してください。
### Apple開発者アカウントの設定
**物理デバイス用のみ！**
{% hint style="info" %}
iOSシミュレータのみを使用する場合はこのセクション全体をスキップしてください。物理的なiPhoneにデプロイするには有料の開発者アカウントが必要です。
{% endhint %}
{% columns %}
{% column %}
**Apple IDを作成する**
Apple IDを持っていませんか？[ ここで登録してください](https://support.apple.com/en-us/108647?device-type=iphone).
#### **アカウントをXcodeに追加する**
1. Xcodeを開く
2. Xcode → Settings → Accounts に移動
3. +ボタンをクリックしてApple IDを選択
4. 通常のApple IDでサインインしてください
{% endcolumn %}
{% column %}
{% endcolumn %}
{% endcolumns %}
#### **Apple Developer Programに登録する**
ExecuTorchは次の機能を必要とします： `increased-memory-limit 機能`が必要で、これは有料の開発者アカウントが必要です：
1. にアクセスしてください[ developer.apple.com](https://developer.apple.com)
2. Apple IDでサインインしてください
3. Apple Developer Programに登録する
### ExecuTorchデモアプリのセットアップ
**例のコードを取得：**
```bash
# LLMのサンプルアプリを直接ダウンロード
curl -L https://github.com/meta-pytorch/executorch-examples/archive/main.tar.gz | \
tar -xz --strip-components=2 executorch-examples-main/llm/apple
```
{% columns %}
{% column %}
**Xcodeで開く**
1. を開く `apple/etLLM.xcodeproj` をXcodeで開く
2. 上部ツールバーでターゲットデバイスとして `iPhone 16 Pro` シミュレータを選択する
3. 再生ボタン（▶️）を押してビルドして実行する
🎉 成功！アプリがシミュレータで起動するはずです。まだ動作はしません。モデルを追加する必要があります。
{% endcolumn %}
{% column %}
:android: Androidデプロイ
このガイドでは、Linux/Macのコマンドライン環境を使ってExecuTorch LlamaデモアプリをAndroidデバイスにビルドしてインストールする方法を説明します（Pixel 8でテスト済みですが他のAndroidでも動作します）。この方法は依存関係を最小化し（Android Studio不要）、重いビルド処理をコンピュータに委任します。
### 要件
開発マシンに次がインストールされていることを確認してください：
* Java 17（Java 21がデフォルトの場合がありますがビルドの問題を引き起こすことがあります）
* Git
* Wget / Curl
* Androidコマンドラインツール
* [インストールのガイド](https://www.xda-developers.com/install-adb-windows-macos-linux/) と設定 `adb` をあなたのAndroidとコンピュータに
#### 検証
Javaのバージョンが17.xであることを確認してください：
```bash
# 出力は次のようになるはずです: openjdk version "17.0.x"
java -version
```
一致しない場合はUbuntu/Debianでインストールしてください：
```bash
sudo apt install openjdk-17-jdk
```
その後デフォルトに設定するか、次をエクスポートします `JAVA_HOME`:
```bash
export JAVA_HOME=/usr/lib/jvm/java-17-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH
```
別のOSやディストリビューションを使用している場合は、次の [ガイド](https://docs.oracle.com/en/java/javase/25/install/overview-jdk-installation.html) に従うか、お気に入りのLLMに手順を尋ねてください。
### ステップ1：Android SDK & NDKをインストールする
フルのAndroid Studioなしで最小限のAndroid SDK環境を設定します。
1\. SDKディレクトリを作成：
```bash
mkdir -p ~/android-sdk/cmdline-tools
cd ~/android-sdk
```
2. Androidコマンドラインツールをインストールする
```bash
wget https://dl.google.com/android/repository/commandlinetools-linux-11076708_latest.zip
unzip commandlinetools-linux-*.zip -d cmdline-tools
# 重要：SDK構造を満たすために再配置する
mv cmdline-tools/cmdline-tools cmdline-tools/latest
```
### ステップ2：環境変数を設定する
次をあなたの `~/.bashrc` または `~/.zshrc`:
```bash
に追加してください
export ANDROID_HOME=$HOME/android-sdk
export PATH=$ANDROID_HOME/cmdline-tools/latest/bin:$PATH
```
export PATH=$ANDROID\_HOME/platform-tools:$PATH
```bash
それらをリロードします：
```
### source \~/.zshrc # またはシェルに応じて \~/.bashrc
ステップ3：SDKコンポーネントをインストールする
```bash
ExecuTorchは特定のNDKバージョンを要求します。
# ライセンスを受け入れる
yes | sdkmanager --licenses
# API 34 と NDK 25 をインストール
```
sdkmanager "platforms;android-34" "platform-tools" "build-tools;34.0.0" "ndk;25.0.8775105"
```bash
NDK変数を設定：
```
### export ANDROID\_NDK=$ANDROID\_HOME/ndk/25.0.8775105
ステップ4：コードを取得する `私たちは` executorch-examples
```bash
リポジトリを使用します。ここには更新されたLlamaデモが含まれています。
cd ~
git clone https://github.com/meta-pytorch/executorch-examples.git
```
### cd executorch-examples
ステップ5：一般的なコンパイル問題を修正する
**現在のコードにはこれらの問題はないかもしれませんが、以前に直面したことがあり参考になる場合があります：**
"SDK Location not found" を修正： `Create a` local.properties
```bash
ファイルを作成してGradleにSDKの場所を明示的に伝えます：
```
**echo "sdk.dir=$HOME/android-sdk" > llm/android/LlamaDemo/local.properties `次のような` cannot find symbol**
エラーを修正する： `現在のコードは非推奨のメソッド`getDetailedError()
```bash
を使用しています。これを次のコマンドでパッチします：
```
### sed -i 's/e.getDetailedError()/e.getMessage()/g' llm/android/LlamaDemo/app/src/main/java/com/example/executorchllamademo/MainActivity.java
ステップ6：APKをビルドする
1. このステップでアプリとネイティブライブラリがコンパイルされます。
```bash
Androidプロジェクトに移動：
```
2. cd llm/android/LlamaDemo `JAVA_HOME` Gradleでビルドする（ツールチェーンエラーを避けるために明示的に
を17に設定）：
```bash
export JAVA_HOME=/usr/lib/jvm/java-17-openjdk-amd64
注：最初の実行は数分かかります。
```
3. ./gradlew :app:assembleDebug
```
生成されたapkは次にあります：
```
### app/build/outputs/apk/debug/app-debug.apk
ステップ7：Androidデバイスにインストールする
#### アプリをインストールするには2つのオプションがあります。
オプションA：ADBを使用する（有線/無線） `adb` もしあなたが
```bash
電話にアクセスできる場合：
```
#### adb install -r app/build/outputs/apk/debug/app-debug.apk
オプションB：直接ファイル転送
1. リモートVM上にいるかケーブルがない場合：
2. app-debug.apkを電話からダウンロードできる場所にアップロードする
3. 電話でダウンロードする
### タップしてインストールする（促されたら「提供元不明のアプリをインストール」を許可）
ステップ8：モデルファイルを転送する
1. アプリは.pteモデルとトークナイザーファイルを必要とします。
2. ファイルを転送する：model.pteとtokenizer.bin（またはtokenizer.model）を電話のストレージ（例：Downloadsフォルダ）に移動します。
3. LlamaDemoアプリを開く：電話でアプリを起動します。
4. モデルを選択する
5. 設定（歯車アイコン）またはファイルピッカーをタップする
6. ダウンロードフォルダに移動する
7. .pteファイルを選択する
トークナイザーファイルを選択する
### トラブルシューティング
* 完了！これでデバイス上で直接LLMとチャットできます。
* ビルドが失敗しますか？java -version を確認してください。必ず17である必要があります。 `.pte` モデルが読み込まれませんか？両方のファイルを選択したことを確認してください： `と`.
* トークナイザー `.pte` アプリがクラッシュしますか？有効な
### ファイルは通常CPU用のXNNPACKバックエンドなど、ExecuTorch用に特別にエクスポートされている必要があります。
モデルを電話に転送する `現在、` executorchllama
#### 私たちがビルドしたアプリは、Android上の特定のディレクトリからのみモデルをロードすることをサポートしており、残念ながら通常のファイルマネージャからはアクセスできません。しかしadbを使えばそのディレクトリにモデルファイルを保存できます。
```shellscript
adbが正しく動作して接続されていることを確認してください
```
{% columns %}
{% column %}
1. adb devices
/data/local/tmp/llama
```
/data/local/tmp/llama `先ほどインストールした` executorchllamademo
2. アプリを開き、右上の歯車アイコンをタップして設定を開きます。
3. Modelの隣の矢印をタップしてピッカーを開きモデルを選択します。\
空白の白いダイアログでファイル名が表示されない場合、ADBによるモデルのプッシュが失敗している可能性があります—その手順をやり直してください。また最初は「モデル未選択」と表示されることがあります。
{% endcolumn %}
{% column %}
" %}
{% endcolumn %}
{% column %}
Gemma 3でも動作します
{% embed url="" %}
{% endcolumn %}
{% column %}
Llama 3でも動作します
{% embed url="" %}
{% endcolumn %}
{% endcolumns %}
私たちの [unsloth-notebooks](https://unsloth.ai/docs/jp/meru/unsloth-notebooks "mention") ページで他のすべてのノートブックを確認してください。
---
# Agent Instructions: Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter:
```
GET https://unsloth.ai/docs/jp/ji-ben/inference-and-deployment/deploy-llms-phone.md?ask=
```
The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
