> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/ji-chu/inference-and-deployment/deploy-llms-phone.md).
# iOSまたはAndroidスマートフォンでLLMを実行・デプロイする方法
ExecuTorchを使って、自分のLLMをファインチューニングし、AndroidやiPhoneにデプロイするためのチュートリアル。
LLMをトレーニングして、その後 **ローカルにデプロイする方法を紹介できることを楽しみにしています** を **Androidスマートフォン** そして **iPhone**。私たちは [ExecuTorch](https://github.com/pytorch/executorch/) をPyTorchとMetaと共同で使い、量子化対応学習（[QAT](/docs/jp/burogu/quantization-aware-training-qat.md)）を用いて、その後エッジデバイスへ直接デプロイする、簡潔なワークフローを作成しました。 [Unsloth](https://github.com/unslothai/unsloth)、TorchAO、そしてExecuTorchを使って、次のことができることを紹介します：
* InstagramやWhatsAppで何十億人ものユーザーを支えているMetaの同じ技術（ExecuTorch）を使う
* Qwen3-0.6Bをローカルで **Pixel 8** そして **iPhone 15 Proに約40トークン/秒でデプロイする**
* TorchAO経由でQATを適用し、精度の70%を回復する
* プライバシー優先、即時応答、オフライン機能を手に入れましょう
* 次の [無料のColabノートブック](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_\(0_6B\)-Phone_Deployment.ipynb) Qwen3 0.6Bをファインチューニングし、スマートフォンへのデプロイ用にエクスポートする
iOSチュートリアル Androidチュートリアル
{% columns %}
{% column %}
**Qwen3-4B** iPhone 15 Pro上にデプロイされた
" %}
まずUnslothを更新し、TorchAOとExecutorchをインストールします。
```bash
pip install --upgrade unsloth unsloth_zoo
pip install torchao==0.14.0 executorch pytorch_tokenizers
```
次に単純に `qat_scheme = "phone-deployment"` を使って、スマートフォンにデプロイしたいことを示します。なお、次も設定していることに注意してください `full_finetuning = True` 完全ファインチューニング用に！
```python
from unsloth import FastLanguageModel
import torch
model, tokenizer = FastLanguageModel.from_pretrained(
model_name = "unsloth/Qwen3-0.6B",
max_seq_length = 1024,
full_finetuning = True,
qat_scheme = "phone-deployment", # スマートフォン向けデプロイのフラグ
)
```
私たちが使っているのは `qat_scheme = "phone-deployment"` 実際には次を使っています `qat_scheme = "int8-int4"` 内部ではUnsloth/TorchAOのQATを有効にするために *シミュレート* 学習中にLinear層へINT4重み量子化付きのINT8動的活性量子化を適用し（フェイク量子化演算経由）、計算は16ビットのままにします。学習後、モデルは実際の量子化版に変換されるため、デバイス上のモデルはより小さくなり、通常は **素朴なPTQよりも精度をよく保持します**.
の説明に従ってファインチューニングした後 [Colabノートブック](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_\(0_6B\)-Phone_Deployment.ipynb)、その後それを `.pte` ファイルとしてExecutorch経由で保存します：
{% code expandable="true" %}
```bash
# 重みチェックポイントのstate dictキーをExecuTorchが期待する形式に変換する
python -m executorch.examples.models.qwen3.convert_weights "phone_model" pytorch_model_converted.bin
# ExecuTorchリポジトリからモデル設定をダウンロードする
curl -L -o 0.6B_config.json https://raw.githubusercontent.com/pytorch/executorch/main/examples/models/qwen3/config/0_6b_config.json
# ExecuTorchのpteファイルへエクスポートする
python -m executorch.examples.models.llama.export_llama \
--model "qwen3_0_6b" \
--checkpoint pytorch_model_converted.bin \
--params 0.6B_config.json \
--output_name qwen3_0.6B_model.pte \
-kv --use_sdpa_with_kv_cache -X --xnnpack-extended-ops \
--max_context_length 1024 --max_seq_length 128 --dtype fp32 \
--metadata '{"get_bos_id":199999, "get_eos_ids":[200020,199999]}'
```
{% endcode %}
### 🏁 学習後のデプロイ
そして今、あなたの `qwen3_0.6B_model.pte` ファイルは約472MBで、これをデプロイできます！デバイスを選んで、すぐに始めましょう：
* [#ios-deployment](#ios-deployment "mention") – Xcodeルート、シミュレータまたは実機
* [#android-deployment](#android-deployment "mention") – コマンドラインルート、Unslothは不要
## :apple: iOSデプロイ
iOS上でモデルを動かすためのチュートリアルです（iPhone 16 Proでテスト済みですが、他のiPhoneでも動作します）。Xcode 15を実行できる物理的なmacOSデバイスが必要です。
### macOS開発環境のセットアップ
**Xcodeとコマンドラインツールをインストール**
1. Mac App StoreからXcodeをインストールしてください（バージョン15以降である必要があります）
2. ターミナルを開き、インストールを確認します： `xcode-select -p`
3. コマンドラインツールをインストールし、ライセンスに同意します：
1. `xcode-select --install`
2. `sudo xcodebuild -license accept`
4. Xcodeを初めて起動し、求められたら追加コンポーネントをインストールします
5. プラットフォームの選択を求められたら、iOS 18を選び、シミュレータ用にダウンロードします
{% hint style="warning" %}
重要：最初のXcode起動は非常に重要です！追加コンポーネントのインストールを省略しないでください！こちらを確認してください [ここ](https://developer.apple.com/documentation/xcode/downloading-and-installing-additional-xcode-components) そして [ここ](https://developer.apple.com/documentation/safari-developer-tools/adding-additional-simulators) 追加のヘルプはこちらです。
{% endhint %}
**すべてが正常に動作するか確認：** `xcode-select -p`
パスが表示されるはずです。表示されない場合は、手順3を繰り返してください。
### Apple Developerアカウントの設定
**物理デバイスのみ！**
{% hint style="info" %}
iOSシミュレータのみを使う場合は、このセクション全体をスキップしてください。物理iPhoneへのデプロイには有料の開発者アカウントが必要です。
{% endhint %}
{% columns %}
{% column %}
**Apple IDを作成する**
Apple IDをお持ちでないですか？[ こちらからサインアップ](https://support.apple.com/en-us/108647?device-type=iphone).
#### **アカウントをXcodeに追加する**
1. Xcodeを開く
2. Xcode → Settings → Accounts に移動する
3. +ボタンをクリックし、Apple IDを選択する
4. 普段使っているApple IDでサインインする
{% endcolumn %}
{% column %}
{% endcolumn %}
{% endcolumns %}
#### **Apple Developer Programに登録する**
ExecuTorchには `増加メモリ制限機能`が必要で、これには有料の開発者アカウントが必要です：
1. アクセスする[ developer.apple.com](https://developer.apple.com)
2. Apple IDでサインインする
3. Apple Developer Programに登録する
### ExecuTorchデモアプリをセットアップする
**サンプルコードを入手：**
```bash
# LLMサンプルアプリを直接ダウンロードする
curl -L https://github.com/meta-pytorch/executorch-examples/archive/main.tar.gz | \
tar -xz --strip-components=2 executorch-examples-main/llm/apple
```
{% columns %}
{% column %}
**Xcodeで開く**
1. 開く `apple/etLLM.xcodeproj` をXcodeで
2. 上部ツールバーで `iPhone 16 Pro` シミュレータをターゲットデバイスとして選択する
3. Play（▶️）を押してビルドして実行する
🎉 成功！アプリはシミュレータで起動するはずです。まだ動作しません。モデルを追加する必要があります。
{% endcolumn %}
{% column %}
:android: Androidデプロイ
このガイドでは、Linux/Macのコマンドライン環境を使って、Androidデバイス上にExecuTorch Llamaデモアプリをビルドしてインストールする方法を説明します（Pixel 8でテスト済みですが、他のAndroidスマートフォンでも動作します）。この方法は依存関係を最小限に抑え（Android Studio不要）、重いビルド処理をあなたのコンピュータにオフロードします。
### 要件
開発マシンに次のものがインストールされていることを確認してください：
* Java 17（Java 21がデフォルトであることが多いですが、ビルドの問題を引き起こす場合があります）
* Git
* Wget / Curl
* Androidコマンドラインツール
* [インストールガイド](https://www.xda-developers.com/install-adb-windows-macos-linux/) およびセットアップ `adb` Androidとコンピュータ上で
#### 確認
Javaのバージョンが17.xに一致していることを確認します：
```bash
# 出力は次のようになるはずです: openjdk version "17.0.x"
java -version
```
一致しない場合は、Ubuntu/Debian経由でインストールします：
```bash
sudo apt install openjdk-17-jdk
```
次に、それをデフォルトに設定するか、exportします `JAVA_HOME`:
```bash
export JAVA_HOME=/usr/lib/jvm/java-17-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH
```
別のOSやディストリビューションを使っている場合は、次を参照するとよいでしょう [このガイド](https://docs.oracle.com/en/java/javase/25/install/overview-jdk-installation.html) または、お気に入りのLLMに案内してもらってください。
### 手順1: Android SDKとNDKをインストールする
フルAndroid Studioを使わずに、最小限のAndroid SDK環境をセットアップします。
1\. SDKディレクトリを作成します：
```bash
mkdir -p ~/android-sdk/cmdline-tools
cd ~/android-sdk
```
2. Androidコマンドラインツールをインストールする
```bash
wget https://dl.google.com/android/repository/commandlinetools-linux-11076708_latest.zip
unzip commandlinetools-linux-*.zip -d cmdline-tools
# 重要: SDK構造に合わせるために再整理する
mv cmdline-tools/cmdline-tools cmdline-tools/latest
```
### 手順2: 環境変数を設定する
これらを以下に追加します `~/.bashrc` または `~/.zshrc`:
```bash
export ANDROID_HOME=$HOME/android-sdk
export PATH=$ANDROID_HOME/cmdline-tools/latest/bin:$PATH
export PATH=$ANDROID_HOME/platform-tools:$PATH
```
再読み込みします：
```bash
source ~/.zshrc # または、使用しているシェルに応じて ~/.bashrc
```
### 手順3: SDKコンポーネントをインストールする
ExecuTorchには特定のNDKバージョンが必要です。
```bash
# ライセンスに同意する
yes | sdkmanager --licenses
# API 34とNDK 25をインストールする
sdkmanager "platforms;android-34" "platform-tools" "build-tools;34.0.0" "ndk;25.0.8775105"
```
NDK変数を設定します：
```bash
export ANDROID_NDK=$ANDROID_HOME/ndk/25.0.8775105
```
### 手順4: コードを取得する
私たちは `executorch-examples` リポジトリを使います。そこには更新されたLlamaデモが含まれています。
```bash
cd ~
git clone https://github.com/meta-pytorch/executorch-examples.git
cd executorch-examples
```
### 手順5: よくあるコンパイル問題を修正する
現在のコードにはこれらの問題はありませんが、以前に遭遇したことがあり、役に立つかもしれません：
**「SDK Location not found」を修正する：**
次を作成します `local.properties` ファイルを作成して、GradleにSDKの場所を明示的に伝えます：
```bash
echo "sdk.dir=$HOME/android-sdk" > llm/android/LlamaDemo/local.properties
```
**修正 `cannot find symbol` エラー：**
現在のコードでは非推奨のメソッドを使っています `getDetailedError()`。次のコマンドでパッチを当てます：
```bash
sed -i 's/e.getDetailedError()/e.getMessage()/g' llm/android/LlamaDemo/app/src/main/java/com/example/executorchllamademo/MainActivity.java
```
### 手順6: APKをビルドする
この手順ではアプリとネイティブライブラリをコンパイルします。
1. Androidプロジェクトに移動します：
```bash
cd llm/android/LlamaDemo
```
2. Gradleでビルドします（ツールチェーンエラーを避けるため、明示的に `JAVA_HOME` を17に設定します）：
注意: 最初の実行には数分かかります。
```bash
export JAVA_HOME=/usr/lib/jvm/java-17-openjdk-amd64
./gradlew :app:assembleDebug
```
3. 最終的に生成されたapkは次の場所にあります：
```
app/build/outputs/apk/debug/app-debug.apk
```
### 手順7: Androidデバイスにインストールする
アプリをインストールするには2つの方法があります。
#### オプションA: ADBを使用する（有線/無線）
もし `adb` スマートフォンにアクセスできるなら：
```bash
adb install -r app/build/outputs/apk/debug/app-debug.apk
```
#### オプションB: 直接ファイル転送
リモートVMを使っている場合、またはケーブルがない場合：
1. app-debug.apkを、スマートフォンからダウンロードできる場所にアップロードします
2. スマートフォンでダウンロードします
3. タップしてインストールします（求められた場合は「提供元不明のアプリのインストール」を有効にします）。
### 手順8: モデルファイルを転送する
アプリには.pteモデルとトークナイザファイルが必要です。
1. ファイルを転送します: model.pteとtokenizer.bin（またはtokenizer.model）をスマートフォンのストレージ（例: Downloadsフォルダ）に移動します。
2. LlamaDemoアプリを開く: スマートフォンでアプリを起動します。
3. モデルを選択
4. Settings（歯車アイコン）またはファイルピッカーをタップします。
5. Downloadsフォルダに移動します。
6. .pteファイルを選択します。
7. トークナイザファイルを選択します。
完了です！これでデバイス上で直接LLMとチャットできます。
### トラブルシューティング
* ビルドに失敗する？ java -versionを確認してください。17である必要があります。
* モデルが読み込まれない？両方選択したことを確認してください `.pte` と `トークナイザ`.
* アプリがクラッシュする？有効な `.pte` ファイルはExecuTorch用に特別にエクスポートされている必要があります（通常はCPU向けのXNNPACKバックエンド）。
### モデルをスマートフォンへ転送する
現在、 `executorchllama` 私たちが作成したアプリは、Android上の特定のディレクトリからのみモデルを読み込むことをサポートしており、残念ながら通常のファイルマネージャーからはアクセスできません。しかし、adbを使えば、モデルファイルをそのディレクトリに保存できます。
#### adbが正しく動作し、接続されていることを確認してください
```shellscript
adb devices
```
{% columns %}
{% column %}
1. ワイヤレスデバッグで接続している場合、次のように表示されます：
" %}
{% endcolumn %}
{% column %}
Gemma 3 で動作
{% embed url="" %}
{% endcolumn %}
{% column %}
Llama 3 で動作
{% embed url="" %}
{% endcolumn %}
{% endcolumns %}
当社の [Unslothノートブック](/docs/jp/meru/unsloth-notebooks.md) その他すべてのノートブックのページ。
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.
Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:
```
GET https://unsloth.ai/docs/jp/ji-chu/inference-and-deployment/deploy-llms-phone.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
