> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/ji-ben/inference-and-deployment/deploy-llms-phone.md).
# iOSまたはAndroidスマートフォンでLLMを実行・デプロイする方法
LLMを訓練して、その後 **ローカルにデプロイできる方法をご紹介できるのを楽しみにしています** を **Androidスマートフォン** と **iPhone**。私たちは [ExecuTorch](https://github.com/pytorch/executorch/) をPyTorchとMetaと共同で使い、量子化対応学習（[QAT](/docs/jp/burogu/quantization-aware-training-qat.md)）を用いた効率的なワークフローを作成し、その後エッジデバイスへ直接デプロイできるようにしました。 [Unsloth](https://github.com/unslothai/unsloth)、TorchAO、ExecuTorchを使って、以下の方法をご紹介します:
* InstagramやWhatsAppで何十億人ものユーザーを支えるためにMetaが使っている同じ技術（ExecuTorch）を使う
* Qwen3-0.6Bをローカルで **Pixel 8** と **iPhone 15 Proで約40トークン/秒で動作させる**
* TorchAO経由でQATを適用し、精度の70%を回復する
* プライバシー優先、即時応答、オフライン機能を得る
* 私たちの [無料Colabノートブック](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_\(0_6B\)-Phone_Deployment.ipynb) を使ってQwen3 0.6Bをファインチューニングし、スマートフォンへのデプロイ用にエクスポートする
iOSチュートリアル Androidチュートリアル
{% columns %}
{% column %}
**Qwen3-4B** iPhone 15 Proにデプロイ済み
" %}
まずUnslothを更新し、TorchAOとExecutorchをインストールします。
```bash
pip install --upgrade unsloth unsloth_zoo
pip install torchao==0.14.0 executorch pytorch_tokenizers
```
その後、単に `qat_scheme = "phone-deployment"` を使って、スマートフォンにデプロイしたいことを示します。なお、以下も設定します `full_finetuning = True` 完全ファインチューニングのためです！
```python
from unsloth import FastLanguageModel
import torch
model, tokenizer = FastLanguageModel.from_pretrained(
model_name = "unsloth/Qwen3-0.6B",
max_seq_length = 1024,
full_finetuning = True,
qat_scheme = "phone-deployment", # スマートフォンデプロイ用フラグ
)
```
私たちは `qat_scheme = "phone-deployment"` 実際には `qat_scheme = "int8-int4"` を内部で使用して、Unsloth/TorchAOのQATを有効化しています。これは *シミュレート* し、学習中のLinear層に対してINT4重み量子化を伴うINT8動的活性量子化を（フェイク量子化演算を通じて）16ビットのまま計算しながら実行します。学習後、モデルは実際の量子化版に変換されるため、デバイス上のモデルはより小さく、通常は **ナイーブなPTQよりも精度をよく保持します**.
Colabノートブック [で説明したとおりにファインチューニングした後、](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_\(0_6B\)-Phone_Deployment.ipynb)で保存します `.pte` ファイルをExecutorch経由で:
{% code expandable="true" %}
```bash
# 重みチェックポイントのstate dictキーを、ExecuTorchが期待する形式に変換する
python -m executorch.examples.models.qwen3.convert_weights "phone_model" pytorch_model_converted.bin
# ExecuTorchリポジトリからモデル設定をダウンロードする
curl -L -o 0.6B_config.json https://raw.githubusercontent.com/pytorch/executorch/main/examples/models/qwen3/config/0_6b_config.json
# ExecuTorchのpteファイルへエクスポートする
python -m executorch.examples.models.llama.export_llama \
--model "qwen3_0_6b" \
--checkpoint pytorch_model_converted.bin \
--params 0.6B_config.json \
--output_name qwen3_0.6B_model.pte \
-kv --use_sdpa_with_kv_cache -X --xnnpack-extended-ops \
--max_context_length 1024 --max_seq_length 128 --dtype fp32 \
--metadata '{"get_bos_id":199999, "get_eos_ids":[200020,199999]}'
```
{% endcode %}
### 🏁 学習後のデプロイ
そして今、 `qwen3_0.6B_model.pte` という約472MBのファイルがあれば、デプロイできます！デバイスを選んで、そのまま始めましょう:
* [#ios-deployment](#ios-deployment "mention") – Xcode経由、シミュレータまたは実機
* [#android-deployment](#android-deployment "mention") – コマンドライン経由、Unsloth不要
## :apple: iOSデプロイ
iOS上でモデルを動かすためのチュートリアルです（iPhone 16 Proでテスト済みですが、他のiPhoneでも動作します）。Xcode 15を実行できる物理的なmacOSデバイスが必要です。
### macOS開発環境のセットアップ
**Xcodeとコマンドラインツールをインストール**
1. Mac App StoreからXcodeをインストールします（バージョン15以降である必要があります）
2. ターミナルを開いて、インストールを確認します: `xcode-select -p`
3. コマンドラインツールをインストールし、ライセンスに同意します:
1. `xcode-select --install`
2. `sudo xcodebuild -license accept`
4. Xcodeを初回起動し、求められたら追加コンポーネントをインストールします
5. プラットフォームの選択を求められたら、iOS 18を選び、シミュレータ用にダウンロードします
{% hint style="warning" %}
重要: 最初のXcode起動は非常に重要です！追加コンポーネントのインストールを飛ばさないでください！ [こちら](https://developer.apple.com/documentation/xcode/downloading-and-installing-additional-xcode-components) と [こちら](https://developer.apple.com/documentation/safari-developer-tools/adding-additional-simulators) で追加のヘルプを確認してください。
{% endhint %}
**すべて正常に動作するか確認:** `xcode-select -p`
パスが表示されるはずです。表示されない場合は、手順3を繰り返してください。
### Apple Developerアカウントのセットアップ
**実機のみ！**
{% hint style="info" %}
iOSシミュレータのみを使う場合は、このセクション全体をスキップしてください。物理iPhoneへのデプロイには有料の開発者アカウントが必要です。
{% endhint %}
{% columns %}
{% column %}
**Apple IDを作成する**
Apple IDをお持ちでないですか？[ こちらから登録](https://support.apple.com/en-us/108647?device-type=iphone).
#### **Xcodeにアカウントを追加する**
1. Xcodeを開く
2. Xcode → Settings → Accounts に移動
3. +ボタンをクリックしてApple IDを選択
4. 普段使っているApple IDでサインインする
{% endcolumn %}
{% column %}
{% endcolumn %}
{% endcolumns %}
#### **Apple Developer Programに登録する**
ExecuTorchには `increased-memory-limit機能`が必要で、これは有料の開発者アカウントを要します:
1. アクセスする[ developer.apple.com](https://developer.apple.com)
2. Apple IDでサインインする
3. Apple Developer Programに登録する
### ExecuTorchデモアプリのセットアップ
**サンプルコードを取得:**
```bash
# LLMサンプルアプリを直接ダウンロード
curl -L https://github.com/meta-pytorch/executorch-examples/archive/main.tar.gz | \
tar -xz --strip-components=2 executorch-examples-main/llm/apple
```
{% columns %}
{% column %}
**Xcodeで開く**
1. 開く `apple/etLLM.xcodeproj` をXcodeで
2. 上部ツールバーで `iPhone 16 Pro` シミュレータをターゲットデバイスとして選択
3. 再生（▶️）を押してビルドして実行
🎉 成功！アプリはシミュレータで起動するはずです。まだ動作しません。モデルを追加する必要があります。
{% endcolumn %}
{% column %}
:android: Androidデプロイ
このガイドでは、Linux/Macのコマンドライン環境を使って、AndroidデバイスにExecuTorchのLlamaデモアプリをビルドしてインストールする方法を説明します（Pixel 8でテスト済みですが、他のAndroidスマートフォンでも動作します）。この方法は依存関係を最小限に抑え（Android Studio不要）、重いビルド処理をあなたのコンピュータにオフロードします。
### 要件
開発マシンに次のものがインストールされていることを確認してください:
* Java 17（通常はJava 21がデフォルトですが、ビルド問題の原因になることがあります）
* Git
* Wget / Curl
* Androidコマンドラインツール
* [インストールガイド](https://www.xda-developers.com/install-adb-windows-macos-linux/) とセットアップ `adb` Android端末とコンピュータ上で
#### 確認
Javaのバージョンが17.xと一致していることを確認します:
```bash
# 出力は次のようになるはずです: openjdk version "17.0.x"
java -version
```
一致しない場合は、Ubuntu/Debian経由でインストールします:
```bash
sudo apt install openjdk-17-jdk
```
その後、デフォルトに設定するか、exportします `JAVA_HOME`:
```bash
export JAVA_HOME=/usr/lib/jvm/java-17-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH
```
別のOSやディストリビューションを使っている場合は、 [このガイド](https://docs.oracle.com/en/java/javase/25/install/overview-jdk-installation.html) に従うか、お気に入りのLLMに案内してもらってください。
### ステップ1: Android SDKとNDKをインストール
完全なAndroid Studioなしで、最小限のAndroid SDK環境をセットアップします。
1\. SDKディレクトリを作成します:
```bash
mkdir -p ~/android-sdk/cmdline-tools
cd ~/android-sdk
```
2. Androidコマンドラインツールをインストール
```bash
wget https://dl.google.com/android/repository/commandlinetools-linux-11076708_latest.zip
unzip commandlinetools-linux-*.zip -d cmdline-tools
# 重要: SDKの構造に合わせるため再整理する
mv cmdline-tools/cmdline-tools cmdline-tools/latest
```
### ステップ2: 環境変数を設定
これらを以下に追加します `~/.bashrc` または `~/.zshrc`:
```bash
export ANDROID_HOME=$HOME/android-sdk
export PATH=$ANDROID_HOME/cmdline-tools/latest/bin:$PATH
export PATH=$ANDROID_HOME/platform-tools:$PATH
```
再読み込みします:
```bash
source ~/.zshrc # またはシェルに応じて ~/.bashrc
```
### ステップ3: SDKコンポーネントをインストール
ExecuTorchには特定のNDKバージョンが必要です。
```bash
# ライセンスに同意
yes | sdkmanager --licenses
# API 34とNDK 25をインストール
sdkmanager "platforms;android-34" "platform-tools" "build-tools;34.0.0" "ndk;25.0.8775105"
```
NDK変数を設定します:
```bash
export ANDROID_NDK=$ANDROID_HOME/ndk/25.0.8775105
```
### ステップ4: コードを取得
私たちは `executorch-examples` リポジトリを使用します。ここには更新されたLlamaデモが含まれています。
```bash
cd ~
git clone https://github.com/meta-pytorch/executorch-examples.git
cd executorch-examples
```
### ステップ5: よくあるコンパイル問題を修正
現在のコードにはこれらの問題はありませんが、以前遭遇したことがあり、役に立つかもしれないので記載します:
**「SDK Location not found」を修正:**
次の `local.properties` ファイルを作成して、SDKの場所をGradleに明示的に伝えます:
```bash
echo "sdk.dir=$HOME/android-sdk" > llm/android/LlamaDemo/local.properties
```
**修正 `cannot find symbol` エラー:**
現在のコードは非推奨のメソッドを使用しています `getDetailedError()`。次のコマンドでパッチを当てます:
```bash
sed -i 's/e.getDetailedError()/e.getMessage()/g' llm/android/LlamaDemo/app/src/main/java/com/example/executorchllamademo/MainActivity.java
```
### ステップ6: APKをビルド
この手順では、アプリとネイティブライブラリをコンパイルします。
1. Androidプロジェクトへ移動:
```bash
cd llm/android/LlamaDemo
```
2. Gradleでビルド（ツールチェーンエラーを避けるため `JAVA_HOME` を17に明示的に設定）:
注意: 最初の実行には数分かかります。
```bash
export JAVA_HOME=/usr/lib/jvm/java-17-openjdk-amd64
./gradlew :app:assembleDebug
```
3. 最終的に生成されたapkは次の場所にあります:
```
app/build/outputs/apk/debug/app-debug.apk
```
### ステップ7: Androidデバイスにインストール
アプリをインストールする方法は2つあります。
#### オプションA: ADBを使う（有線/無線）
もし `adb` スマートフォンにアクセスできるなら:
```bash
adb install -r app/build/outputs/apk/debug/app-debug.apk
```
#### オプションB: 直接ファイル転送
リモートVM上にいる、またはケーブルがない場合は:
1. app-debug.apkを、スマートフォンからダウンロードできる場所にアップロードします
2. スマートフォンでダウンロードします
3. タップしてインストールします（必要なら「不明なソースからのインストール」を有効化）。
### ステップ8: モデルファイルを転送
アプリには.pteモデルとトークナイザファイルが必要です。
1. ファイルを転送: model.pte と tokenizer.bin（または tokenizer.model）をスマートフォンのストレージ（例: Downloadsフォルダ）に移動します。
2. LlamaDemoアプリを開く: スマートフォンでアプリを起動します。
3. モデルを選択
4. 設定（歯車アイコン）またはファイルピッカーをタップします。
5. Downloadsフォルダへ移動します。
6. .pteファイルを選択します。
7. トークナイザファイルを選択します。
完了です！これでデバイス上で直接LLMとチャットできます。
### トラブルシューティング
* ビルドに失敗？ java -version を確認してください。17でなければなりません。
* モデルが読み込まれない？ 次の両方を選択したことを確認してください `.pte` と `トークナイザ`.
* アプリがクラッシュする？ 有効な `.pte` ファイルは、ExecuTorch用に特別にエクスポートされている必要があります（通常はCPU向けのXNNPACKバックエンド）。
### モデルをスマートフォンに転送する
現在、 `executorchllama` 私たちがビルドしたアプリは、Android上の特定のディレクトリからのみモデルの読み込みをサポートしており、その場所は通常のファイルマネージャからはアクセスできません。ただし、adbを使えば、そのディレクトリにモデルファイルを保存できます。
#### adbが正しく動作し、接続されていることを確認してください
```shellscript
adb devices
```
{% columns %}
{% column %}
1. 無線デバッグで接続している場合は、次のように表示されます:
" %}
{% endcolumn %}
{% column %}
Gemma 3 で動作
{% embed url="" %}
{% endcolumn %}
{% column %}
Llama 3 で動作
{% embed url="" %}
{% endcolumn %}
{% endcolumns %}
こちらへ [Unslothノートブック](/docs/jp/meru/unsloth-notebooks.md) 他のすべてのノートブックのページ。
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:
```
GET https://unsloth.ai/docs/jp/ji-ben/inference-and-deployment/deploy-llms-phone.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.