通常、270億パラメータのAIモデルを動作させるには約54 GBのメモリが必要ですが、PrismMLはこれを3.9 GBまで圧縮し、iPhoneでの動作を実現しました。
PrismMLが今週リリースしたBonsai 27Bは、このクラスの性能を持つモデルとして初めて、コンシューマー向けスマートフォンのメモリ制限をクリアしました。iPhone 17 Pro Max上で動作させると、毎秒11トークンの生成速度を記録します。5.9 GBのターナリー（3値）版は、M5 Pro搭載のノートPCで毎秒約26トークンに達します。いずれもApache 2.0ライセンスの下で無償公開されています。
PrismMLはいかにして270億パラメータをスマホに詰め込んだのか
この圧縮手法はCaltechの知的財産に基づいており、モデルの各ウェイトを16ビットの浮動小数点精度から単一の符号へと削減する仕組みです。バイナリ版は+1または-1を使用し、ターナリー版はゼロの状態を追加することで、より表現力豊かな範囲を実現しています。128ウェイトのグループごとに16ビットのスケーリングファクターを共有することで、バイナリ版はウェイトあたりわずか1.125ビットとなり、フル精度のオリジナル版と比較して14倍の小型化に成功しました。
Bonsaiが他の量子化モデルと一線を画す点は、高精度な「逃げ道」を一切設けていないことです。エンベディング、アテンションレイヤー、そして言語モデルのヘッド全体に至るまで、エンドツーエンドで圧縮されています。多くの低ビットモデルは、出力品質を維持するために重要なレイヤーをフル精度のまま残しますが、これがファイルサイズの増大を招いています。Bonsaiはそのような妥協を完全に排除しました。
また、このモデルはハイブリッド・アテンション・バックボーンを採用しており、レイヤーの約75%でフル二次アテンションではなく線形アテンションを使用しています。この設計により、オンデバイスのハードウェアで262,000トークンのコンテキストウィンドウを実用的なものにしています。標準的なアテンションスタックでは、スマホでの実行はコスト的に不可能だったでしょう。
フル精度比94.6%のベンチマーク性能
NVIDIA H100 GPU上で「思考モード」を用いて知識、数学、コーディング、ツール使用の15項目を評価したベンチマークにおいて、ターナリー版は平均80.49を記録し、これはフル精度モデルの94.6%に相当します。1ビット版は76.11を記録しました。
これらの数値が実用上何を意味するのか、その背景は以下の通りです：
- AIME25およびAIME26の数学スコア：Ternary Bonsai 27Bが93.7%、Qwen 3.6Bが95.3%
- コーディング：Bonsaiが86ポイント、Qwen 3.6が88ポイント
- 一般知識：Bonsaiが77%、Qwen 3.6が83%
重要なのは、Bonsaiが同等のモデルよりもはるかに小さいファイルサイズでこれらの結果を達成している点です。従来の2ビットのQwenビルドはサイズがほぼ2倍であり、4ビットを下回ると数学やコーディングのタスクで性能が崩壊する傾向があります。Bonsaiはあらゆる面で安定した性能を維持しています。
実戦テスト：コーディングとクリエイティブライティング
Bonsaiチームは、実用的なテストとして「Zombie Type」という一人称視点のタイピング・ホラーブラウザゲームの構築を行いました。2回の「バイブ・コーディング（vibe coding）」により、クリーンな当たり判定、適切なスコアリングロジック、そして整合性の取れたグラフィックが完成しました。モデルは構造を早期に把握し、2回目のパスでゼロからの作り直しではなく、洗練させる作業を行いました。
クリエイティブライティングについては、より限定的な評価となります。ゼロショットのプロンプトでは、特に独創的なものは生成されません。しかし、Bonsaiが提供するのは一貫した内部ロジック、テンポ、ストーリー展開であり、同等のプロンプトにおいてClaude Haikuと同等か、わずかに上回る性能を見せました。APIコストがかからず、完全にローカルハードウェアで動作するモデルとしては、非常に意義のある結果です。
PrismMLは、モデルと併せてDSparkという推論加速（スペキュレイティブ・デコーディング）レイヤーも提供しています。これは、軽量なドラフターが候補トークンのブロックを提案し、メインモデルがそれを一度のフォワードパスで検証することで、トークン単位の生成よりも高速化を図る仕組みです。H100上では出力品質を維持したまま1.37倍のスループット向上を実現します。Appleシリコンではまだデフォルトで有効ではありませんが、GPUサーバー運用においては確実なメリットとなります。
Appleの動向
これはBonsaiファミリーにおける2回目の主要リリースです。3月には、1.15 GBのモデルであるBonsai 8Bをリリースし、1ビットアーキテクチャが80億パラメータ規模でも推論能力を損なわずに機能することを証明しました。270億への飛躍は、重要度が全く異なります。
現在、AppleはPrismMLと基盤となる圧縮技術について初期段階の協議を行っており、オンデバイスでの活用の可能性を評価しています。PrismMLのCEOであるBabak Hassibi氏は、この協議の事実を認めました。今後は圧縮されたGemmaモデルがリリース予定であり、続いてより大規模なフロンティアモデルが控えています。
多くのプレイヤーがこの発表で見落としているのは、その影響がスマートフォンに留まらないという点です。このレベルの性能を持つオンデバイスAIは、API呼び出しやサーバーとの通信による遅延がなく、データがハードウェアの外に出ることもありません。特にゲームアプリケーションにおいては、真に反応の良いNPCの挙動、ローカルでの音声処理、クラウド接続に依存しないリアルタイムのゲームロジックなど、新たな可能性が広がります。
1ビット版Bonsai 27Bは現在無料でダウンロード可能です。ゲームやテクノロジーの最新情報を追いたい方は、当サイトのゲームガイドハブが最適です。また、現在アクションRPGに熱中している方は、Where Winds Meet 初心者ガイドや最強の神秘術ガイドをぜひブックマークしてください。
