PrismMLが27B級初のスマートフォン動作モデル「Bonsai 27B」を発表

PrismMLは2026年7月14日、極限の量子化により27億パラメータクラスのマルチモーダルAIモデル「Bonsai 27B」を発表した。同モデルはiPhone 17 Proなどのスマートフォンとノートパソコンで動作する初の27B級モデルである。

モデルの仕様と2つのバリアント

Bonsai 27BはQwen3.6 27Bを基盤とするマルチモーダルモデルで、2つの量子化バリアントを提供する。Ternary Bonsai 27Bは5.9 GBのサイズで1.71有効ビット/重みを採用し、ノートパソコン上での動作に最適化されている。1-bit Bonsai 27Bは3.9 GBのサイズで1.125有効ビット/重みを採用し、iPhone 17 Proのメモリ予算内に収まるように設計されている。両バリアントともFP16グループワイズスケーリングを備え、ビジョンタワーは4-bit形式で保持されている。262K トークンのコンテキストウィンドウと投機的デコーディング機能をサポートしている。

性能ベンチマークと品質保持

15個のベンチマーク（知識、推論、数学、コーディング、命令遵守、ツール呼び出し、ビジョン思考モード）にわたる評価では、Ternary Bonsai 27Bは全精度ベースラインの95%、1-bit Bonsai 27Bは90%の性能を保持している。具体的には、数学カテゴリーでQwen 3.6 27Bが95.3点の場合、Ternary Bonsai 27Bが93.4点、1-bit Bonsai 27Bが91.7点を達成。コーディングでは88.7点から86.0点、81.9点へと推移し、ツール呼び出しと推論では80.0点から74.0点、66.0点となっている。全15ベンチマークの総合スコアはQwen 3.6 27Bの85.0点に対し、Ternary Bonsai 27Bが80.5点、1-bit Bonsai 27Bが76.1点である。

デバイス別の推論スピード

1-bit Bonsai 27BはNVIDIA GeForce RTX 5090で163トークン/秒、NVIDIA M5 Maxで87トークン/秒の処理速度を実現。Ternary Bonsai 27BはGeForce RTX 5090で134トークン/秒、M5 Maxで58トークン/秒である。1-bit バリアントは従来の4-bit構成と比べてメモリ効率で2.5倍、全精度ベースラインと比べて知能密度で10倍、最良の低ビット代替案と比べて2.7倍の優位性を示している。

利用条件と開発環境

Bonsai 27BはApache 2.0 ライセンスの下で公開され、モデルウェイトも同ライセンスで利用可能である。Apple MLXおよびNVIDIA CUDAネイティブ対応により、Appleデバイスおよび NVIDIA GPUで実行できる。無制限のデベロッパープレビューAPIが無料で提供されている。PrismMLはCaltech研究者チームから始まり、Khosla Ventures、Cerberus、およびGoogleの支援を受けており、Samsungから継続的なサポートを受けている。

筆者の見立て

• 最も価値の高いAIワークロードが単一の応答から継続的な業務へシフトしていると論じている。
• クラウドAPIが多くの製品にとって引き続き最適な選択肢となると見ている。
• オンデバイス永続エージェント、オフライン動作可能なアシスタント、プライベートローカルデータの推論を備えたアシスタントなど、新たなカテゴリーが開く可能性を示唆している。
• 知能密度がAI進歩の次段階を定義する軸の一つとなると予想している。
• フロンティアの左方向への移動が、高度なAIが動作可能なデバイス、製品、環境のセットを拡張し、すべてのデプロイ面の経済性を変えると解釈している。
• インテリジェンスが同じ道を歩んでいると見なし、Bonsai 27Bがこれまでで最大の進歩だと論じている。
• より大規模なモデルと新しいアーキテクチャがすでに開発中であり、フロンティアが前進し続けると予想している。

この記事は元記事の事実のみに基づいて自動生成されました。

出典

PrismML『Announcing Bonsai 27B: The First 27B-Class Model to Run on a Phone』https://prismml.com/news/bonsai-27b