苹果A20 Pro运行27B模型 速度达iPhone 17 Pro两倍

CNMO科技
 来自北京

【CNMO科技消息】在苹果自研芯片的历史上,A20 Pro首次采用双16核神经引擎,专为处理AI负载而设计。最新演示显示,搭载该芯片的iPhone 18 Pro在运行270亿参数(27B)模型时,速度达到了iPhone 17 Pro的两倍,展现出移动端本地AI处理能力的显著提升。

A20 Pro

A20 Pro

iPhone 18 Pro与iPhone 18 Pro Max均配备12GB、96位位宽的LPDDR5X内存,其规格明显快于iPhone 17 Pro与iPhone 17 Pro Max所采用的配置。更快的内存与双16核神经引擎的组合,将本地AI性能推向新的水平。演示者Adrien Grondin在iPhone 18 Pro上运行Bonsai 27B模型,可以直观看到token生成速度极快。不过,双16核神经引擎在token生成上虽然更快,但受限于内存配置,2-bit量化的AI模型体积过大,目前仍无法在这款手机上本地运行。

在没有联网的情况下运行更密集的27B AI模型,虽然对iPhone而言是重大进步,用户仍需面对一些取舍。相关帖文提到,随着Bonsai 2的推出,为何还要继续运行Bonsai?答案略有遗憾,但这是智能手机本地运行AI模型的现实:采用2-bit量化的Bonsai 2体积过大,无法装进iPhone 18 Pro本地运行,进而导致性能下降。而Bonsai是1-bit量化模型,可在4GB内存设备上轻松运行,在8GB乃至12GB内存的手机上则更为流畅。

在iPhone 18 Pro上,除了A20 Pro,还配备了速度更快的内存、115.2GB/s的统一内存带宽,以及峰值吞吐量在为NPU设计的负载中超过该芯片7核GPU的双16核神经引擎。在这样的硬件条件下,Bonsai 27B运行时没有出现任何减速迹象。这也说明,苹果正通过神经引擎与内存带宽的双重升级,强化iPhone在端侧AI领域的竞争力,而内存容量仍是决定更大模型能否本地部署的关键瓶颈。

“特别声明:以上作品内容(包括在内的视频、图片或音频)为凤凰网旗下自媒体平台“大风号”用户上传并发布,本平台仅提供信息存储空间服务。

Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user of Dafeng Hao, which is a social media platform and merely provides information storage space services.”

热点新闻