prismml发布ternarybonsai2系列端侧模型

硅星人
 来自北京

品玩10月16日讯,AI公司PrismML官方近日宣布扩展Bonsai 2系列,推出基于Qwen3.5的三款三元权重模型:Ternary Bonsai 2 2B、4B和9B,与已发布的27B版本共同覆盖从轻量到复杂任务的端侧部署需求。

该系列采用三元权重表示法,以{-1, 0, +1}编码参数,存储占用分别约为0.43GB、0.95GB和2GB,较全精度版本缩小9倍以上。官方称模型在推理、视觉理解、工具调用和指令遵循方面均有提升,其中9B模型在标准指令和日常数学任务中可减少约40%的token消耗。

性能方面,在RTX 4090和M5 Pro等硬件上,新模型吞吐量最高可达全精度版本的5倍,能效提升3倍;在iPhone 18 Pro Max上,9B模型最高可达每秒34个词元,2B模型最高可达每秒120个词元。

模型权重以Apache 2.0许可证开放,支持通过llama.cpp在NVIDIA GPU上运行,或通过MLX在Mac、iPhone和iPad上部署。

“特别声明:以上作品内容(包括在内的视频、图片或音频)为凤凰网旗下自媒体平台“大风号”用户上传并发布,本平台仅提供信息存储空间服务。

Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user of Dafeng Hao, which is a social media platform and merely provides information storage space services.”

独家原创
财经信源
科技精选
热点新闻