Token导航 LogoToken导航

PrismML发布Ternary Bonsai 2端侧模型2B至9B

更新时间 2026-10-16来源 品玩正文 418字阅读约 2分钟1 张图片

品玩10月16日讯,AI公司PrismML官方近日宣布扩展Bonsai 2系列,推出基于Qwen3.5的三款三元权重模型:Ternary Bonsai 2 2B、4B和9B,与已发布的27B版本共同覆盖从轻量到复杂任务的端侧部署需求。

该系列采用三元权重表示法,以{-1, 0, +1}编码参数,存储占用分别约为0.43GB、0.95GB和2GB,较全精度版本缩小9倍以上。官方称模型在推理、视觉理解、工具调用和指令遵循方面均有提升,其中9B模型在标准指令和日常数学任务中可减少约40%的token消耗。

性能方面,在RTX 4090和M5 Pro等硬件上,新模型吞吐量最高可达全精度版本的5倍,能效提升3倍;在iPhone 18 Pro Max上,9B模型最高可达每秒34个词元,2B模型最高可达每秒120个词元。

模型权重以Apache 2.0许可证开放,支持通过llama.cpp在NVIDIA GPU上运行,或通过MLX在Mac、iPhone和iPad上部署。

文章标签模型发布
资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。

继续浏览更多资讯

返回资讯目录

相关资讯

更多