每经AI快讯,10月21日,据蚂蚁开源官微消息,蚂蚁集团与vLLM社区联合开源Humming,一个通用、高性能的量化推理算子库。Humming具备以下特点:广泛的设备支持,覆盖多种GPU,以及兼容CUDA编程的设备;丰富的量化支持,通过统一架构支持Dense和MoE中丰富的权重与激活格式组合,覆盖多种整数和浮点类型、位宽及缩放方式。出色的执行性能在多种典型负载中显著优于vLLM Marlin、FlashInfer和DeepGEMM等现有实现。
每日经济新闻
AI 资讯 · 每日经济新闻
每经AI快讯,10月21日,据蚂蚁开源官微消息,蚂蚁集团与vLLM社区联合开源Humming,一个通用、高性能的量化推理算子库。Humming具备以下特点:广泛的设备支持,覆盖多种GPU,以及兼容CUDA编程的设备;丰富的量化支持,通过统一架构支持Dense和MoE中丰富的权重与激活格式组合,覆盖多种整数和浮点类型、位宽及缩放方式。出色的执行性能在多种典型负载中显著优于vLLM Marlin、FlashInfer和DeepGEMM等现有实现。
每日经济新闻
资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。
上一篇资讯
高通因手机业务承压拟启动全球裁员
全球智能手机市场遭遇寒流,美国芯片巨头高通也感受到了压力。 有消息称,高通CEO克里斯蒂亚诺·安蒙(Cristiano Amon)已在一份内部备忘录中告知员工,公司计划在年度绩效考核结束后实施一轮全球裁员,相关通知预计从11月开始发出。截至发稿前,高通并未对上述消息予以回应,也未...
下一篇资讯
苹果新增美国钛供应商Perryman iPhone Duo供应仍紧张
财联社10月21日讯(编辑 赵昊) 苹果宣布为其新款iPhone Duo增加一家美国钛金属供应商,同时扩大iPhone 18 Pro相机零部件在美国的生产。 苹果公司周二在官网表示,未来三年将向总部位于宾夕法尼亚州的Perryman Company投入最高1亿美元,用于生产苹果产...