Token导航 LogoToken导航

AI 资讯 · 每日经济新闻

蚂蚁集团与vLLM联合开源量化推理内核Humming

更新 2026-10-21每日经济新闻正文 228字阅读约 1分钟

每经AI快讯,10月21日,据蚂蚁开源官微消息,蚂蚁集团与vLLM社区联合开源Humming,一个通用、高性能的量化推理算子库。Humming具备以下特点:广泛的设备支持,覆盖多种GPU,以及兼容CUDA编程的设备;丰富的量化支持,通过统一架构支持Dense和MoE中丰富的权重与激活格式组合,覆盖多种整数和浮点类型、位宽及缩放方式。出色的执行性能在多种典型负载中显著优于vLLM Marlin、FlashInfer和DeepGEMM等现有实现。

每日经济新闻

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。