
7月14日,腾讯混元发文表示,Hy3上线并开源后,社区一直在呼吁量化版本,希望单卡跑参数量达295B的Hy3。团队针对开源社区需求,把Hy3的权重量化到1bit与4bit并打包成GGUF,配合llama.cpp生态,让原本只能跑在多卡集群上的模型,最少一张推理显卡、乃至内存充足的本地机器也能跑起来。

7月14日,腾讯混元发文表示,Hy3上线并开源后,社区一直在呼吁量化版本,希望单卡跑参数量达295B的Hy3。团队针对开源社区需求,把Hy3的权重量化到1bit与4bit并打包成GGUF,配合llama.cpp生态,让原本只能跑在多卡集群上的模型,最少一张推理显卡、乃至内存充足的本地机器也能跑起来。
上一篇资讯
赴美上市传闻再起,三星紧急否认
三星电子正重新评估登陆美国资本市场的可能性。 7月14日,据彭博援引知情人士, 三星电子已就潜在美国存托凭证(ADR)发行与多家投行展开初步接触,但相关讨论仍处于早期评估阶段,公司尚未决定是否推进交易,也未进入承销商遴选等实质性环节。 SK海力士此前完成265亿美元美国上市,创下...
下一篇资讯
阶跃造手机,只发布了“一半”:大模型公司为何非要自己“盖房”?
21世纪经济报道记者 董静怡 上海报道 7月13日,阶跃星辰董事长印奇在发布会上推出了四样东西:终端品牌STEPX、操作系统Step AOS、个人智能体Amoo,以及最受关注的大模型原生智能体手机STEPX Neo。 参数、价格、发售日,一概没有。这不像一场消费电子发布会,倒更像...