Token导航 LogoToken导航

AI 资讯 · 科技狐

姚顺雨称Hy4距AGI有差距 下一代模型继续扩规模

更新 2026-11-23科技狐正文 2574字阅读约 9分钟18 张图片

11 月 21 日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨带着团队,在海外社区 Reddit 的 LocalLLaMA 板块进行了一场 AMA(有问必答)。

图片

两个小时,300 多条留言。

从模型参数规模、AGI 进展,到怎么本地部署,开发者们几乎把能问的都问了一遍。

比如,姚顺雨给 Hy4 目前的 AGI 水平打了 2.5 级。

混元明确表示,下一代 Hy 模型规模还会继续扩大。

Hy4-mini 和 Flash-Lite也已经在规划中。

面对开发者吐槽模型过度思考、写作能力退化等问题,混元团队也没有回避。

图片

Hy4 自评 AGI 2.5级,下一代还要做大

有开发者直接搬出一张 AGI 能力分级图,问姚顺雨:按照这套标准,Hy4 现在究竟处于什么水平?

图片

姚顺雨给了一个数字:2.5 级。

在这套框架里,Level 2 大致对应熟练专业人士的第 50 百分位,Level 3 对应第 90 百分位。

图片

也就是说,姚顺雨认为 Hy4 已经具备相当不错的专业任务能力,但距离专家级 AGI 还有一段距离。

这个回答倒是挺实在。

毕竟现在的大模型发布会,一个比一个喜欢谈 AGI,恨不得模型刚会写代码,就已经站在通往超级智能的大门口了。

但真正聊到模型能不能自己进化时,混元团队反而谨慎了不少。

有开发者追问:Hy4 能不能自主运行,通过递归自我改进(RSI),直接研发出下一代模型?

团队表示,目前 RSI 能力仍处于早期阶段,已经开发了一些内部基准来评估相关能力,但现阶段的首要任务还是提升模型智能、打牢基础。

图片

不过,模型规模这件事,混元倒是给出了更明确的信号。

有海外开发者拿字节、Kimi 等公司的超大规模模型对比,指出对方已经在推进 3T 甚至 5T 参数,而混元 Hy4 还在 700B 左右。

图片

言下之意很直接:为什么不跟着把参数堆上去?

混元的回答是,Hy3 和 Hy4 已经证明,经过扎实训练的较小模型,也能胜过更大的模型,而且成本更低。

但当被问到下一代 Hy 模型的规模时,团队还是明确表示相信 Scaling Law,会继续训练更大的模型。

图片

老狐觉得,这个信号值得琢磨。

一边强调小模型的效率,一边又准备继续扩大模型规模。

混元显然不打算在大模型和小模型之间二选一,而是两条腿走路。

图片

把模型做轻,让更多人用上

如果说更大的模型负责冲击智能上限,那么小模型负责的,就是让更多人真正用得起 AI。

这次 AMA 里,开发者对小模型的期待相当强烈。

有人直接问 Hy4-mini 有没有戏,混元回答:当然!这已经在路线图上了。

图片

有人想要更轻量的 Flash Lite,团队也表示,一款前沿的 Flash-Lite模型正在准备中。

图片

此外,24B—31B 稠密模型、更小尺寸的开源图像模型,也都进入了讨论范围。

图片

甚至有开发者专门问了一个很实际的问题:如果想让端侧智能体看懂图片、UI 截图和图表,最小需要多大的模型?

混元给出的答案是:30 亿参数的模型,就已经可以用于这些任务。

图片

从这些回答来看,混元正在规划不同尺寸、不同用途的模型。

既有继续冲击能力上限的大模型,也有面向低成本推理、本地运行和特定任务的小模型。

这次 AMA 也问出了老狐比较关心的问题:Hy4 Flash 这么大的模型,能不能在本地跑起来?

有开发者提出,Hy4 Flash 虽然每个 Token 只激活约 12B 参数,但总参数规模接近 220B。

即使采用 Q4 量化,模型权重也需要相当大的存储空间。

图片

现场还有开发者直接报出了自己的硬件配置:96GB 显存,加 128GB 系统内存,能不能运行 Hy4 Flash?

图片

对此,混元团队给出了一个办法:不必把所有模型参数都放进 GPU 显存,可以把部分专家层放到电脑的系统内存中,Engram 表也可以放在系统内存里。

过去我们理解大模型本地部署,往往就是看显卡显存够不够。

模型权重太大,显存装不下,基本就得放弃。

而 Hy4 Flash 通过专家层和参数表卸载等设计,把一部分存储压力从显卡显存转移到了系统内存。

再采用滑动窗口注意力(SWA)机制,直接将处理长文本时的临时缓存(KV Cache)缩减到原来的四分之一,进一步压低了显存占用和服务成本。

可见,模型架构设计正在改变本地部署的玩法。

未来 Hy4-mini 之类的模型,或许也能吃到这轮架构创新的红利。

图片

AI 越来越不会说人话

这场 AMA 最有共鸣的吐槽之一:现在的大语言模型写作能力似乎正在退化。

图片

以前用起来不错的模型,升级之后反而越来越套路化,代码能力可能变强了,但写出来的文档和文章却没那么好读了。

混元团队对此没有回避。

他们表示,创意写作和可读性一直是关注重点,但目前仍有提升空间。

对于模型写作越来越套路化的问题,团队认为可能与训练目标有关,希望模型的表达更像人类,少一些模式化的句式。

这话老狐还挺有感触。

现在不少模型写东西,开头先来一句宏大背景,中间再套几个标准化小标题,最后用一段看似深刻的总结收尾。

结构倒是完整,读起来却总感觉少了点人味。

另一个让开发者头疼的问题,是模型太爱思考。

有用户吐槽 Hy4 有时候推理时间太长,问团队到底能不能让模型学会适时停止。

图片

混元的回答是:Hy4 追求尽可能高的智能水平,因此思维链过长是一个已知问题。

反倒是 Hy4 Flash 通过强化学习,能让思维链变得更短。

在被问到训练阶段最难改善的行为是什么时,团队提到的这正是:过度思考。

这其实也解释了为什么混元要同时推出 Hy4 和 Hy4 Flash。

一个尽可能探索智能上限,一个尽可能压缩成本、提高速度。

用户不需要每次处理简单任务,都要等一个模型思考半天。

当然,这场 AMA 还有不少有意思的小插曲。

比如,有开发者询问混元是否会提前与 llama.cpp(全球最主流的个人电脑本地跑大模型工具) 合作,让社区在模型发布前就完成适配。

图片

团队表示正在推进相关工作,也在与 vLLM、SGLang 等社区深入合作。

话题之外,有开发者提出让大家许一个愿望:希望未来的大模型能帮自己做什么?

有个回答相当接地气:希望大语言模型能创造全新的食谱,而且做出来的味道正好符合自己的喜好!

好家伙,前面还在聊万亿参数、递归自我改进,最后直接落到了今晚吃什么。

不过,这个愿望倒也挺符合 AI 发展的终极方向。

模型有多大、参数有多少、推理速度有多快,最终还是要看它能不能真正解决人的问题。

完整问答地址:

https://www.reddit.com/r/LocalLLaMA/comments/1y15w4a/tencent_hy_team_shunyu_yao_here_ask_us_anything/

文章标签大模型

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。