Hy4 正式发布了。朋友圈里,能感觉到腾讯同学的兴奋。因为这次官方 Release Blog 的第一句话是:Hy 首次跻身最强开源模型之列。
从 Hy3 开始,混元每一次发布新模型,我几乎都会阅读他们的 Blog,经常看我文章的同学会知道,我的口头禅是,Release Blog 中有最一手的信息。
我听在几个大模型公司任职的朋友讲过,他们每次发 Release Blog,一号位都会逐字审核和修改。
所以,可以推断,这个 Blog 的表达一定程度上代表了模型团队最真实的想法和状态。

之前混元的表达一直比较谦逊,即便模型能力有了明显提升,也从没把话说这么满过。比如下面截图是当时 Hy3 发布时他们对模型能力的定位。

但这一次 Hy4,很明显,他们还是很有信心。
周末和某大模型创业公司的哥们交流,他说,这几个互联网大厂里,过去一年模型进步最大的,绝对是腾讯。毫无争议。
今年年初,大家对 Hy 的评价,基本上还是路边一条。但后来 Hy3,再到 Hy4 preview,以及今天的 Hy4 正式版,我自己也能明显感觉到,腾讯这一年的进步确实太快了。
之前使用 WorkBuddy,遇到稍微复杂一点的任务,我总是习惯切换到 Kimi 或者 GLM 等等模型。但自从 Hy4 preview 发布之后,我发现需要切换的次数已经越来越少。
从 Hy3 preview 到 Hy3,腾讯主要扩大了后训练的规模,通过提高训练数据质量、增加强化学习的算力投入,提升模型的智能水准。
但这一次 Hy4 正式版,官方明确提到,预训练和后训练的规模都进一步扩大了。

也就是说,Hy4 的 Base Model,和 preview 版本已经有所不同了。
他们在原有 preview 模型的基础上,继续投入了更多数据和算力进行训练。
而且,官方也明确提到,这次 Hy4 首次引入了视觉理解和电脑操作能力。

所以,我的判断是,这次扩大预训练规模,应该也有一部分投入到了视觉能力和 Computer Use 的能力建设上。
视觉理解能力我也测试了一下,目前主要还是针对图片。
之前的 Hy 版本虽然也能处理图片,但更多是通过其他视觉模型或模块配合完成的,并不是 Hy 语言模型本身直接具备的能力。
这种方式在不同模块之间传递信息时,就会丢失一些细节。
而现在 Hy4 支持了原生的视觉理解能力,可以直接结合图片信息进行理解和推理,尤其是识别图片中的细节、分析复杂图表等任务,确实会有更好的表现。
官方的说法是,他们这次大幅提升了指令遵循、长文理解、长程任务、深度研究等各项综合能力。
我说下自己的感受:
1)幻觉体感上进步不小,特别是金融类的 Case。
2)审美有提升。页面的布局和字体搭配,比之前耐看很多。
3)前端视觉类的任务,因为有了原生的视觉能力,确实效果更好。
4)复杂任务上有时候过度思考的问题解决了。
下面我用 Hy4 做出来的一个卡片效果。之前在 X 上看到的。直接扔视频,它给复现了出来。
鼠标滑过,悬挂的卡片会自动翻转。鼠标悬浮在卡片上面动的话,又会有对应的倾斜角度的效果,以及鼠标指针周围还有一圈光晕的特效。而且还可以左右滑动切换。
这个任务大概消耗了 3000 多万 Token。对比 Hy4 preview,我最明显的感受是,有了原生的视觉理解能力,模型对页面布局、色彩搭配和各种细节的把握确实都更好了。

给它视频,虽然它仍然需要先转换成一帧帧图片再进行理解,但至少能够直接分析画面里的内容,理解页面的视觉效果和设计细节。
尤其是在复刻网页或者制作复杂交互时,模型可以参考画面中的实际效果,不断调整代码,最终做出来的东西和参考素材也更接近。
我还用 Hy4 做了一个在街头打篮球的场景。这个 Case 非常复杂。我之前用其他几个模型都跑过,效果不好。
这次 Hy4 搞定了。
可以看到,镜头会一直跟着场上持球进攻的球员移动。球员之间有投三分、突破上篮、盖帽等一系列攻防动作,场边的观众也在不停地加油助威。
这个 Case 之前我用另外一个模型做过,已经有了初步效果,但我不太满意。因为整体看起来有些塑料感,人物的体态和动作也比较僵硬,不够自然。
这次,我直接把整个项目交给了 WorkBuddy 里的 Hy4,让它在现有基础上继续优化,重点调整场景的材质、人物形象和球员的攻防动作,尽量让整个画面看起来更加逼真、自然。

后面我继续加要求,让 Hy4 把双人单挑的逻辑补完整。两名球员要轮流进攻和防守,抢到球以后要按规则清球。镜头也得配合动作变化等等。
它重新整理比赛逻辑,再连续运行回合检查。中间发现投丢的球会飞得太远,再被拉回场内。镜头虽然改了缩放数值,实际取景仍然太远。
它就继续修正出界判断和镜头的取景范围。

最后,又进行了 16 次进攻测试,顺便还测试了机位组合。

当然,中间有一些细节需要几次调整。比如,各种得分的动作细节、不同回合的节奏什么的。我不再啰嗦。
但从这个过程看,Hy4 在这类视觉类的长程任务中,确实还是能做出来让人惊喜的水准。
继续,我用 Hy4 做了一个 3D 的庭院场景,可以看到场景中的亭子、石头、石灯等的建模都很不错,水面有轻微的涟漪,还加了反光的效果,很漂亮。夜晚的景色更美。
先给大家看看最后的效果。
这个任务比较考验所有元素的材质和场景中物体的空间位置关系。
前面有一版处理时,水面一直偏奶白,池底看不清。我让它调整优化时,它就把渲染过程拆开检查,先单独输出池底,再分别检查折射和高光。
最后发现,池边泡沫的计算写反了,把近白色的泡沫混进了整个池面。

后面就是反复优化建模和材质,过程中我忽然想到看看 Hy4 能不能调用一下我的 Blender 去搞定。我就问它你能不能调用 Blender。它说可以通过 Python 脚本去调用。

之后,它分批编写 Python 脚本,调用本机 Blender 建模,再把模型接回原来的网页。过程中还处理了石头轴向错误、柱梁合并后跑位,以及花瓣背面不可见等等问题。

还做了一个马赛克材质透镜的卡片效果。
我提前给 Hy4 准备了三组图片,分别是石屋、人像和空中花园,每组都有两种不同的材质。
就是静止时是一个完整的作品,鼠标放上去以后,局部像被玻璃透镜扫过,露出下面另一种风格的图片,同时带一点折射和像素变化。
这个 Case 其实非常考验模型对细节的处理。比如卡片之间的位置和遮挡关系,鼠标移动时透镜的折射效果,以及两种材质之间的过渡。
尤其是人像,稍微处理不好,五官就容易变形,看起来很别扭。
中间我给它补了一段参考视频,让 Hy4 继续调整。

迭代过程中难免会出现效果加得太多的情况,我就让它适当的去掉一些效果。

最后,我还做了一个照片上下交替翻转的效果。准备放到我们的官网,用于展示我们和用户的互动瞬间。
这个 Case 的难点在于,照片是围成一圈的,每张照片之间的距离要合适。而且整个照片圈上下交替旋转时,照片的倾斜角度也会跟着变化,Hy4 可以的,能搞定。

对了,还有一个细节。
这次腾讯在 Release Blog 里专门提到了 RSI,也就是递归自我改进。
前两天,腾讯刚发布了 Hyra 2.0 这个模型研发脚手架。而这次 Hy4 已经能够配合 Hyra 2.0,自动完成 Jev 模型的训练。

Hy4 训练出来的 Hyra-Jev,在 8 项基准测试中,有 6 项成绩超过了官方 Jev 模型.......
同时,Hy4 还帮助腾讯优化了内部小模型的预训练系统。也就是说,腾讯也已经开始尝试让 AI 参与模型研发,甚至承担一部分训练和优化工作了。
之所以单独说一下 RSI,是因为我觉得接下来模型公司的竞争,除了拼研究员的能力、应用场景、基础设施和芯片,肯定还要拼 RSI 的水平。
现在头部的开源和闭源模型公司,基本上都已经验证这条路绝对可以快速提升模型的迭代速度。
一旦 AI 能够真正参与到模型研发和训练的循环中,帮助研究员更快地完成实验、发现问题、优化模型,那么模型能力的提升,就有机会反过来加快下一代模型的研发。
如果这个循环真正跑通,不同模型公司之间的差距,很可能会被进一步拉大。
看来,腾讯也已经正式的进入到 RSI 的路径中了。
感觉今年势必会成为腾讯发展历史上非常重要的一年。
去年这个时候,说实话,腾讯在大模型和 AI 应用市场都略显被动。我记得当时坊间有不少讨论,觉得腾讯可能会在这一轮 AI 浪潮中落伍。
毕竟那时候,新一批 AI 模型公司跑得非常猛。但现在,已经没人会这么说了。所以,信心都是自己给的啊。
Hy4 已经跻身全球头部开源模型之列,WorkBuddy 也已经是头部的 Agent 应用。
虽然现在就说腾讯已经拿到了 AI 时代的船票,还为时尚早,但至少到了今年年底,可以非常确定地说,腾讯已经重新坐上了 AI 的牌桌,而且是一个非常有竞争力的玩家。







