文|白鲸实验室
相比许多模型研究员来说,姚顺雨发X的频率谈不上高,尤其官宣加入腾讯以来,发了不到10条帖子。而这一次,一向低调的他为Hy4正式版发了4条帖子。
其中一条是转发了腾讯混元官方X账号发布的Hy4正式版,姚顺雨写道:"为我们在不到一年内取得的成就感到自豪。"
过去一年,在姚顺雨的带领下,腾讯混元逐渐形成了一套稳定的发布节奏,先推出Preview版,再发布正式版。至今已经连续迭代了三个大版本。
真正的转折点是今年8月发布的Hy4 Preview。根据我们接触的多位腾讯内外部业内人士的判断,腾讯混元已经摆脱此前相对边缘的位置,进入国内大模型的第二梯队。
Hy4正式版的发布,可以视为腾讯混元向第一梯队迈进的一个关键节点。腾讯内部对此也给出了明确判断,官方宣称,Hy4正式版已跻身全球最强开源模型之列。
在全球大模型评测平台Artificial Analysis发布最新智能指数榜单上,一项覆盖579个真实金融任务的专家众测中,Hy4获得3.04分,超过DeepSeek的2.97分,仅次于kimi3.1,成为国产开源模型第二。在腾讯公布的部分评测中,Hy4已经超过DeepSeek V4.1 Flash。
这个结果值得注意的是,过去很长一段时间,混元潜在的短期目标似乎都是围绕DeepSeek。
"如果说过去姚顺雨做对了什么,最重要的就是做正确的事。"一位混元研究员告诉我们。姚顺雨做事更务实,不盲目追求榜单,也没有追求架构创新,姚顺雨在内部拨乱反正,把模型最基础的数据和Infra等底层工程做扎实。
和DeepSeek相似,Hy模型系列没有盲目追求大参数模型,而是借助后训练和预训练规模提升模型能力。不同的是,此次Hy4补上了Computer Use能力,在Agent任务并重点强化了腾讯产品和生态能力的任务,比如游戏生成等能力。
过去一年,DeepSeek重新定义了国内开源大模型的竞争标准,不仅要有足够强的推理和代码能力,还要不断把token成本和效率逼近斩杀线。这一次,在AA榜单中,Hy4的综合智力水平超过DeepSeek,这也引发我们好奇,在真实任务上,混元真的追上DeepSeek了么?
我们做了多组测试,包括测试Hy4的长程Agent、Computer Use能力时,配套使用DeepSeekV4.1Flash+DeepSeek harness,GPT-6.1 Terra+codex,Hy4就用codebuddy作为harness,确保他们各自可以发挥最强能力。此外,我们还计算了不同平台的订阅成本。
结论是,Hy4已经能在某些任务上与DeepSeek竞争,但从模型能写代码,到Agent能够稳定交付工作,中间依然存在落差。更有意思的是,当我们进一步看向GPT系工具,这种落差又有了新的表现。
01混元上桌
这次代码能力评测,我们没有采用传统的Coding Benchmark,而是选择游戏生成作为主要场景。因为开发一款游戏,不只是写代码,还考验模型的需求理解、任务规划、素材处理、工具调用和最终交付能力。
相比单纯的代码生成,这更接近当下模型厂商强调的Agentic Coding,模型不再只是辅助程序员写代码,也尝试独立完成整个开发任务。
腾讯这次发布Hy4正式版,在腾讯公布的多项评测中,已经能够与DeepSeek、GLM、Kimi等国产模型正面竞争,在部分任务中取得领先。尤其值得注意的是,游戏开发单独作为一项核心能力进行了展示。根据官方公布的数据,Hy4的GameDev、GameLogic评测成绩较Preview版本分别提升19.1%和9.8%。
所以,我们规定好了一套游戏生成流程。给定参考图,由模型直接生成可运行的网页游戏,全程不人工干预。不同模型DeepSeek、GPT-6.1 Terra都使用各自的Harness进行对照测试,以求让每个模型都能有各自最好的发挥。
然后就是用两款不同类型的游戏,逐步增加开发任务的复杂度。
第一关,是2D横版游戏。这类怀旧小游戏难度不高,主要是热身练手,测验下模型搭建基本场景、角色运动和游戏逻辑的能力。
在我们的设计要求里,模型需要生成一个类《银河恶魔城》的横版过关游戏,横跨多个场景,并且要用代码生成所有的素材,包括音乐、图画和背景。
这一部分Hy4的表现不错,包括地图的设计摆放,一些会主动攻击的怪物设计都花了心思。让人眼前一亮的是,Hy4做的游戏背景音乐,会随着不同场景去改换风格,但仍然维持着同样的旋律。
Hy4正式版做的2D小游戏https://echodeep.hk2048.online/
不过,DeepSeek 4.1 Flash,在几乎相同的生成时长内,呈现的效果更为完整可用。
仅地图一项,Hy4设计的更像是超长平面的延伸,往右一直走就会到头。DeepSeek V4.1 Flash的地图四通八达,前期还有解锁环节,主动用伏笔来引起玩家的探索欲。
剧情上,Hy4游戏剧情零散,没有对话。而DeepSeek V4.1 Flash有完整的世界观,背景是一座沉入井底的城市,最后的守钟人要找回四个失落的音律,击败劫持巨钟的"指挥家",让城市重新歌唱。
DeepSeek 4.1 Flash做的2D 游戏https://echowell.hk2048.online/
第二关,从2D升级到3D。我们选择了不少模型都实测过的经典题目——鹈鹕骑自行车的3D竞速游戏,进一步考验Hy4在场景构建、玩法设计之外,对角色素材、运动表现和物理反馈的综合处理能力。
这一次我们增加了难度,从原本的2D SVG绘图转变成了3D的鹈鹕建模,并且在一个场地上骑行。
从生成结果看,Hy4跨过了第一道门槛,完成了基本生成,可以运行。而且Hy4用了1300多行代码,写出一个单文件的鹈鹕骑单车3D竞速游戏。整个过程耗时约50分钟,累计消耗约800万Token、86积分,缓存命中率达到98.4%。
相比之下,DeepSeek 4.1 Flash完成同一任务,使用了多个代码文件,内容量明显更多,耗时约1小时10分钟,记录的Token消耗接近Hy4的十倍。
至少在这项任务中,Hy4没有落后于DeepSeek4.1 Flash。它用更少的代码和Token,实现了基本可玩的游戏。对于一款刚刚完成正式版升级的模型来说,值得肯定。
这是Hy4横比DeepSeek4.1 Flash、 GPT-6.1 Terra效果最好的一次,也恰好是最便宜的一次。
Hy4正式版生成效果:附小游戏链接: https://pelican-hy.hk2048.online/
在整个测试过程里,Hy4有一点和DeepSeek 4.1 Flash有惊人的相似性,就是两个模型都偏爱在任务执行的过程中进行长思考。
这导致Hy4会在思考之后不断地返工。完成单个任务的token消耗量就更多,耗时也更长,有时这种长思考并不导向更有效率的路径设计。
比如模型做游戏需要处理素材,比如把白色背景的移动帧图抠图后处理为播放动画的页面,正常情况下,最佳的解决方法其实是去掉白色底,然后去单独抠出每个对象。
但是Hy4经过思考后,选择了先用方块截图选中每个对象再抠图,但方块截图反而带到了相邻角色,最终整套素材等于报废重来,这个小任务也最终没有成功。
和2D游戏任务的结果类似,从任务完成度和实际可玩性来看,Hy4与DeepSeek 4.1 Flash相比,距离真正完成交付仍有不小的差距。
DeepSeek4.1Flash生成效果:附小链接https://pelican-ds.hk2048.online/
同样的"鹈鹕骑自行车",DeepSeek 4.1 Flash做出的山路有弯道、起伏、护栏和植被,场景层次比较丰富。跳跃时的青色羽毛与加速时的橙色尾流区分清楚,速度感和操作反馈都比较到位。障碍预警、安全路线和加速带的组合,也让骑行过程更有节奏。
HY4正式版的优势是玩法规则稍丰富,加入了得分、小鱼收集、完美通过奖励和引擎热度,角色在画面中也比较大、容易看清。但画面过曝比较明显,道路和远景显得空,整体视觉质感稍弱。
从工程细节看,DeepSeek 4.1 Flash的模块拆分、资源复用、固定随机种子关卡和调试接口都更完整,也更便于后续维护。Hy4正式版则主要将代码集中在单个文件中,虽然局部输入和暂停处理做得不错,但在长期扩展性上仍显吃力。
当然,两个模型生成的游戏都缺少自动化测试,距离生产级工程还有差距。整体来看,DeepSeek 4.1 Flash交付的作品,在画面表现、玩法完整度和代码结构上都更加成熟。
02价格,追上DeepSeek的另一笔账
而在叠加价格因素后,Hy4就有些尴尬了。
按照发布时的官方口径,Hy4每百万输入Token收费6元,输出Token收费18元,缓存命中Token收费0.3元,正式版性能提升后延续了Preview版本的定价。
在Codebuddy的价格里,Hy4的标价是DeepSeek V4.1 flash的2.6倍。已经不是一个有性价比的价格带。长思考带来的反复操作也在无形中增加了token消耗,就拿上面测试的2D游戏制作任务为例,Hy4的积分消耗是DeepSeek V4.1 flash的两倍。
有趣的是,Hy4完成鹈鹕骑单车游戏,消耗约86积分,表现可以说是三个模型里最好的。这也是Hy4官网上的demo之一。
此外,Hy4百万Token消耗标价只有K3的几分之一,但同样的199元套餐,Kimi K3的199元套餐理论容量大概是10亿Token,高于混元套餐里理论上的8.7亿Token。
如果再叠加返工率,那么实际单位任务成本就难说了。当然,这次我们没有运行K3的同任务测试,还不能判断两款模型真实完成任务的成本差距。
DeepSeek此前建立的市场竞争力,很大一部分正是来自模型能力与成本的组合。在Agent广泛应用的当下,随着OpenCode等第三方平台开始提供多款模型接入和订阅服务,模型单出或许是王牌,和性价比一起出,无疑更具竞争优势。
也正是因此,腾讯公布了推出Hy4 Flash的计划,要进一步降低调用成本。
起码现在,对混元来说,DeepSeek仍然是那个最直接、最难绕开的对手。它证明了国产开源模型能够把能力推到多高,也不断迫使后来者证明,自己能够做得更好、更便宜。
03DeepSeek之外,GPT又把门槛抬高了
如果说前面的游戏测试,考察的是模型如何调用代码、文件系统和开发工具完成任务,那么腾讯此次发布Hy4的另一项重要升级,就是Computer Use(计算机使用能力)。
按照官方介绍,Hy4已经具备结合命令行与图形界面执行操作的能力,并针对Blender、CAD等专业软件,以及跨应用、多步骤的长程任务进行了专项优化。
也就是说,混元在探索让模型进一步走出代码编辑器。因为Computer Use不只是让模型生成代码或调用开发工具,而是需要识别屏幕上的信息,判断操作位置,通过鼠标、键盘等方式完成任务。
所以接下来的独立测试,是让Hy4和GPT-6 Luna在日历里新增日程。
这里不方便的就是,CodeBuddy和WorkBuddy都没有提供符合此次需求的原生Computer Use使用方式。为了让模型完成图形界面操作,我只能另外下第三方的CUA类MCP外挂接入。产品端的适配如果能和模型一起上新,体验恐怕会更流畅。
或者正是因为这一点,Hy4的实际体验不太理想。
光是精准的去完成部分鼠标操作,Hy4每次都会用好几分钟。毕竟,操作鼠标时,模型需要获取屏幕截图,理解界面内容,生成鼠标或键盘操作指令,再由工具执行操作。随后重新截图,检查操作是否成功,再决定下一步。复杂的软件界面就多次重复。
因此,几分钟才完成一次点击让跑任务的过程有些缓慢,执行效率也就大打折扣。Hy4还在没有设置好日期的情况下就退出了,导致了反复检查,最后花了大概5分钟时间完成这一次任务。
而在Codex里用GPT-6 Luna,算上20秒的网络延迟,中间问了问题的情况下,也只用了一分47秒完成了任务。而且,Luna可以用多个Agent并行操作不同窗口,Hy4还在解决点击准确性的问题。
当然,两次测试的任务和运行环境并不完全相同。Hy4使用的是第三方MCP接入,Luna运行在自身的Computer Use环境中,这也可能造成影响。但是一边是已经有了成熟电脑操作能力的模型,另一边是需要用户自己安装工具、处理适配的新模型,用户尝鲜的意愿也会受到影响。
除此之外,整个测试过程里,我发现Codebuddy其实也没有那么好用。
作为一个IDE Agent ,它对长程任务的支持其实并不友好。部分保守的设计,会把很多高风险的命令设置为一定要人来点"确定"。但实际上,现在的 Agent已经不像以前那种容易删光文件夹,而是可以放心去执行一些长程命令。
这样的设计见仁见智,提高了安全性,但相比同样做Computer Use的海外模型来说,还有不少的功课要做。
需要注意的是,当模型能力差距不断缩小,真正影响用户选择的因素,可能越来越多地来自工具生态、上下文管理、执行效率与完整的任务交付体验。
回到我们的测试,Hy4的进步是看得见的。它已经能够独立生成多种网页游戏,在某些重点优化的开发任务中,甚至可以使用比DeepSeek更少的Token完成基本开发工作。它也补齐了视觉理解和Computer Use,开始探索此前难以覆盖的软件操作场景。
不过,同样看得见的,是它在素材处理、任务规划、自动纠错以及长程执行中的不稳定性。
而当Hy4终于在某些项目上追平甚至超过DeepSeek,新的问题也悄然出现。前面还有模型能力和harness双强的GPT,这场竞争才真正开始。







