Token导航 LogoToken导航

AI 资讯 · AGIHunt

腾讯混元Hy4首次引入视觉能力并实测开发iOS互动绘本App

更新 2026-11-04AGIHunt正文 4704字阅读约 15分钟24 张图片

刚刚,腾讯混元正式发布了 Hy4!

官方称,这是 Hy 首次跻身最强开源模型之列。

图片
Hy4:为真实生产力而生

相比 Hy4 preview,这次的正式版扩大了预训练和后训练的规模,指令遵循、长文理解、长程任务和深度研究都有大幅提升。

模型一览

01

本次最最最大的变化,是 Hy4 首次引入了视觉理解,细粒度图像处理、复杂图表分析和带图的数学问题,终于都不在话下了!也因为有了视觉能力,Hy4 也首次支持了电脑操作,模型可以看着屏幕用鼠标键盘操作软件,还能和命令行、工具调用等灵活结合,综合生产力全面提升。

图片
Hy4 部分评测结果

相比于 preview,Hy4 在 Terminal-Bench 4.0 上从 26.3 提升到了 44.4,3D 建模评测 3DArena-Modeling 也从 23.4 来到了 37.1。

而新增的 Computer Use 上,OSWorld 2.1 拿到了 78.9,比 GPT-6.1 Sol 的 75.2 还要高(而且不是虚高,用一下就知道了!)。

在第三方榜单 Agent Arena 给出的成绩中,Hy4 在全球用户 8500 多次真实的长程 Agent 任务上的净提升为 +4.7%,从 preview 的第 25 名来到了总榜第 14。

而且它每个任务的成本只要 0.55 美元,进入了 Agent Arena 的帕累托前沿,也就是同等成本下效果最好的模型之一。

图片
Hy4 进入 Agent Arena 帕累托前沿

WorkBuddy 自己的评测里,Hy4 平均效果得分 83.18,通过率 96.15%,12 个场景中有 9 个排名国内第一。

金融也是本次模型的重点之一,共 213 位专家(其中 153 位来自外部的头部金融机构)对 579 个真实金融任务做了盲测,Hy4 的综合表现位居开源模型第一。

同时,Hy4 甚至也进军了数学研究领域。它与北京大学数学团队一起找到了 Méndez–Pinto–Villarreal 猜想的反例,再提出新条件完善了这个猜想,且证明也用 Lean 做了形式化验证。

配合 Hyra 2.0,它还自动训练出了一个 Jev 模型,8 项基准评测里有 6 项优于官方的 Jev。

定价上未做调整,还是 Hy4 preview 的价格:每百万 Tokens 输入 6 元,命中缓存 0.3 元,输出 18 元。

图片
Hy4 API 价格

现在通过腾讯云 TokenHub 调用可享受限时优惠,API 调用在 12 月 31 日前可享 5 折优惠,Token Plan 调用 Hy4 的积分消耗到 11 月 18 日前则可享 2.5 折优惠。

不再纯免费白送了,也属于是官方的自信了。

开源方面,官方表示会在近期开源模型权重,并将一并发布模型系统卡。

实测:互动绘本 App

02

我也第一时间用 Hy4 做了一个可以互动的绘本 iOS App。

图片
小铲和兔兔的工地早晨

这是我直接在 WorkBuddy 用 Hy4 模型做出来的、可以直接在 iOS 的 App 上给小朋友用的一个 App。所有的工作,从调研、写代码、部署服务器,到打包上传 TestFlight,以及最后的该 App 的宣传片视频,也都是 WorkBuddy + Hy4 自己做完的。

做这个的起因,是朋友家有个 2 岁多的小朋友,正处于语言爆发期,每天都缠着人陪他玩玩具、读绘本。

而我每次去他家,他都要让我帮忙照看一下孩子……可我是真没什么创意,就会取巧的拿他给孩子买的绘本拍个照,让 ChatGPT 给我编个故事,然后再讲给小朋友听。

但极具好奇心的小朋友总会有十万个为什么:这是什么?它是怎么工作的?那个车是怎么转的?

有一些情景和细节,他还要反复听、反复看……而我也是非常的没有耐心啊!

朋友于是问我,你不天天也在搞 AI 吗?那能教教我怎么用 AI 带娃吗?

我就问他,你有 ChatGPT 和 Codex 吗?或者 Claude Code?

他说,这是什么东西?

好吧,那你在用什么 AI 工具呢?

他说他公司都在用 WorkBuddy。

可以,还是有点基础的,那就可以搞点好玩的试试了。

方案

03

其实我在问他的时候,心里就已经有大概思路了。

李沐之前有分享过他做的一个绘本应用,能把绘本变成有声书。但我感觉现在可以更激进一些了,毕竟都两年多过去了,模型的能力已经全面提升了,只要用嘴就可以 vibe 一个好玩的东西出来。

而考虑到绘本是静态的,要讲明白“工程车是怎么工作的”之类的问题,全靠大人给小朋友编故事还是有点难度,且也没那么有趣好玩。

所以我的想法是,拍个照,然后扔给 WorkBuddy,让它把静态的绘本变成一个可以让孩子在手机上玩的互动式绘本。

设计上,系统一共分为三部分:

•  skill,给家长用。家长在 WorkBuddy 里提供参考素材(绘本、小朋友喜欢的玩具照片等)和故事情节,skill 把它们变成一本可以反复看、反复听、能游玩的互动绘本,再上传到服务端 

•  服务端,只负责存放绘本,不处理复杂的 Agent 任务,也就没有 token 消耗 

•  轻应用端,小朋友在网页或者 App 上看和玩 

图片
skill + 服务端 + 轻应用端

创作端充分利用了 WorkBuddy 和模型的能力,用的是朋友自己订阅的额度;而我只需要提供一次性制作好的 skill、一个简单的存储服务端和一个轻应用。

朋友要做的,就是创建新场景:小朋友想玩什么新的,他拍个照给 WorkBuddy 打磨后,再同步到服务器就完事了。WorkBuddy 直接变成了整个应用的管理后台,以后就不用再麻烦我了。

而正好 WorkBuddy 上新了 Hy4 模型,且这次支持了多模态视觉理解,还能直接操作电脑,那我想,是不是可以直接用 WorkBuddy + Hy4 把这全部搞完呢?

调研

04

我把上面的想法几乎原样口喷丢给了 Hy4,让它先调研并设计一下实现方案。

有意思的是,它帮我这叫法取了个名字,叫做「一场可以反复演的戏」。

图片
端到端链路

调研的结果里,它第一条就发现……是市场空白?

图片
四个关键判断

它还提醒我要注意一些合规上的问题,比如版权之类的。

开工

05

方案我大概看了下,没有太大的问题,就让它直接开干了。

开发过程中可以看到,Hy4 会自己截图 debug,发现问题再自己修复。每写完一个页面,它会先「看」上一眼,而不是跑个测试就完事了,这正是 Hy4 本次新增的视觉理解能力。

图片
截图检查、发现问题、修复

因为有语音功能,需要用到 TTS,我还在想应该接哪家的云服务……没想到Hy4 自己去 WorkBuddy 的技能市场里翻了一遍,自行装上了免费的「文字转语音(Edge)」。

图片
自己从技能市场找 TTS 技能

行吧,这语音虽然亮点不多,但好在免费(且朋友满意……),先让它这么用好了。

然后是服务端,Hy4 还考虑到了鉴权和部署脚本等细节,家长在 WorkBuddy 里通过 skill 就能把素材传上去。另外,它也给家长做了一个简单的管理页面,不过其实有 skill 就够了。

图片
服务端开发

而我的要求是最后要上线,所以它还说需要有个子域名,并且给出了子域名的建议,还给出了部署方案(其实我也没细看。。

图片
子域名建议和部署方案

我便截了个图,新开了个会话把图丢给它,让它自己用 CF 来配一下:

“

请使用 Cloudflare 配置一下,使用我本地的 Cloudflare 的 CLI。

用时约 2 分钟,DNS 就配好了。

图片
看截图配 DNS

后面的服务端开发、Nginx 配置和服务部署,也都是它自己一顿咔咔操作给搞定的。

图片
部署结果
图片
服务容器

最后,它还告诉了我该怎么用:

图片
告诉我怎么用

整个过程,我只需要提供服务器和域名,其他的都不用操心,已经慢慢习惯这种开发模式了。

开发 iOS 应用

06

跑通之后,我想提高服务的使用便捷性,就问它:

“

小朋友端,我想做成iOS 应用,可以吗

它说可以,还给出了方案:

图片
iOS 开发需求和方案

接下来,它自己开发、模拟器测试、真机测试,然后直接用我的苹果开发者账号,打包上传到 TestFlight。

图片
真机调试

打包上传环节,它是用 computer use 直接操作我 Mac 上的 Xcode 来完成的。

当然,中间也遇到了一些异常,比如第一次打包上传就失败了,原因是缺少配置:

图片
首次上传,缺少配置报错

它也没让我插手,而是自行完成了修复,然后重新上传成功,还顺手创建好了测试组。

图片
修改配置后重新上传成功,创建测试组

对于 iOS 开发的流程,它是真的非常了解,归档、校验、分发、建测试组……所有我曾经最烦的体力活,现在只需要玩会儿手机就可以了。

不过 App 装上之后,我在 iOS 真机上体验第一本书,发现布局有点问题,于是截了张图丢给它:

“

iOS 真机上体验时,布局还是有点问题,很多功能按钮被遮挡或被覆盖了,优化下

图片
截图发给 WorkBuddy,识别 UI 问题

它于是又自己看图、发现问题、进行修复,改完又自己用真机测试验证了一遍,没问题后又重新走了遍发版流程。

发版更新

整个 iOS 的部分,我好像只提供了一下苹果开发者账号,其他啥也没做……

3D 建模

07

一开始的方案里,绘本用的是 2.5D 的 SVG 分层动画,不过弄完后,我想还是 3D 的更好玩一些,于是临时改变主意让它直接上 3D 试试。

这要对面是个人,估计早掏出刀子来了……但对面是个 Hy4 那就随意来了。Hy4 又对照着玩具照片,用 Three.js 的程序化几何体,一块块地把这辆黄色小铲车给搭了出来。

图片
玩具照片 vs Three.js 重建(过程中)

黑色顶棚上的镂空、铲斗前面那一排齿、轮毂上的一圈圆孔,全都是照着照片还原的,甚至还带上了实时光影。

驾驶座上则多了一只戴安全帽的兔兔,也就是故事里的另一个主角。

这里没有用任何图生 3D 的模型,只靠看图、写代码、截图、检查、改进、再检查……结束。

放进绘本之后,3D 场景表现也很贴合:

图片
小铲和兔兔的工地早晨

小铲停在工地中间,周围有树、小房子和雪糕筒,下面是一行旁白,小朋友点「讲故事」就开始讲,点「上一幕」「下一幕」就能来回翻,喜欢哪段可以随意看、反复看。

宣传片制作

08

最后,我想可以再测试一下 Hy4 的视频制作能力,于是我又让它制作一个介绍视频:

“

给我录制一个宣传视频,介绍玩法,就使用这本书

图片
宣传视频制作

跑了 20 多分钟后,Hy4 给我交付了一个 95.6 秒的宣传片:

上面的视频是一把直出的,没有做任何改进。虽然还有一些细节可以调整,但我感觉已经很好了。

当然,也有不够好的,比如用的还是免费版本的语音(不过免费省钱啊,也挺好)。

写在最后

09

至此,互动绘本 App 全部完成了。

后续要添加新玩法,家长只需在 WorkBuddy 里用提前构建好的 skill,拍个照再口喷来进行创作和打磨,弄好之后只需来一句“上传到服务器”,小朋友就可以在 iOS 里直接上手游玩了。

而整个过程里,Hy4 完成了从调研到 TestFlight 发版的整条长链路,在长编码任务和 Agent 任务的表现,都非常稳定。

预期之内的,是多模态总算来了!Hy4 终于可以自己截图 debug、看真机截图优化 UI、拿到照片就可以搭出 3D 模型了,在长程 loop 迭代中的模型终于拥有了能看见的视觉理解能力。

惊喜方面,则是 iOS 打包发布的流程非常丝滑顺畅,远远超出了我的预期。单从操作体验上来看,初步体感是:不输于 Codex,强烈建议一试。

此外还有些细节的地方,比如每做完一步,Hy4 都会汇报一下进度,并用报告、流程图等方式及时给出反馈,易读易懂。比如我另一个小想法:

另一个小项目

当然,Hy4 也有些不足之处,比如模型在思考过程上似乎有些慢。不知道是否是用的人多导致的?(官方计划近期发布 Hy4 flash,推理速度和性价比都会明显提升)。以及,和 Opus 5.5、GPT-6 等顶尖的闭源模型相比,Hy4 在审美、超长程任务的性能上仍有一些差距。

Hy4 模型已经上线,可在 WorkBuddy、CodeBuddy、元宝、ima、腾讯云 TokenHub 和 OpenRouter 等渠道使用。

另外,即日起到 11 月 12 日,Hy4 在 WorkBuddy 和 CodeBuddy 中都可以免费使用(一定额度)。

如果你嫌 Claude Code 和 Codex 太贵太难用上,那记得去试一试。

◇ ◆ ◇

文章标签腾讯智能体

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。