Token导航 LogoToken导航

AI 资讯 · 卡尔的AI沃茨

豆包工作上线录制回放功能,支持讲解与电脑自动化操作

更新 2026-10-28卡尔的AI沃茨正文 2946字阅读约 10分钟9 张图片
豆包工作还在卷,

我今天发现它居然偷偷上线了codex同款的录制操作生成技能,record & replay。

图片

简单回顾一下,这个技能有点像超级简单版的RPA(机器人流程自动化),不需要会编程,不需要调组件搭工作流,就是把你操作电脑的过程录制下来交给AI,AI自己去写步骤说明,自己在下一次复刻同款操作。

更骚的是,比起codex,豆包工作还追加一个讲解功能,最长可以录制30分钟。我可以边操作边讲,告诉它我这步为什么这样选,这样就不需要死记硬背鼠标轨迹,我也不需要一次性完美录制成功,使用压力降低了很多。

图片

我先尝试控制Grok Bot自动收集Github项目更新来试试水,

录制好的Skill执行过程中,跟Codex的Computer Use不同的是,中间如果我要用对应的这个窗口的话,它是会主动断掉的。

图片

拿我在Codex上的经验说。经常会遇到我开了一个对话,那个对话要用我的浏览器,但我同时又想开另一个对话,两边就冲突了。操作软件的时候特别明显,浏览器其实还好,可以通过其他Skill绕开。

我说具体一些。

比方说我要用Codex操控Grok,同样的环境给我出个日报。但因为我同时在录视频,或者在跟另一个Agent对话,它弹出来的页面就会打断我。我不断最小化弹出来的页面不断重试,这就会导致操作失败。

所以暂停和重试这两种机制,我觉得有好有坏。如果让我选的话,本机,就是我自己用的电脑,我希望有自动暂停的机制,因为不会打断我主要的工作。但如果是在远程的Mac mini上跑,重试更好,反正不挡我。

图片

上次文章里,我没有写这个录制回放技能会跟已有的Computer Use,Browser Use(浏览器自动化)去搭配使用。

像豆包,它其实会先返回说目前的状态是什么,然后给出后续的行动。那下一步,最好的做法就是让它去做巡检。

我刻意强调巡检这两个字,是因为以前我可能会说每隔5分钟,10分钟去检查一遍。但其实很多时候,如果你不确定时间间隔,你可以直接让模型自己去做巡检,它们会自己判断合适的时间间隔,直到观测到任务完成为止。

图片

录制回放技能整体来说是个互补的。

当你想要做的自动化没有API,也不只是在浏览器上跑,操作的软件要横跨多个步骤,或者工作流要横跨多个软件,那我非常推荐把它录制成skill。尤其是还可以搭配解说。

我拿一个很经典的case来跟大家说明有解说到底有多重要,就拿我的一个录屏skill来说,

之前为了省事,我直接把当前操作的页面最大化才开始录屏,它每次都会复刻我的操作。但是这样会出现一个问题,只能录出刚好和我电脑屏幕尺寸一样大的视频,但我很多时候素材其实是要4:3的。

这就涉及到一个有点难用文字描述的操作,

我要把屏幕里除了当前窗口外其他所有的窗口都缩小。这个动作就从「把一个窗口扩大到全屏」变成了「把除了当前屏幕焦点外其他窗口都最小化」,从「某一个动作」变成「某一类动作」。因为我每次打开的软件都不是一样的。

图片

这也是为什么今天已经有了那么多 Agent 有Computer Use的能力,然后也有了浏览器自动化的能力,我觉得还是需要有录制回放能力的一部分原因。

因为同时打开多个录屏软件会互相冲突,所以我后半段是拿iphone录制的,可以看到豆包工作遇到录屏软件这种每次录制的透明条都在屏幕上不同地方出现的情况也是可以全屏截图放大确认去按键的。

图片

还有一个更离谱的操作,

我觉得很多Skill不会特意去做,但是非常适合我们使用习惯。

我觉得做Computer Use或者浏览器自动化,大家最常见的,一直想要解决的问题,就是去我们日常用的这些平台,去拿到热门帖子,低粉爆款的内容等等。这里面绕不开的一个高山,就是如何避免被限。

用录制回放这个skill就可以利用我们每个人独有的ADHD习惯。

假设你今天想找小红书的低粉爆款。用网页去刷,不需要限制固定页面和固定节奏,你只需要在30分钟内完成就行了。中间你可以去刷某抖,刷X,甚至跑去某站看个视频,都无所谓,越贴近你日常习惯越好,做完录制之后,把它打包给豆包就好了,这时候一个几乎不可能被测出来的信息获取skill就诞生了!

大部分Agent被检测到,都是因为在固定的网页上操作得很固定,点击的时间间隔也很固定。我以前每次点击试过按 15秒到60秒的随机时间来操作,但长时间还是会被检测出来。后面测出来的还是操作时间不正常,谁在网页刷某书一刷刷一个多小时,太不像人了。

一开始我想着先让它操作个5分钟,然后停6分钟,搞比较随机的节奏。但既然我们是有多平台采集需求的,那为什么不试一下多个平台都采集。我的做法是串5个平台,实际上只有2到3个平台是真正要收集的,中间那些平台是没有意义的行动。

我一边操作一边给的解释是这样的。

    我要演示一种随机跨平台采集:在某音、某书、X之间不按顺序切换,每个平台随机停留几分钟,看到值得参考的内容就记到notes里。以后给你一个主题,按这种节奏采集30分钟,最后把表格给我。

    我不想给Agent反复解释为什么要这样做,直接通过skill内化变成一个刻板动作就好了,就像做实验,有时候把东西放进微波炉然后跑出去吃顿火锅再回来就成功了。

    除了采集之外,我还有一个很痛的点,就是公众号的排版发布。

    我现在的流程是从飞书选一个排版应用,把稿子复制过去公众号后台,调间隔行距,上传视频,贴结尾、封面、正副标题,发个预览。做这一套做完都得半个小时。所以我想试一下豆包工作能不能也复刻了。

    在第一次用的过程中,我也会担心会不会有一些冗余的画面片段对整个技能的质量造成影响。

    因为豆包工作这个功能在处理时会优先转换音频,所以我们可以在录制的开头就说明白接下来要做什么样的动作。这样哪怕中间或者开头结尾出现一些多余的画面,或者中间有消息通知稍微打断了录制过程都没关系。

    图片

    Amazing啊,

    豆包工作台之前也更新了很多零零碎碎的小功能,所以你在这上面可以看到它的工作进度,后台任务以及对话的产物等等。

    虽然说它在跟你用同一个界面的时候会暂停任务,但同时打开多个网页浏览器是不会出现这个问题的,我可以把它放在后台让它自己去操作,不会影响其他工作流的正常使用。

    图片

    经过这几 case测试出来,豆包工作其实比我想象中做得认真得多,迭代也快得多。

    还有一些同类的场景。

    比方说Figma,Canva的封面模板要导出多个样式,剪映也一样,素材录入排序,渲染之后的多格式文件导出,音频单独导出,这些操作都非常适合用录制回放做成skill。

    我很兴奋codex不是唯一选择。

    Tibo这28天内重置了11次,

    我是起床蹬,睡觉蹬,出门手机蹬。我都已经已经把档位从200刀降到100刀了,还是用不完。

    已经能想象出来28天过去之后额度会有多不够用了,估计到时候只舍得用Terra点点浏览器自动化。

    我现在就打算把一批codex做出来的record & replay skill都迁移到豆包工作上。

    我承认一开始我只把它当成一个有飞书原生数据的Agent,如果我对飞书的依赖没那么高,还是可以用其他Agent来集成的。

    但现在它的能力越来越完善了,包括之前的从codex,claude code代入记忆,还有这次的录制回放,

    说它是目前国产Agent里最贴合Codex使用体验的,一点毛病都没有。

    Codex额度见底了,

    我还有豆包,

    就是这样硬气。

    @ 作者 / 卡尔

    资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。