Token导航 LogoToken导航

AI 资讯 · 科技行者

MAI-Gym:让AI自主练习手机电脑操作

更新 2026-11-20科技行者正文 8802字阅读约 28分钟

你有没有想过一件事:为什么让AI下棋、做数学题、写代码都已经能靠自学进步了,但让AI帮你订张火车票、整理一份文件,却还是经常手忙脚乱?

这背后有个挺反直觉的事实。2025年前后,强化学习已经在数学、编程这些领域跑通了一套成熟打法:给模型出题,让它反复尝试,答对了给奖励,答错了不给,模型就这样一点点学会推理。这套方法效果惊人,DeepSeek-R1就是靠这个思路训出来的。但同样的方法拿到"操作手机和电脑屏幕"这件事上,却迟迟没有跑通。阿里的研究团队在他们最新发布的论文里把这件事的难点讲得很清楚,也拿出了一套叫做**MAI-Gym**的解决方案。读完之后我觉得,这篇论文真正有意思的地方,不是又训出了一个多强的模型,而是它把"为什么GUI智能体训练这么难"这件事拆解得非常透彻。

一道题做一万次,和一台手机只能用一次

先说说这件事到底难在哪。

你去做一道数学题,无论你做对做错,这道题本身是不会被"用坏"的。一千个人可以同时在草稿纸上演算同一道方程,互不干扰。代码题也类似,一个沙箱环境可以被无数次复制,每次运行完清空重来,成本极低。

但手机和电脑不是这样。

当一个AI智能体在操作一台虚拟手机时,它点击的每一个按钮、输入的每一段文字,都会真实地改变这台"手机"的状态:文件被创建了、设置被改掉了、App里的数据被修改了。这意味着,如果你想让100个AI同时练习"用12306订一张火车票"这个任务,你不能让它们共用一台虚拟手机,因为A智能体点开的购票页面,B智能体根本看不到,它们会互相踩脚。

**每一次尝试都需要一台独立的、处于已知初始状态的手机或电脑,用完还要能精准重置回原样,供下一次尝试使用。**

这就好比,数学题是可以无限复印的试卷,而GUI任务更像是一次性的实验耗材。你做数学题可以让一千个学生同时在课桌上演算同一道题,但你没法让一千个人同时去操作同一台实体手机的同一个App,因为手一碰屏幕,状态就变了,后面的人面对的就不是同一个起点了。如果不单独给每次尝试配一台"干净"的设备,训练数据从一开始就是脏的,模型学到的可能是环境残留状态带来的偶然成功,而不是真正的操作能力。

GUI*:Graphical User Interface,图形用户界面,也就是我们日常看到的手机App界面、电脑桌面这些可以用鼠标点击、手指触摸操作的界面,和需要敲代码的命令行界面相对。

论文里给了个具体数字:大规模训练时需要同时维持成千上万台这样的"一次性设备"在运行,而且还要保证每台设备真的恢复到了干净状态,不能有残留文件、残留登录状态干扰下一次训练。这是第一个根本性的矛盾。

第二个难点更隐蔽一些,叫做**评估和训练用的是两套不同的"手"**。

研究团队发现一个现象:同一个模型,如果评测时用的代码和训练时用的代码不是同一套,跑出来的分数会不一样。原因很简单,模型看到的截图怎么处理、历史记录保留几步、动作指令怎么解析,这些细节一旦出现版本漂移,你测出来的其实已经不是你训练出的那个模型了。论文里提到一篇参考文献(StructAgent)专门指出过这个问题:"改变执行框架本身,就能改变一个固定模型的测试分数"。这就像你用两把不同精度的尺子量同一个物体,得出的数字再准确也没法互相比较。

把"评估-采集-训练"三条路合并成一条

MAI-Gym解决这个问题的核心设计思路,用一句话概括就是:**评估、数据收集、在线训练这三件事,必须共享同一套执行代码**。

论文里管这个叫agent harness,直译是"智能体挽具",其实就是夹在模型和真实环境之间的那层代码,负责把屏幕截图整理成模型能看懂的输入、把模型吐出来的文字解析成具体的点击坐标。

harness*:智能体的执行框架,负责构造输入给模型的上下文、解析模型输出的动作指令、并把动作真正发送到环境中执行。这是连接"大脑"(模型)和"身体"(环境)的那层代码。

如果评估用一套harness、训练用另一套,就好比你教一个人开车时用的是教练车的离合器手感,但考试时换了辆完全不同脚感的车,此人虽然学会了开车,但考试成绩和真实能力之间就出现了系统性偏差,而且这个偏差你根本看不出来是哪里出了问题。MAI-Gym的做法是,不管是跑评测、收集训练数据,还是真正做强化学习更新参数,全部走同一条"rollout路径"(可以理解成同一条流水线),一处代码改动,三边同时生效。

论文给的架构图里有个细节我觉得挺巧妙,叫**环境管理器**,它对外只暴露五个标准操作:申请实例、观察当前状态、重置到某个任务、执行一步动作、评估结果。不管底层是安卓手机、Mac电脑还是浏览器网页,智能体看到的接口都是统一的。这意味着研究者要给MAI-Gym新增一种设备类型(比如iPad),不需要改动训练代码,只需要写一个适配器,把这台新设备的"开机、截图、点击、验证"这几个动作翻译成环境管理器认识的语言就行。

rollout*:强化学习里的术语,指智能体从任务开始到结束(成功或失败)完整走一遍的过程,产生一条轨迹和一个最终的奖励分数。

这套系统跑起来有多大规模?论文里给的数字是**2万个并行环境实例同时运行**。为了撑住这个规模,团队在底层做了不少硬功夫。比如手机端,标准的安卓模拟器需要"嵌套虚拟化"技术,而大多数云端容器集群根本不支持这个,所以他们改用了一个叫ReDroid的方案,让每台虚拟手机变成一个普通容器直接跑在宿主机内核上,重置时只需要恢复一份"黄金快照"就行。实测下来,1000台新手机实例从零启动到可用,只需要328.4秒,比传统方案快了至少6倍。

不止是跑得快,还得省得下

光是环境能跑起来还不够,GUI任务还有个隐藏的成本黑洞:每走一步都要让大模型"看一眼截图再决定下一步",而且一个任务常常要走几十步才能完成。如果每一步都要把所有历史截图重新喂给模型计算一遍,算力消耗会指数级增长。

这里论文提出了一个我觉得特别值得细说的设计,叫**窗口式历史管理**。

常见的做法是"只保留最近k张截图",但这个做法有个致命问题:模型的输入prompt每走一步都会变。比如保留最近5张截图,走到第6步时,最老的第1张截图被扔掉了,整个输入序列的开头就变了。

这里要插一句背景知识。大模型推理引擎有个加速技巧叫**KV缓存复用**,简单说就是,如果两次请求的输入前缀完全一样,那前缀部分的计算结果可以直接复用,不用重新算一遍。但如果前缀哪怕变了一个字,缓存就作废了,必须整段重新计算。

KV缓存*:Key-Value Cache,大模型推理时为了避免重复计算,把之前算过的中间结果存下来,下次遇到相同的前缀内容直接复用,省去重复计算的开销。

"最近k张"的策略相当于每走一步就把前缀改了一遍,等于每一步都要把几乎全部历史重新算一次。MAI-Gym的解法是把步骤分成"窗口",比如每10步一个窗口,相邻窗口之间重叠2步。在一个窗口内,新内容只做"追加",不做"删除",这样前缀就能一直复用。等到了窗口边界,才把旧的截图"折叠"成占位符(文字描述还保留,但图片本身不再占用计算资源),开启下一个窗口。

这就像你在写一本连载小说,如果每写一章就把前面所有章节重新抄一遍再续写,那随着故事变长,抄写的工作量会越来越夸张。但如果你用活页夹的方式,旧的几页先收进档案盒(保留摘要,不留原文),新内容直接往本子后面续写,续写的那一刻你不需要动前面的内容。论文给出的实测数据很直观:窗口式方案让"前缀缓存命中率"从42.5%提升到85.9%,训练时每条轨迹需要处理的输入token数量从56万多直接降到8万多,降幅84.7%,训练一次更新的耗时从2166秒压到810秒,减少了62.6%。

当然这不是没有代价的,论文也坦诚地提到,rollout阶段每秒处理的步数从2.3降到了1.9,下降了18.9%。这是个典型的工程权衡:用rollout阶段略微的速度损失,换来训练阶段巨大的效率提升,整体上是划算的。

没有真实世界可以"练手",那就自己造一个

接下来是我觉得这篇论文最有巧思的部分:**怎么给AI造练习题**。

这里面有个现实困境。你想让AI学会用12306订票、用银行App转账、在外卖App下单,但这些App操作的是真金白银和真实订单。你总不能让AI在训练过程中反复给陌生账户转账几万次来"练手",这事不仅危险,而且根本没法重置。

论文把解决方案分成了两条线:一条叫**真实应用克隆**,一条叫**全新虚构应用**。

先说克隆。研究团队用编程智能体(就是Claude Code这类能写代码的AI)照着7款真实App(12306订票、建设银行、滴滴打车、美团外卖、大众点评、抖音、小红书)从零搭建了功能相近的"仿真版",内部有自己的后端数据库,可以随时重置。论文配了一张对比图,仿真版App和真实App放在一起,连界面布局都做到了高度还原。测试人员会在真实App和仿真版里做同一套任务,一步步对照截图,确认两边行为一致。

这就好比飞行员在真实飞上天之前,先在飞行模拟器里练上几百个小时。模拟器的仪表盘、操作逻辑都和真飞机一模一样,撞了也没关系,重启一下接着来。如果没有这个模拟器,飞行员的第一次真实操作就得在真飞机上进行,容错率几乎为零。GUI智能体同理,没有这些"沙盒克隆",AI想在高风险的支付、交易类App上积累经验,几乎无从下手。

另一条线是全新虚构应用,论文里管这个叫Novel Apps,专门用来测试AI"从没见过的界面,能不能靠自己摸索学会"。这些App完全是编出来的,界面和交互逻辑都是研究团队凭空设计的,保证任何预训练模型都不可能提前"背过"它的操作方式。每个App被设计成一个**确定性状态机**:相同的初始状态加相同的操作序列,一定产生相同的结果,这样重置和打分才能做到分毫不差。

论文最后一共开源了49个这样的仿真App,7个真实克隆加42个全新应用,附带840个任务。

光有App还不够,任务也得有"世界观"

这是论文里让我印象很深的一点。市面上很多任务合成方法有个通病:生成的任务互相孤立,一个任务对应一个单独的输入文件,这些任务之间没有任何关联。

但真实世界里,人处理事情从来不是孤立的。比如论文举的一个例子:回复一封邮件时要填上附件发票里的总金额,这要求邮件内容、附件、发票金额在这个虚拟世界里是真实互相对应、自洽的,而不是随便拼凑出来的几份互不相关的文件。

为了实现这种"自洽性",MAI-Gym引入了**跨应用世界构建**的流程。先设定一个人物角色(比如一个项目经理)和一个具体场景(比如一场产品发布会的筹备),然后围绕这个场景批量生成相互关联的文件和App记录:一份项目简报、一张预算表格、一封邮件往来、一条日历安排,这些内容共享同一批人名、同一个时间线、同一组事实。

persona*:论文中指为生成任务场景而设定的虚拟用户身份,包括这个人的职业、角色定位、目标诉求,用来让后续生成的所有文件和任务保持逻辑一致。

有了这个"自洽的世界"之后,任务才能变得真正考验综合能力。论文给的对比例子很说明问题:如果任务只是"创建一个叫预算复审的日程",AI只需要机械地点开日历App填个名字就行;但如果任务是"把预算复审会议挪到修订版预算表格截止日期的第二天",AI就必须先去读邮件、再去核对表格里的日期、最后才能回到日历去操作,这才真正考验了AI整合多方信息、做出正确判断的能力。

这就像出一道历史考题,如果只问"鸦片战争发生在哪一年",学生死记硬背就能答对,没有任何辨别力;但如果问"结合某条约的具体条款,分析为什么当时的通商口岸选址会影响后续局势",学生就必须真正理解上下文、调取相关材料、进行推理才能作答。孤立任务测的是记忆,关联任务测的才是真本事。如果不构建这种跨文件的自洽世界,生成出来的任务质量上限会非常低,模型练的始终是简单的"找图标点一下",而不是真实工作场景里常见的"多方信息汇总判断"。

奖励信号不能骗,验证器要经得起"考试"

既然任务生成出来了,怎么判断AI做得对不对?这里还有一个陷阱,论文专门点出来讲。

早期不少类似的研究用大模型(VLM,视觉语言模型)当裁判,直接让另一个AI看着截图判断"这个任务完成了吗"。这个做法效率是高,但问题在于,VLM裁判本身会犯错,而且一旦策略模型发现了裁判的判断漏洞,就有可能学会"钻空子"而不是真的学会完成任务,论文管这个叫奖励作弊风险。

VLM*:Vision-Language Model,视觉语言模型,能同时理解图片和文字的AI模型,常被用来当作自动化的"裁判"去判断一张截图是否满足某个条件。

MAI-Gym的解法是把代码验证放在第一位,VLM判断作为补充。具体流程是这样的:先写清楚任务要求的"验收标准",比如哪些数值必须出现在最终表格里;然后独立生成两段代码,一段叫golden code,直接把环境设置成任务完成后的状态(用来验证验证器本身对不对),另一段才是真正用来打分的verifier代码,这两段代码互不参考对方。

接下来是我觉得最严谨的一步,论文叫execution before acceptance,也就是"先跑通再录用"。每个验证器必须在真实环境里经过"初始状态打0分、golden code运行后打1分、重置后再打0分"这三个检验点,一个环节不过关,这个任务就被扔掉重做。此外还要让好几个真实模型通过GUI界面实际尝试完成这个任务,再由人工复核这些尝试记录,检查任务是否真的可执行、难度是否合理、有没有被钻空子的风险。

这套流程像什么?像一份正式考试之前的命题审核。出题老师不能只是写完题目就直接拿去考试,必须先自己做一遍确认有答案、再找几个不同水平的学生试做,看看题目表述是不是有歧义、有没有送分漏洞,确认无误之后才能正式使用。如果跳过这道审核直接上线,考出来的成绩根本没法反映学生的真实水平。

MAI-Gym最终开源了2000个经过这套流程检验的任务,手机和电脑环境各1000个。

训出来的模型,表现到底怎么样

说了这么多基础设施,最终效果才是硬道理。研究团队用MAI-Gym训出了一个90亿参数规模的模型,叫**MAI-Gym-9B**,底座是Qwen3.5-9B,经过监督微调加联合强化学习两个阶段训练而成。

训练过程有一个关键选择:**手机任务和电脑任务放在同一次强化学习训练里一起练,而不是分开训练两个专家模型再拼接**。常见做法是先单独训一个手机专家、单独训一个电脑专家,然后用参数加权平均的方式把两者"融合"成一个模型。论文专门做了对比实验:MobileWorld这个测试集上,手机专家单独训练能到76.4分,电脑专家73.5分,各种融合比例的组合最好也只能到76.4分;而联合训练出来的模型直接做到了78.4分,在另一个测试集OSWorld-Verified上也是同理,联合训练76.2分,比最好的融合方案还高1.4分。

这个结果说明了什么?说明手机和电脑这两类任务之间存在某种可迁移的共性能力,分开训练反而把这部分共性给丢了。这就好比一个人同时学钢琴和小提琴,如果完全割裂地学,各自练到一定程度后水平就卡住了;但如果在同一个阶段交替练习,节奏感、乐理理解这些底层能力是互通的,反而能让两种乐器都学得更快更好。

具体分数方面,MAI-Gym-9B在MobileWorld(手机端基准测试)上拿到78.4%的成功率,在OSWorld-Verified(电脑端基准测试)上拿到76.2%,论文称这是10B参数以下开源GUI智能体里的最高水平。作为对比,同样9B规模的UI-Venus-2-9B分别是75.2%和70.8%,而参数量大它4倍的GUI-Owl-1.5-32B反而只有43.9%和56.5%。更值得一提的是,在MobileWorld这个测试上,MAI-Gym-9B甚至超过了Claude Opus 4.8(69.2%)、GPT-5.5(62.4%)这些体量大得多的闭源商业模型。

**模型没在训练里见过的任务和环境,表现是否能保持,这才是真正检验泛化能力的地方。**

论文专门区分了两类测试,一类叫Task OOD(任务没见过,但训练环境见过),一类叫Env OOD(连环境本身都是全新的)。结果是:五个完全没训练过环境的基准测试(AndroidWorld、MobileGym、OSWorld 2.0、MacAgentBench、MyPCBench)上,强化学习阶段相比监督微调阶段都有明显提升,提升幅度从3.7到20.6个百分点不等,这说明模型学到的不是死记硬背某个App的操作流程,而是具备一定的跨场景迁移能力。

OOD*:Out-Of-Distribution,分布外,指测试数据和训练数据的分布不一样,用来检验模型是否只是记住了训练内容,还是真的学会了可迁移的能力。

虚拟世界练出来的本事,在真手机上管不管用

这是整篇论文我觉得最值得单独拎出来说的实验,因为它直接回答了一个所有人都会问的问题:在仿真App里练出来的能力,到底能不能用到真实App上?

研究团队挑了12306这个仿真克隆App,用52道配对任务(仿真版和真实版各准备一套对应任务)做了对照实验。结果是这样:在仿真克隆环境里,强化学习训练前成功率36.5%,训练后飙升到73.1%,提升了36.5个百分点。而这个在虚拟世界里练出来的模型,直接拿到一台真实手机上跑真实的12306 App,成功率从28.8%提升到了48.1%,提升了19.2个百分点。

**虚拟世界里练出来的操作能力,真的能迁移到物理世界的真手机上。**

论文里举了一个很具体的例子,叫"相对日期推理"。任务要求AI理解"三周后的周一"这种相对时间表达,训练前模型经常选错日期(比如选成了周日),训练后它能在仿真版和真实版12306里都准确选中正确的周一并设置提醒。这说明模型学到的不是某个App界面的死记硬背操作,而是一种更底层的、关于"如何从自然语言指令推导出正确日期"的通用能力。

不过论文也很诚实地指出了局限:仿真版和真实版之间的成功率差距,训练前是7.7个百分点,训练后反而扩大到了25个百分点。**仿真环境里的进步,不能完全预测真实环境里的表现。**

这个发现其实挺值得玩味的。你可以把这理解成,驾校里的模拟器练得再熟练,真上路还是会遇到模拟器里没有的突发状况,比如真实App的网络延迟、弹窗广告、偶发的UI渲染错误,这些仿真环境很难完全复刻。虚拟训练能大幅缩小差距,但没法完全消灭这个差距,这提醒我们在看任何"仿真训练效果"的报告时,都得留一个心眼,问一句"这个提升在真实场景里能保留多少"。

面对完全没见过的App,AI是靠什么学会的

另一个很有意思的小实验是关于那42个全新虚构App的。这些App此前没有任何模型见过,用来单纯测试"奖励驱动的学习"能不能让AI学会操作一个完全陌生的界面。

研究团队用252个任务训练,拿62个没训练过的任务来测试。强化学习前成功率25.8%,训练后提升到45.2%;因为超过步数限制而失败的次数从27次降到5次;平均完成一个任务所需的步数从33.3步压缩到16.4步。

论文配了一张案例图,任务是"把Music文件夹移动到Download文件夹,然后告诉我剩余空间发生了什么变化"。训练前的模型反复做一些无效的手势操作,60步的预算全部耗尽也没完成;训练后的模型只用5步就完成了移动操作并准确回答了空间变化,四项检查全部通过。

**这组实验的意义在于证明了一件事:只靠验证器给出的0/1奖励信号,不需要任何人类示范操作,AI也能摸索出一个全新界面的操作逻辑。**

这个结论挺重要的,因为它意味着未来给AI接入一个全新的、市面上从未出现过的软件时,不一定需要先录制大量人类操作视频去做监督学习,纯靠"试错加奖励"这条路径本身就是可行的,这大大降低了适配新软件的成本。

聊聊这篇论文留下的思考

读完整篇论文,我最大的感触是,这不是一篇单纯"刷榜"的论文,它更像是一份"把一个工程难题拆解清楚"的教科书式案例。

MAI-Gym真正的价值,可能不在于MAI-Gym-9B这个模型本身跑出了多高的分数,模型分数会被后来者很快超越,而在于它系统性地回答了"GUI强化学习的基础设施应该长什么样"这个问题。论文里提到的那几个设计,比如窗口式历史管理解决KV缓存复用问题、策略自适应任务采样避免浪费算力在已经学会或完全学不会的任务上、golden code加verifier双向独立生成避免奖励作弊,这些细节单独拿出来看都不算特别炫技,但拼在一起,就是一套真正能撑起大规模训练的完整体系。

论文中有一个细节我反复回味:克隆环境和真实环境之间的差距,强化学习训练后不但没有缩小反而扩大了。这个结果如果换个角度看待,其实揭示了一个更普遍的现象:当一个系统在某个受控条件下被优化到足够好的时候,它反而可能对那些受控条件之外的、现实世界特有的"噪声"更加敏感,因为它已经把训练环境里的规律学得太精确了,一旦环境本身有细微偏差,这种精确反而成了脆弱性的来源。这让我想起很多做仿真训练的领域,比如自动驾驶,都会面临类似的"仿真到真实的鸿沟"问题,MAI-Gym这个发现算是给GUI智能体这个相对年轻的子领域提前敲了个警钟。

另外值得一提的是,论文提到一个有意思的工程对比:他们还试验了另一种强化学习算法SAO(一种异步单条轨迹更新的方法,用学习出来的价值模型做优势估计),结果发现虽然SAO能减少等待采样的时间,但额外增加的价值模型计算(每次策略更新要配两次价值模型更新)把这部分省下来的时间又吃回去了,综合下来并没有明显优于GRPO。这个细节提醒我们,很多听起来"更先进"的算法改进,拿到真实的工程约束下未必划算,工程落地终究要看整体账本,而不是单一指标。

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。