Token导航 LogoToken导航

AI 资讯 · 科技行者

OpenMobile-2破解手机智能体真实应用困境

更新 2026-11-21科技行者正文 6383字阅读约 20分钟

你有没有试过让AI帮你操作手机,结果它在淘宝界面里滑来滑去,点错按钮,然后陷入死循环?

这不是段子。这是目前几乎所有开源手机智能体的真实困境。它们在实验室里的测试App上表现不错,一旦放到真实的商业App,比如淘宝、携程、美团,就开始手足无措。

问题出在哪?不是模型不够聪明,是它们压根没见过真正复杂的商业App长什么样。

**训练环境太简单,是手机智能体一直落后的根本原因**

这篇来自南京大学、商汤科技、港大等多家机构联合发布的论文,把这个问题摆上了台面。他们给出的方案叫OpenMobile-2,核心思路很直接:既然开源社区缺少高质量的训练场,那就自己造一个。

先搞清楚:这件事到底难在哪

想训练一个能操作手机的AI,你得先有个地方让它"练手"。

但现实世界的App,比如真实的淘宝、携程,是不能随便拿来训练的。你让AI在真实淘宝里乱点,万一真下了单付了钱怎么办?就算不付钱,每次测试完都要把账号状态恢复到初始状态,这个"重置"的成本高得吓人。

> 真机测试*:指直接在物理手机或安卓模拟器上运行真实App进行智能体训练和评估的方式。

这就好比你想训练一个赛车手,但只能让他开着你自己的真车上路练习。每撞一次都要花钱修车,每次练完还得把车恢复原状,这成本谁扛得住?

正因如此,过去的研究者们想出了一个办法:做"仿真App"。不用真实App,而是自己写一个功能相似的山寨版,这样可以随意重置,随意并行跑成百上千个实例。

但问题又来了。此前最好的仿真环境MobileGym,只做了12款商业应用的仿真,而且这些仿真App普遍比较"浅",功能单薄,交互层级也不深。你可以理解成,这些App的仿真版本只做了个"壳子",里面的功能没几个能真正点通。

这就导致AI在这种简化环境里练出来的本事,一放到真实的、功能丰富的App里就不够用了。就像一个只在空教室里练过挥拍动作的网球选手,突然被扔到真正的比赛场上,面对对手的各种战术变化,立刻就懵了。

研究团队给出了一组数据来说明这个差距有多大:在他们新造的35款商业App里,中位数应用拥有37个页面路由、166个可交互动作、86次页面转换,从首页进入到任意功能的平均深度是3层。相比之下,此前MobileGym里留存的12款应用,新造的这批App在交互动作数量上多了1.48倍,页面跳转数量多了1.91倍。

这不是简单的"做得更精细"而已,这是把仿真App的复杂度,真正拉到了接近商业App的水准。

MobileGym++:把35款"真App"的皮囊搭了起来

研究团队做的第一件大事,是构建了MobileGym++,一个浏览器托管的手机仿真环境。

这35款新建的App横跨旅游、购物、金融、内容、社交、办公、本地生活七大领域,加上原有的28款,总共凑成了63款可安装的仿真客户端。再加上他们在安卓模拟器里新配置的App,整个训练场覆盖了超过110款应用。

> 仿真客户端*:指不依赖真实服务器、完全在本地或自建后端运行的App复刻版本,具备和真实App相似的界面和交互逻辑,但状态可以被完全控制和重置。

这些App不是随便画几个界面糊弄事的。研究团队的做法很严谨:先从真实App的数据结构和交互图谱出发,在动手画界面之前,就把整个App的"业务骨架"定下来,包括有哪些页面、哪些动作会触发什么样的状态变化。然后再由人工标注员反复比对仿真版和真实App,直到界面细节和状态跳转都高度吻合。

每一款交付的App还要经过两道检查:一是覆盖率检查,确认每个声明的交互点位都真的实现了;二是核心流程回放检查,确认每次状态跳转真的产生了预期的变化。

这个过程让我想起小时候玩的那种"过家家"游戏道具,比如仿真收银机。便宜的玩具收银机按几个键就是叮一声响,没有真实逻辑。但高仿真的那种,你按下"找零"按钮,它真的会计算差额弹出对应金额的抽屉格。MobileGym++做的事情,就是把App仿真从"叮一声响"的玩具级别,拉到了"真能算账"的高仿真级别。

**这些仿真App最关键的特性是:每个App都维护着自己的持久化业务状态**

订单、预算、行程,这些状态会随着交互不断演化,并且支持程序化的任务验证。这意味着,你让AI完成"在携程订一张明天去上海的机票"这样的任务,系统能自动判断它到底有没有真的下单成功,而不需要人工去肉眼检查。

跨应用协作:真实世界的任务从来不是只在一个App里完成的

你平时用手机做事,很少是只打开一个App就能搞定的。

比如你想订一张酒店,可能先在小红书上搜了别人的推荐,然后打开携程下单,付款时又跳到了支付宝。这种"跨App协作"才是真实用户行为的常态,但过去的单应用基准测试完全捕捉不到这种复杂度。

MobileGym++专门为这个场景设计了机制,包括剪贴板传递、App间分享、支付跳转、媒体选择等。所有App跑在同一台可重置的虚拟设备上,整机状态可以被完整序列化和还原。

这就像你家里如果有一套智能家居系统,灯光、空调、门锁各自独立运行,但它们共享同一个"家庭状态"数据库。你设置了离家模式,所有设备都要同步响应,而不是各管各的。如果没有这个共享状态机制,AI在A应用里复制的信息,到了B应用根本粘贴不进去,跨App任务就彻底玩不转。

基于这套机制,研究团队设计了MobileGym++ Bench这个评测基准,一共215个任务,横跨七大商业领域。其中109个任务只需要单个App,74个任务需要两个App配合,27个需要三个App,还有5个需要四个App联动。换句话说,超过三分之一的任务(106个)都要求AI学会"串门"。

混合界面:当App开始主动给AI递"说明书"

这是整篇论文里我觉得最有意思的一个设计。

过去手机智能体的操作方式,基本只有一种:看屏幕截图,然后模拟点击、滑动、打字,跟人类用手指戳屏幕没什么两样。这种方式叫GUI操作。

> GUI*:图形用户界面,指通过图标、按钮等可视化元素供用户操作的界面形式,与之相对的是命令行或API这类结构化接口。

GUI操作的好处是万能,任何可见的控件理论上都能点到。但缺点也很明显:慢,而且容易出错。你让AI在淘宝里搜索一件商品,它得先点搜索框,再输入文字,再点搜索按钮,再在一堆结果里找到对的那个,再点进详情页。每一步都可能点歪。

于是研究团队想到了一个办法:让App主动暴露一些"结构化接口",跟GUI操作并存。

> 应用原生工具*:指App本身提供的、功能受限但调用高效的结构化函数接口,比如直接调用"搜索商品"这个函数,而不需要点击搜索框再打字。

具体怎么做的?他们在MobileGym++里给50多款App配备了超过300个这样的工具。比如健身类App里会有一个叫search_course的工具,淘宝里有taobao__search_items、taobao__add_to_cart这样的工具函数。

这件事让我想到了去餐厅点餐这件事。如果你去一家从没去过的餐厅,菜单是纯文字的,你得一页一页翻,研究每道菜的配料,这就像纯GUI操作,通用但慢。但如果餐厅给你一个结构化的点餐系统,输入"辣度""忌口""预算"几个参数,系统直接推荐,这就快多了。但代价是,这套系统只能点它预设好的那几类菜,你想点一个菜单上没有的隐藏菜品,它办不到。

**所以真正聪明的做法不是二选一,而是把两种方式结合起来用**

能用工具快速解决的部分用工具,工具覆盖不到的地方退回GUI操作,这就是MobileGym++想验证的"混合GUI与应用原生工具"使用模式。

研究团队设计工具时坚持了一个原则:每个工具暴露的,是对应用自身业务对象的结构化查询或写入操作,并且和对应的GUI操作在语义上完全等价。工具调用和GUI操作修改的是同一份持久化状态,用同一个终止条件来判断成败。这样设计的好处是,你可以在完全相同的任务上,公平比较"纯GUI操作"和"GUI加工具混合操作"这两种方式到底谁更强。

训练数据:近1.2万条轨迹,2000多个可执行任务

光有环境还不够,得有数据喂给模型。

研究团队发布了OpenMobile-Data-v2,包含11.6K条演示轨迹(用于监督微调)和超过2000个可执行的强化学习任务(自带程序化奖励)。

> 监督微调*:简称SFT,指用人类或教师模型生成的高质量示范数据,直接让模型模仿学习的训练方式。

> 强化学习*:简称RL,指不直接给模型"标准答案",而是让它自己尝试,根据任务完成与否给予奖励信号,模型通过试错逐步改进策略的训练方式。

这些数据是怎么来的?研究团队先给每款App构建一张"状态-动作转移图",把App里所有可能的页面状态和导致状态转换的动作都梳理清楚。然后用Gemini-3.1-Pro-Preview这个大模型,根据这张图生成真实可执行的用户指令,比如"帮我在携程上订一张明天去北京的高铁票"。

接着,同样用这个大模型作为"教师智能体",真的去执行这些指令,把每一步的操作过程记录下来。只有真正完成任务、通过验证的轨迹才会被保留,中间那些瞎点乱滑、把App状态搞得乱七八糟却没完成任务的失败记录,全部被过滤掉。

这个数据集最值得说道的,是它的多样性控制。研究团队用基尼系数来衡量数据在七大领域的分布是否均衡,全量数据的基尼系数是0.43,数值越低说明分布越均匀。模拟器数据的基尼系数只有0.25,比安卓模拟器数据的0.52均匀得多。

任务指令的多样性也经过了检验,平均两两余弦相似度只有0.43,说明生成的任务指令确实五花八门,不是在反复生成相似的套路化指令。

此外,30%的轨迹涉及跨App操作(安卓模拟器上是40%,仿真客户端上是11%),进一步证明这批数据不是单App孤岛式的训练素材。

训练出来的模型,到底强在哪

把环境和数据都准备好了,接下来就是看训练效果。

研究团队用这套数据,分别对90亿参数(9B)和270亿参数(27B)规模的Qwen基座模型做了训练,得到OpenMobile-2-9B和OpenMobile-2-27B两个版本。训练分成两条路线:一条只用GUI轨迹(GUI-only SFT),另一条把GUI轨迹和混合工具调用轨迹混在一起训练(Hybrid SFT)。之后再从混合训练的检查点出发,做进一步的强化学习。

先看最基础的AndroidWorld基准测试,这是一个在安卓模拟器上运行、覆盖20款真实App的116项任务集合。

| 模型 | AndroidWorld成功率 |

|------|------|

| 9B基座模型(未训练) | 54.3% |

| 9B + GUI-only SFT | 72.8% |

| 9B + Hybrid SFT + RL | **74.0%** |

| 27B基座模型(未训练) | 67.1% |

| 27B + GUI-only SFT | 80.8% |

| 27B + Hybrid SFT + RL | 79.9%(但Pass@3达到**90.5%**) |

9B模型提升了19.7个百分点,27B模型提升了12.8个百分点。这个提升幅度意味着什么?意味着原来每4次任务就有接近2次会失败,训练之后失败率大幅下降到约四分之一。

更关键的测试在真机上。SPA-Bench是在真实安卓物理设备上跑的评测,而不是模拟器。这才是真正检验AI能不能"出门打仗"的试金石。

**27B模型在真机测试上的表现,从训练前的31.9分直接跳到了59.6分,几乎翻倍**

这个数据让我有点意外。按理说,在仿真环境里练出来的本事,迁移到完全不同的真机环境,效果应该打折扣才对。但实际结果是,这套训练方法确实穿透了仿真和真机之间的那层壁障。这说明研究团队设计的仿真环境,确实抓住了真实App交互的某种"共性骨架",而不只是表面相似。

再看混合工具使用的效果。在MobileGym++ Bench的混合评测设置下,9B模型从41.9%提升到44.7%,27B模型从57.7%大幅跃升到65.6%。

有个细节特别值得注意:在MobileWorld的MCP测试里(这些工具是训练时完全没见过的),经过混合训练的模型表现是27.5%和45.0%,而只用GUI训练的模型只有12.5%和35.0%。

> MCP*:Model Context Protocol的缩写,一种让AI模型能够调用外部工具和服务的标准化协议。

这个结果说明一件重要的事:混合训练教会模型的不是"记住这300个具体工具怎么调",而是一种更抽象的能力,"什么时候该用工具,什么时候该用手指戳屏幕"这种判断力本身被学会了。这就像教一个新员工用公司系统,如果你只是让他死记硬背每个按钮的位置,换一套系统他就抓瞎;但如果你教会他"遇到批量查询用筛选器,遇到单条修改用详情页"这种判断逻辑,换个系统他照样能很快上手。

更深一层:环境覆盖面的广度,比数据总量更重要

论文里还做了一个很有意思的控制实验。

固定训练数据总量为2000条轨迹不变,只改变这些轨迹覆盖的App种类数量,从15款逐步增加到53款。结果显示,覆盖面越广,模型在"没见过的App"上的表现越好,Pass@1从60.7%提升到67.5%。

**更让人意外的是,即便"熟悉App"的数据占比从100%一路降到39.1%,模型在这些熟悉App上的表现几乎没有下降,只从73.7%微降到71.4%**

这告诉我们一件很反常识的事:在训练数据总量固定的情况下,与其把2000条轨迹都堆在15个App上反复练,不如把它们摊开覆盖更多App种类。

这就跟学外语有点像。如果你想学好英语,把2000个小时全部用来精读莎士比亚,你确实会对莎士比亚的句式特别熟,但一换到日常对话或者商务邮件场景就抓瞎。但如果同样2000小时,你分出一部分去读新闻、看剧、读说明书,虽然每种材料接触的时间少了,但你的语言迁移能力反而更强,面对没见过的新场景也能应付。如果不做这种广度投入,模型的能力边界会被死死限制在训练时见过的那几个App上,一旦碰到新App立刻露怯。

还有一个发现是关于工具使用的"激活条件"。研究团队发现,光是把工具摆在那里给模型用,模型并不会自动学会怎么用好。在没有专门做混合训练之前,模型调用工具的任务只有215个任务里的20到102个,带来的提升也很有限,只有2.8到4.2个百分点,某些模型甚至会因为乱用工具而表现下降。

但经过混合训练之后,工具调用覆盖的任务数跃升到113和128个,覆盖的不同工具种类达到110和115个。更关键的是,工具带来的性能增益跳升到5.6和10.3个百分点,同时完成任务所需的步数平均减少了4.8到5.8步。

这说明单纯"给能力"和"教会怎么用能力"完全是两码事。就像你给一个刚拿到驾照的新手一辆手动挡赛车,光是车好不等于他能开快,真正让他变强的是专门针对这辆车的驾驶训练。

写在后面

读完这篇论文,最让我意外的不是模型跑分涨了多少,而是那个"环境覆盖面比数据总量更重要"的发现。

这其实在提醒我们一件更普遍的事:很多时候我们以为"数据越多越好",但真正起作用的往往是数据的多样性分布,而不是绝对数量。这个洞察其实可以推广到很多场景,不只是手机智能体训练。

另一个让我反复琢磨的细节是,混合GUI和工具调用这件事,表面看是个工程选择,但它其实暗含了一个更深的判断:**纯粹追求"通用性"的接口(GUI)和追求"效率"的接口(API/工具)之间,长期来看不是替代关系,而是会持续共存的互补关系**。

这篇论文没有解决的问题也很明显。论文里提到,强化学习带来的提升主要集中在"训练环境高度对齐的评测"上,比如MobileGym自己的测试集涨了不少,但在其他基准上提升有限。这说明目前的强化学习信号,距离真正泛化到任意场景,还有相当长的路要走。

手机屏幕就那么大,但手机里装的世界,远比我们以为的要复杂得多。AI要真正学会在这个世界里自如穿梭,或许需要的不是更聪明的算法,而是一个足够真实、足够丰富的练习场。

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。