Token导航 LogoToken导航

AI 资讯 · 科技行者

Qwen-Planner-Agent让AI参与训练AI,手机助手将如何变化

更新 2026-10-20科技行者正文 6565字阅读约 21分钟

2026年的这份技术报告里,藏着一个挺有意思的悖论。

我们一直习惯把AI当成被训练的对象,工程师喂数据、调参数、跑实验,AI是那个被动接受调教的角色。但阿里巴巴的这个团队问了一个更进一步的问题:如果让AI自己参与训练AI的过程呢?不是简单地用AI生成一些数据凑数,而是让AI去构建任务、诊断失败、调整奖励机制、甚至修改自己的运行环境。

这不是一个空想。他们真的做出来了一个叫Qwen-Planner-Agent的手机智能体,在权威测试集MobilePA-Bench上拿到了所有参评模型里的最高分,包括GPT-6 Astra、Claude Opus 5这些商业闭源大模型,而且运行成本反而是最低的。

这件事值得琢磨的地方在于,它不只是又一个刷榜的模型,而是提供了一整套方法论:如何让AI系统自己参与到自己的进化过程中,同时又不失控。

手机智能体到底难在哪

先说清楚这个任务有多难。

你让一个AI帮你订机票、发消息、调整手机设置,听起来简单,但真实场景里全是坑。比如你说"把之前那个直播投屏切换到卧室",AI得先想起来之前投的是哪个设备、现在是什么状态、要不要先停止当前投屏再开始新的,这中间任何一步搞错,整个任务就废了。

更麻烦的是训练这样的AI代价极高。要让AI在真实手机上反复试错学习,每一次操作都要等真实设备响应,没法像训练语言模型那样一次性喂进去几百万条文本。研究团队算过一笔账,真机交互成本高、并行度低,这直接卡死了传统训练方式的天花板。

如果只靠真机训练,会发生什么?

想象你要教一个新员工用ERP系统,但每次操作都要等系统真实处理五分钟才能看到结果,而且系统只有一台。你根本没法让这个新员工在一天之内练习几千次操作,学习效率会低到令人绝望。手机智能体面临的就是这个问题,真机资源稀缺,导致传统强化学习的规模化根本无从谈起。

这就是为什么团队要设计一套三环境混合的训练基础设施。他们用程序化沙盒环境处理那些状态明确、可以重复执行的任务,用大语言模型模拟环境覆盖那些难以用固定代码实现的长尾场景,只在真正依赖设备底层行为(比如系统权限、跨应用调用)时才动用真机。这种搭配相当于给不同难度的练习题配了不同的老师,简单重复的题交给自动批改系统,疑难杂症才请真人老师出马,省下的时间用来练更多题。

AI怎么给自己造数据

团队构建了一套叫"数据飞轮"的机制,简单说就是让AI自己生产训练自己所需的数据,而不是完全依赖人工标注。

任务构建智能体负责把产品需求、工具清单转化成可执行的任务描述。这些任务不规定唯一的标准答案路径,只规定要达成的目标和验证标准,这样不同的合理解法都能算通过。这套流程会同时考虑场景覆盖和能力覆盖两个维度,场景覆盖是指有没有把各种App、各种用户意图都试过一遍,能力覆盖则是指有没有练到信息检索、工具路由、参数填写、多步依赖、状态跟踪、错误恢复这些具体本领,不是简单地堆同类型任务的数量。

任务生成之后是轨迹收集,让AI在混合环境里真实跑一遍这些任务,记录下每一步选择的动作、环境反馈、中间结果、执行错误、重试和恢复过程。

值得说一下的是,失败的轨迹并没有被扔掉。

任务完不成不代表这条数据没用,失败过程本身就是诊断依据,能看出AI在哪一步偏离了正轨、有没有尝试恢复、为什么最终没完成。

有了原始轨迹之后要做数据构成的筛选。这里有个关键区分:任务是否完成和数据是否适合训练是两个独立的判断。哪怕任务成功了,如果这条轨迹逻辑混乱或者证据不足,也不会被直接拿去训练。反过来失败的轨迹如果能提供清晰的诊断价值,也会被保留下来。这些低置信度、有争议、涉及隐私安全的样本会被路由给人工审核员做最终裁决。

真正让这套系统"活起来"的是反馈驱动的数据精炼环节。随着AI能力提升,某个任务的价值会发生变化:已经稳定掌握的任务变得多余,之前做不好的、表现不稳定的行为需要更多训练。

诊断智能体会分析任务级别的执行结果,识别出三类信号,已经掌握得很好的任务被降低采样权重(同时保留一小部分防止遗忘),完成得时好时坏的任务被提高权重用来稳定化训练,工具路由错误、参数填写错误、状态跟踪失败等模式会被单独归类成靶向修复集。同时能力层面的分析会结合开发集的表现,去识别哪些能力存在系统性短板,如果现有数据池里没有合适的样本,任务构建智能体就会针对性地生成新任务去补这个缺口。

这整个过程最后都要经过人工审核才会正式冻结进入下一轮训练,团队特别强调这一点,AI提出的数据调整方案不是自动生效的,而是作为一个带完整版本记录的提案,人来决定采纳与否。

这个设计逻辑其实很像一个不断升级的健身教练系统。健身房里教练不会让你每天重复做已经练得很标准的动作,而是根据你上次训练的反馈,把时间挪给你做得还不稳的部分,同时针对你身体某个明显偏弱的地方专门加训练计划。如果不这样动态调整,你可能一直在练已经很擅长的卧推,而肩部力量始终没有提升,训练资源就白白浪费了。

CARE:让AI学会在合适的时候偷懒

模型训练阶段最有意思的创新叫CARE,全称是竞争力感知的奖励与优势工程。这个名字听起来有点绕,但它要解决的问题其实很直觉:一个AI在不同的学习阶段,需要的激励方式是不一样的。

想想你自己学一门新技能的过程。刚开始的时候你需要的是"哪怕做对了一小步也给点鼓励",这样你才有动力继续摸索;等你已经能大概率做对了,你需要的激励变成"稳定地把成功率做上去";而当你已经十拿九稳能做对的时候,再一味地鼓励你"做对了"就没意义了,这时候真正该关注的是"能不能做得更快更省力"。

CARE的核心思路就是复刻了这个学习曲线。它把每一批采样轨迹按照当前的成功率分成三个区间:成功率很低的时候,重点是探索,给一些过程性的引导奖励帮AI找到可行路径;成功率处于中间地带时,进入巩固阶段,不额外加奖励,让模型专注把任务做稳;成功率已经很高、接近饱和时,转入效率优化阶段,开始对多余的推理步骤和冗余的工具调用给予惩罚。

这三个区间的切换阈值和权重参数并不是死的,而是由一个受限的大语言模型控制器,每隔一定训练步数根据最近的训练统计和保留的开发集反馈动态调整。这个控制器只能在预先设定好的规则和范围内配置参数,不能天马行空地自由发挥。

但光有这个分阶段激励还不够,团队发现了一个更隐蔽的技术陷阱。标准的组内归一化方法(GRPO用的那种)会把每组奖励的差异都拉伸到大致相同的尺度,这本意是让不同批次的学习信号更稳定,但一旦某组样本的成功率已经饱和,组内唯一剩下的差异就是执行效率的细微差别,这时候归一化反而会把这些原本很小的效率差异放大成和"完成任务与否"同等重要的信号。

后果是什么?

模型可能会为了追求这种被放大的效率信号,牺牲掉本该保留的任务完成质量,甚至学会用过度压缩的方式敷衍了事。团队通过数学推导证明了这一点:当效率权重只有0.1这样的小数值时,饱和组的标准化优势依然会被拉回到接近单位尺度,效果和成功率有明显差异的组几乎一样大。

为了解决这个问题,他们设计了质量保持的优势校准机制,给归一化的分母加了一个"地板",用效率优化阶段的成功率阈值对应的二项分布标准差作为这个地板值。简单说就是不管效率差异本身多小,都不允许优势信号的放大幅度超过这个上限,从而保证任务成功这个核心目标始终占据主导地位。

实验数据能看出这套机制确实起了作用。在相同训练设置下,完整版CARE和普通强化学习相比,训练准确率基本持平,但输出的token数量在训练末期减少了32.5%。如果去掉那个优势校准环节,输出会变得更短,但训练准确率明显掉了一大截,稳定地低于完整版CARE。这个对照实验相当直接地证明了,光靠奖励调度是不够的,校准机制才是防止"抄近道"行为的关键防线。

这个设计其实很像公司里给员工发绩效奖金的逻辑。如果一个团队的核心业务目标还没达成,你却因为某个人这个月加班少了两小时就给他发特别奖金,那大家很快就会明白,与其死磕业务难题,不如想办法少加班更划算。CARE要防的就是这种激励错位,只有在核心目标已经稳定完成之后,才允许效率成为被奖励的对象。

Harness:给AI装一个可以随时更新的"外挂大脑"

前面说的都是模型本身怎么训练,但报告里还有一个同样重要的部分:怎么部署这个模型,让它在真实场景里表现稳定。

团队没有选择把所有信息都塞进模型参数里,而是设计了一个独立于模型的运行时组件,叫做Harness。

Harness*:模型和外部世界之间的一层统一运行框架,负责组装上下文、连接工具、管理记忆,并在每次动作后把执行反馈传回给模型。

为什么要单独搞这么一层,而不是直接把所有规则都训练进模型参数里?

道理其实很朴素。手机上的工具清单、操作规则、用户信息几乎每天都在变,如果每次变化都要重新训练模型,成本高到无法承受;但如果把所有可能用到的规则和历史记录一股脑塞进提示词里,上下文会变得又长又乱,模型反而找不到重点。

这就像你不会把公司所有的规章制度都要求员工死记硬背,而是设立一个随时能查阅的知识库系统,员工需要用的时候去查,规则更新了直接改知识库,不用重新培训所有人。Harness扮演的就是这个知识库加协调员的角色。

Harness里有两个关键子系统。一个叫Scenario Adapter(场景适配器),负责根据当前请求实际暴露给模型的工具,动态组装对应的操作指南,把依赖不可用工具的规则过滤掉,只呈现当下真正用得上的部分。

另一个叫Persistent Memory Manager(持久记忆管理器),负责跨会话保存用户信息。这里的设计挺细腻的,它把记忆按功能拆成了几种不同类型:紧凑的用户画像用来记录稳定的偏好,情景记忆保存详细的对话证据,长期记忆存放经过提炼的事实和决策,前瞻记忆专门用来记未来的待办事项,还带有明确的激活条件、有效期和完成状态。

记忆不是想存就存的。它要经历一个完整的生命周期:捕获、验证、索引、检索、整合、修订。每条记忆单元都关联着来源元数据和原始证据,方便后续追溯核实。当新证据和旧记忆冲突时,新记录会明确标注旧记录已被取代,而不是让两个互相矛盾的版本同时存在。

隐私保护是这套记忆系统绕不开的问题。用户的个人偏好和隐私信息被严格限制在对应的工作空间和用户范围内,只有那些经过脱敏处理、去掉个人身份信息的可复用经验才会进入共享记忆池,供同一工作空间内的其他场景复用。所有敏感处理数据在任务完成后会被及时清理,减少不必要的留存。

让模型和运行框架相互进化

这份报告里最让人觉得有想法的部分,是模型和Harness之间的协同进化机制。

传统的做法是模型训练好了就固定下来,运行环境是运行环境,两者各管一段。但这个团队观察到了一个更深层的关系:Harness的指令配置决定了模型在训练时接触到的经验分布,而模型的行为变化又反过来决定了Harness需要怎么调整。这两者是相互影响、相互塑造的。

具体的做法是交替进行两个更新步骤。先在固定的Harness配置下,用强化学习更新模型参数,产生新一轮的交互轨迹;然后把更新后的模型放到同一个Harness配置下,在保留的开发集上跑一遍评估,得到的反馈交给一个大语言模型编辑器去修订Harness的执行指令;修订后的新版本Harness再应用到下一轮模型训练中,如此循环。

实验结果很能说明问题。在他们内部构建的评测集MobilePA-Internal上,只用模型不加Harness的基线是82.67分,加上Harness之后提升到84.23分,而经过四轮协同进化之后,分数涨到88.50分,比单纯加Harness还要高出4.27分。在通用工具使用基准MCPMark上,从38分的基线经过三轮协同进化提升到46.98分,涨幅接近9个百分点。

这个提升曲线其实揭示了一个更有意思的现象:单纯把模型和Harness拼在一起,效果是有上限的,因为Harness的规则是静态写死的。而真正让性能持续攀升的是那个反复迭代、互相适应的循环过程。

这就像一支球队和教练组的磨合过程。第一天教练制定一套战术,球员按战术打了一场比赛,如果教练从此再也不根据比赛录像调整战术,球队的表现很快会遇到瓶颈。真正强的球队是教练看完录像发现某个战术打法有漏洞,调整战术,球员在新战术下训练出新的配合默契,然后教练再根据新的比赛表现继续微调,这个循环持续得越久,球队整体实力提升得越明显。

值得一提的是,团队对这个机制的定性非常克制,他们在论文里明确说这是一条"治理下的开发路径",而不是宣称已经实现了完全自主的持续进化。所有的模型更新和Harness修订都要经过审核和版本控制,模糊或者影响重大的决策会被路由给人工审核,没有任何候选更新会在没有人类把关的情况下被直接应用到线上服务系统。

长文本记忆:当对话历史长到装不下

有一个特别值得展开说的实验,是关于超长历史记忆的评估。

团队用了三个基准测试:LoCoMo、LongMemEval,还有专门测试超长文本的BEAM,BEAM有从10万token到1000万token不等的多个长度档位。

不带Harness的直接上下文方式,在文本不算特别长的时候表现依然强悍,Claude Opus 5甚至在BEAM-500K和BEAM-1M上拿到了直接上下文方式里最高的分数。但当历史长度暴涨到BEAM-10M这种量级时,情况急转直下,没有一个直接上下文的模型能在这个档位超过25.64分。

而配上Harness的持久记忆机制之后,情况完全不同。四组配对的Qwen模型在BEAM-500K、BEAM-1M、BEAM-10M三个长文本档位上,均分分别从42.18%提升到68.29%,从40.41%提升到70.27%,从23.42%提升到61.66%。

其中Qwen-Planner-Agent 27B在BEAM-10M上拿到67.24分,是所有参评系统在这个档位上的最高分,官方公开的Mem0方法在同一档位只有48.60分作为对照。

这组数据说明了一个很直观的道理:当信息量小的时候,把所有历史全部塞进上下文里,模型确实能处理得很好,就像你今天要回忆昨天说过的话,直接把昨天的聊天记录翻出来看一遍就够了。但当信息积累到几百万甚至上千万token这种量级,相当于要你翻遍十年前所有的聊天记录去找一句话,这时候硬塞进上下文的方式会彻底失效,你需要一个专门的检索系统去精准定位真正相关的那几条信息,而不是把整个仓库都搬到你面前。

训练效果之外,这套方法还能走多远

除了在手机场景里的表现,团队还验证了这套训练方法是不是只在特定任务上管用,还是能泛化到更广的领域。

结果显示,训练出的Planner Model在函数调用、多工具交互、编程任务等七个通用智能体基准里的六到七个上都有提升,同时在通用推理和指令遵循类的测试(MMLU-Redux、C-Eval、IFEval)上只出现了很小幅度的下降,基本维持在原有水平。

这个结果挺重要的,因为很多针对特定场景做强化训练的模型容易出现"用进废退"的问题,为了在目标任务上表现更好,牺牲掉了其他方面的通用能力。这套训练方案至少证明了,针对性强化学习和保留通用能力,两者不是非此即彼的关系。

Q&A

Q1:Qwen-Planner-Agent是什么?

A:它是阿里巴巴团队开发的一个手机智能体系统,由一个训练出来的Planner Model加上一个叫Harness的统一运行框架组成,专门用来处理复杂的真实手机任务,比如跨应用操作、记忆管理、多工具协调等。

Q2:CARE机制解决了什么问题?

A:CARE是竞争力感知的奖励与优势工程机制,解决的是强化学习训练中的一个隐蔽陷阱:当模型任务成功率已经很高时,标准归一化方法会把微小的效率差异错误地放大成和任务成败同等重要的信号,CARE通过分阶段激励和优势校准,让模型在成功率饱和后才开始注重效率,同时不牺牲任务完成质量。

Q3:Harness和模型是什么关系,为什么要分开设计?

A:Harness是独立于模型参数之外的运行框架,负责组装上下文、管理记忆和工具。这样设计是因为手机上的工具清单和使用规则经常变化,如果全部写进模型参数需要频繁重新训练,成本太高;分离设计让规则更新可以脱离模型训练单独进行,同时模型和Harness还能通过反馈循环相互协同进化。

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。