2026年9月的某一天,研究团队让Qwen3.8-Max去完成一个真实的macOS任务:在一张工作表里解答125道题目。模型写出了一段看起来有模有样的代码,用了循环、用了函数,处理完后自信地打印出"computed answers: 85"。
问题是,这份工作表一共有125道题要答,它只答了85道,剩下40道题目所在的行区间,压根没被代码扫到。更微妙的是,模型自己都没意识到少答了40道。同一个任务交给GPT-6 Astra,它先写了个通用的解题函数,拿七个官方给的样例验证了一遍确认没问题,再去动态识别工作表里所有符合条件的题目行,最后125道全部做完。
这不是哪个模型"更聪明"的问题,这是一整套关于AI怎么操作电脑的方法论差异。这篇来自阿里巴巴Token Hub团队的报告,就是在拆解这套方法论。
AI操作电脑这件事,正在经历一次路线转折
先说清楚背景。过去几年,大家研究"计算机使用智能体"(CUA),基本默认的玩法是:截一张屏幕截图,让AI看图,然后告诉AI该点哪里、该打哪些字。这套玩法有个学名,叫GUI-only(纯图形界面)交互。
**但2026年的GPT-6 Astra发布后,这个默认玩法被悄悄改写了。**
OpenAI在官方文档里开始推荐一种新做法:让模型直接写一小段程序,比如用PyAutoGUI或Playwright这类工具库,把图形界面操作和程序化操作混在一起写成代码执行,而不是单纯依赖点击和打字这种"结构化指令"。这个变化看起来只是技术细节,实际上是整个交互逻辑的转折点。
批量动作(batched actions):模型一次性生成一串固定的操作指令,比如"点击A,输入文字B,点击C",这些指令在生成的那一刻就已经全部确定了,执行过程中不能根据中间结果调整。
代码执行(code execution):模型写一段真正的程序,程序里可以有判断(如果这个弹窗出现就关掉它)、有循环(对表格里每一行都填三个字段)、有验证(检查状态是否真的变成了"已保存")。程序运行到哪一步,才决定下一步做什么。
这个区别听起来技术,但换个场景你立刻能体会到分量。假设你要给助理交代一件事:把这份文件里所有符合条件的客户信息,挨个更新到系统里。
如果你是"批量指令"模式,你得提前把每一步要点哪里、输入什么,全部写成一张详细清单交给助理,助理照着清单机械执行,哪怕清单第三步的前提条件根本不成立,助理也会继续往下走,因为清单已经定死了。
如果是"代码执行"模式,你只需要告诉助理一个规则:打开每一条客户记录,检查状态字段,如果是"待处理"就更新,如果已经处理过就跳过,全部弄完后汇总报告处理了多少条。助理自己判断、自己循环、自己收尾,不需要你提前预判每一种可能的情况。
那个在workbook任务里漏答40道题的Qwen3.8-Max,用的恰恰是前一种思路,它把行区间写死了,而不是让程序去动态识别所有符合条件的题目行。这不是算力不够,是写代码的思路还停留在"预先列清单"阶段,没有真正用上代码执行该有的灵活性。
什么是"通才型"计算机使用智能体
报告提出了一个核心概念,叫做生成式计算机使用智能体(GCUA, Generalist Computer-Use Agent)。
GCUA:一种智能体系统,能通过视觉交互(看屏幕、点鼠标)和程序化访问(跑命令、调API)两种方式完成电脑任务,并且由模型自己决定在每一步该怎么观察、怎么行动、怎么组织工作,而不是被写死只能用某一种方式。
这个定义的关键不在于"它能用多少种工具",而在于"谁来决定用哪种工具"。报告里打了个很精确的比方:有的智能体五脏俱全,GUI能点、CLI命令行也能跑、API也能调,但它在某一步可能会点击十几屏菜单去完成一个命令行一行就能搞定的事情,也可能需要先看一眼屏幕时却直接跑了脚本。工具齐全不代表用得对。
报告把这套判断标准拆成三个决策维度:观察什么、怎么行动、怎么组织工作。
观察什么,指的是模型要不要截图、要不要读取无障碍树(accessibility tree,操作系统提供的一种结构化的界面信息,不需要截图就能知道按钮在哪、文本框里写了什么)、要不要看命令输出,这些都可以按需选择,而不是每一步都强制截图。
怎么行动,指的是具体用GUI点击、用无障碍接口直接操作、用命令行、还是用API调用,甚至把这几种写进同一段程序里混着用。
怎么组织工作,指的是模型要不要维护一个任务进度表、要不要保留之前的截图在上下文里,这些原本都是开发者写死的规则,现在逐步交还给模型自己决定。
按照这套标准,报告把现有的智能体类型都归了类。纯GUI智能体,三个决策全部写死:永远截图、永远只能点一个操作、上下文管理交给固定规则。命令行智能体,观察被限制为只看命令输出,看不到屏幕,动作局限在shell命令里。多智能体混合系统,比如一个总指挥把任务拆给专门点鼠标的子智能体和专门写代码的子智能体,看起来功能齐全,但选择权在总指挥那里,是按子任务一次性分配,不是每一步都动态判断。
而团队去年发布的Qwen-UI-Agent,把GUI和CLI动作放进同一个动作空间,支持模型一次性打包输出好几个动作,这已经是向GCUA迈进的重要一步,但它依然是每步固定截图、按既定规则管理上下文,所以报告把它定义为GCUA的一个特例,一种"批量化的GUI+CLI混合智能体"。
这套理论听起来有点绕,但它解决了一个真实的测量难题:以前判断一个智能体"够不够通用",看的是它身上挂了几个工具接口;现在判断的标准变成了,它在每一步,是不是真的能自己判断该用哪个工具、该不该看屏幕、该记住什么忘掉什么。
代码执行到底比批量指令强在哪
光说理论没意思,报告拿了八个顶尖模型(包括GPT-6 Astra、Claude Opus 5、Gemini 3.8 Flash等)在OSWorld-v2基准上跑了实测,这是目前业界评估计算机使用智能体能力的权威测试集,覆盖82个不需要联网的真实桌面任务。
结果相当惊人:**在全套GCUA配置下,八个模型的任务完成得分平均提升了19.6分,执行步骤数平均减少了53.0%。**
这里要停一下,解释一下这两个指标。任务得分是基于部分完成度打分(比如完成了80%的要求就给80分),而不是非黑即白的成功失败。步骤数则是模型调用的次数,每次调用可能包含一整段代码。
更有意思的是,这个提升不是靠"拉低起点高的模型,拉高起点低的模型"实现的平均数游戏。GPT-6 Astra本来就是基线最高的模型(67.1分),升级后还能继续涨到75.7分,步骤数从102降到33.5,降了67.2%。Qwen3.8-Flash原本效率最低(232步/任务),升级后也涨了21.6分,步骤数砍掉62.8%。换句话说,不管模型原本强不强,这套设计思路都管用。
但这里有个陷阱,研究团队专门做了个对照实验来拆解,到底是"接口变多了"起作用,还是"代码执行本身"起作用。
他们设计了四档对照:单动作GUI(最原始,每次只能点一下)、批量GUI动作、批量GUI+CLI混合动作、以及代码执行(GUI+CLI都能用,但以写程序的方式组合)。接口范围在批量GUI+CLI和代码执行这两档是完全一样的,区别只在于"是提前列好清单"还是"写成能动态决策的程序"。
结果显示,仅仅是从批量指令换成代码执行,三个测试模型(Qwen3.8-Max、DeepSeek-V4.1-Flash、GLM-5.3-Flash)的任务得分就又涨了7.4到8.0分,步骤数还能再降17%到18.7%。
这说明接口范围扩大只是前菜,真正的大头来自于"程序能不能根据中间结果决定下一步"。这呼应了前面workbook任务的例子,拥有写循环的能力和真正会用循环去覆盖全部数据,是两件事。
代码执行具体在实战中长什么样
报告从GPT-6 Astra的真实作答轨迹里,总结出五种反复出现的代码执行模式,这部分读起来特别有意思,因为能直接看到AI是怎么"思考"的。
第一种叫跨接口组合。一个生成合同的任务里,模型先点击界面上的"生成合同"按钮,然后不是傻等,而是立刻写代码去检查生成的20个文件是否都存在、电子表格里的状态单元格是否显示"COMPLETE",确认无误后才点击第二个按钮去创建邮件草稿,再用代码核查生成了20份本地草稿。这是GUI操作和程序化检查在同一个步骤里来回切换。
第二种叫基于循环的执行。记录一个网站导览视频时,模型写了一个循环,依次点击七个导航目标,每点一次就读取网页DOM里当前激活的区块信息,用断言检查这个区块是否匹配预期目标。整整七次访问和核对,全在一次程序执行里完成,不需要每点一次就停下来问模型"下一步该干嘛"。
第三种叫结果依赖执行。发送邮件回复前,模型先把草稿内容从界面复制出来,和保存的版本做比对(去除首尾空格后比较),只有内容匹配才点发送按钮,不匹配就打印出不一致的内容并放弃发送。这是用代码里的if判断,替代了原本需要模型自己肉眼判断的工作。
第四种叫观察准备。一个三维模型检查任务里,模型写代码连续旋转视角拍了25张图,每张图裁剪出关键区域,拼成一张5乘5的联系表,再打开这张联系表请求一次新的视觉观察。这相当于AI自己给自己准备了一份"考卷汇总",而不是让模型去看25张散图分别判断。
第五种叫可执行验证。编辑完两页幻灯片的背景图后,模型写代码对比原始文件和保存后的文件包,检查预期的改动确实发生了,同时验证另外64个未涉及的文件条目一个字节都没变。这种验证方式比"我觉得应该改对了"要可靠得多,它是程序跑出来的证据,不是模型的自我感觉。
这五种模式背后有个共同点:模型在用代码做它原本做不到的事,检查、循环、条件判断,而不只是把点击动作打包发出去。报告的结论很克制,说这些例子展示的是代码执行的互补用法,而不是互相排斥的分类,更不是说某种模式本身就能带来性能提升,真正起作用的是这些能力组合在一起之后,任务完成得更彻底、更可验证。
哈内斯到模型的决策转移:把控制权还给模型
除了代码执行,报告提出的第二个核心设计叫**哈内斯到模型决策转移**(harness-to-model decision transfer)。
哈内斯(harness):围绕AI模型搭建的执行框架和运行环境,负责截图、管理上下文、调用工具等基础设施工作,可以理解为AI模型运行所依赖的"操作系统"层。
传统做法是,哈内斯用固定规则决定一切:每走一步必须截一次图,上下文满了就按固定策略丢弃旧的截图。这套固定规则图省事,但带来一个问题,很多时候模型根本不需要看新的截图,比如刚刚跑完一段命令行脚本,文字输出已经把结果说清楚了,这时候硬塞一张截图进去纯粹是浪费上下文空间。
报告的做法是,把这类判断权交还给模型。具体落地成三个机制。
第一个是按需观察,模型可以主动调用一个screenshot()函数,决定这一步要不要截图。环境依然会在每一步都拍一张图存档,但只有模型主动请求,这张图才会被送进它看到的下一轻输入里。实测下来,这个小改动让两个模型的缓存命中率分别提升了10.5和14.4个百分点,而且任务得分没有降低。
缓存命中率(cache hit rate):指模型输入里有多大比例是之前已经处理过、可以直接复用的内容,命中率越高意味着处理速度越快、成本越低,因为不需要重新计算这部分输入。
第二个是任务状态追踪,模型维护一个todo清单,记录每个子任务是"待处理"、"已尝试但未验证"、还是"已验证"。这不是花架子,在一个表单填写任务里,模型先把所有字段填完,把状态标记为"已修改未验证",等后来点了提交按钮并读取页面确认信息后,才把状态改成"已验证"。这种显式记录能防止模型中途忘了哪些事情做了、哪些还悬着。
第三个是意图声明,模型在每段代码执行前,先写一句话说明这段代码打算干什么。一个CRM任务里,一段64行的程序被简化成一句话:更新29个客户的状态同时保留原始客户信息。这个设计的目标不是提升跑分,而是让真实用户能看懂AI在干什么,不用去读那64行代码。
这三个机制里,前两个(按需观察和任务状态追踪)确实对任务表现有正面帮助,第三个(意图声明)主要服务于用户理解,实测中反而让得分略微下降了一点,这也侧面说明,不是所有"让模型多做决策"的设计都天然带来性能提升,有的设计是为了别的目标在做取舍。
真实电脑和测试环境完全是两回事
前面讲的这些实验都在OSWorld-v2这个标准化测试环境里跑的,但报告很诚实地指出,这个环境和用户真实的电脑完全是两个世界。
设想一下,你让一个新来的助理帮你处理电脑上的工作,测试环境相当于你提前把桌面收拾得干干净净,所有需要的文件都摆在显眼位置,助理可以从零开始专心做一件事,没人打扰。但真实场景是,你的电脑桌面乱糟糟的,还开着十几个窗口,你自己也在同时用这台电脑,可能过程中还会插一句"等等,我改主意了,顺便把这个也处理一下"。如果助理没有应对这种混乱局面的能力,再厉害的理论知识都用不上。
报告总结出五个真实设备特有的挑战。
用户和智能体共享控制权,智能体不能霸占鼠标键盘,得优先用不打扰用户的方式操作,比如通过无障碍接口直接操作后台窗口,而不是把窗口切到前台抢占用户视线。
屏幕在不停变化,窗口随时开关移动,智能体之前记下的坐标,可能等它真正执行动作时已经失效了。
用户的要求会中途变化,用户可能随时补充或修正指令,智能体得一直记住任务的整体目标,还要能灵活应对打断。
观察和控制都需要明确指向具体目标,真实电脑上,要处理的应用、窗口、浏览器标签可能根本不在最前面,截一张全屏图只能看到当前可见的窗口组合,看不到被遮挡的内容。报告里举了个很形象的例子:一个智能体本来在处理Amazon的购物页面,但截屏时抓到的却是另一个后台窗口弹出的淘宝登录页面,这种误判在测试环境里几乎不会发生,但在真实电脑上随时可能出现。
任务从一个已经存在、带着历史痕迹的环境开始,不像测试环境是提前准备好的干净状态,真实电脑上堆着各种旧文件、过期的登录状态、同名但内容不同的文件,智能体得自己辨别哪些才是真正需要的东西。
这五条挑战直接催生了报告里的另外两个产出:跨设备SDK和真实设备哈内斯。
跨设备SDK,一套接口统一电脑、浏览器和手机
跨设备SDK(Cross-Device SDK):一套编程接口,让一段程序能够同时操作电脑、浏览器标签、手机应用等不同设备,不需要为每种设备单独写一套逻辑。
这套SDK的设计思路是,每个操作都明确绑定到一个具体的资源(设备、应用、窗口或标签),而且绑定关系是持久的,选中了一个新目标,不会自动覆盖之前绑定的旧目标。报告里给了个很具体的使用场景:一个智能体可以通过手机应用取回一份报告,把它传输到电脑上做分析,再把分析结果输入到一个基于浏览器的服务里,三个阶段在同一个任务里顺畅衔接。
这背后分成了三层设计。最上层是统一接口,模型写的程序里,变量和绑定关系能跨多轮对话保持不变。中间层是观察和动作的分离,SDK同时提供结构化的无障碍树观察(ui.ax)和图像观察(ui.vision),结构化观察适合用来写判断条件,图像观察负责补充语义信息不够用的情况。底层是平台命名空间,Android、macOS、浏览器各自的特有操作,通过.android、.macos、.browser这样的命名空间保留自己的独特语义,不强行抹平差异,同时常见操作(比如点击、截图)共享统一接口。
这个设计有点像给不同国家的插座配一个万能转换器,转换器本身统一,但每个国家插座背后的电压标准、安全规范还是各自保留,不会因为用了同一个转换器外壳就强行变成一个标准。
真实设备哈内斯,五层架构应对复杂现实
针对真实设备场景,团队搭建了一套五层架构的哈内斯:模型层负责生成程序,运行时层负责执行程序并维护跨轮次的状态(变量、导入的模块、工作目录都能保持),设备SDK层负责把观察和动作绑定到明确的资源上,驱动层把SDK请求翻译成具体平台支持的原生操作(比如无障碍动作或者坐标点击),最底层是真实的应用和操作系统,决定了到底有哪些操作是真正可行的。
这套架构里有个细节特别值得说一下,关于操作的"侵入性分级"。系统会优先选择元素级的无障碍操作(不会把窗口切到前台、不会抢占用户鼠标),其次是窗口范围内的坐标点击,实在不行才会用前台输入,而且前台输入之前要和用户协调。
这个优先级顺序,很像你去图书馆借书,如果你能通过自助借书机完成,就不用去柜台麻烦工作人员;如果自助机坏了,才去找柜台;真的没办法的时候,才需要打断正在忙的管理员帮你特殊处理。每一级都代表着对别人(这里是用户)工作的打扰程度不断加深,系统会尽量停留在打扰最小的那一级。
实测结果:同样的真实任务,模型之间的差距有多大
报告挑了四个真实macOS任务(工作表推理、PDF表单填写、带饮食限制的购物调研、酒店价格对比)来测试不同模型在同一套真实设备哈内斯下的表现。
数据显示了一个相当扎眼的差距:**Qwen3.8-Max在这四个任务上用的推理token数量,是GPT-6 Astra的19.4倍,输出token总量是5.7倍。**
具体数字是,GPT-6 Astra平均每个任务只用2.6K推理token,Qwen3.8-Max用了50.2K。这不是任务更难导致的,因为两个模型面对的是完全相同的任务。
报告里有个特别直观的案例对比。一个购物任务中,需要截一张屏幕截图,Qwen3.8-Max写了四行简单的程序完成这个操作,但光是这一步的模型响应就用掉2105个输出token,其中2030个是推理token。GPT-6 Astra在同一个任务里也做了类似的截图操作,整段响应只用了124个输出token,推理token仅11个。同样一件简单的事,两个模型的"思考成本"差了近200倍。
这个差距不止体现在计算开销上,还体现在模型是否能适应真实设备的特殊性上。前面提到的Amazon截图误抓成淘宝登录页面的例子,正是Qwen3.8-Max犯的错,它面对一个已经绑定好的Amazon浏览器对象,却请求了一张桌面截图,结果拿到的是前台的淘宝登录窗口,后来才意识到需要把Amazon窗口切到前台重新截图。GPT-6 Astra则是直接对准已经选定的浏览器页面请求截图,不存在抓错目标的问题。
但有意思的是,token消耗大并不意味着花钱多。按照当时的API定价,Qwen3.8-Max每个任务大约花费1.49美元,而GPT-6 Astra要花18.29美元,token用量和实际成本并不总是正相关,这取决于各家模型的定价策略。
钱和时间,各自买到的是不同的最优选择
报告还做了一个挺有现实意义的分析:如果给每个任务设一个花费上限或时间上限,哪个模型能拿到最高分?
答案是:这个排名会随着预算的变化而变化。按金钱预算衡量,预算很低的时候(大约0.38美元每任务),Qwen3.8-Flash拿分最高(60.5分);预算逐渐放宽后,GLM-5.3-Flash、Gemini 3.8 Flash相继领先;预算宽裕到每任务15.26美元时,GPT-6 Astra才反超,拿到75.7分的最高分。
但如果按时间预算衡量,GPT-6 Astra在几乎所有时间档位上都领先。
这意味着什么,意味着"哪个模型最好"这个问题,答案取决于你在乎的是省钱还是省时间。如果你是个预算紧张的创业团队,Qwen3.8-Flash可能是更划算的选择;如果你在乎的是任务多快能办完,GPT-6 Astra可能更合适。排行榜第一名从来不是唯一答案,取决于你愿意用什么去换。
这篇报告的意义,不只在于它测出了哪个模型更强,更在于它提出的那套"三个决策"的分析框架,给整个行业提供了一把可以复用的尺子。以前评价一个智能体系统,大家习惯看它接了多少工具、支持多少种操作;现在这篇报告提醒我们,真正该问的问题是:它在每一步,有没有真正自主地决定该看什么、该怎么做、该怎么记。
这篇报告还有一个特点,它本身就是开放的。团队把实现代码、提示词、八个模型的完整执行轨迹、以及这套真实设备哈内斯和跨设备SDK的预览版都公开了出来。对比起GPT-6 Astra这种模型权重、完整提示词设置、真实设备哈内斯都不公开的闭源系统,这份报告选择把设计过程摊开给整个社区看,这种姿态本身也是一种态度。
Q&A
Q1:OpenGCUA是什么?
A:OpenGCUA是阿里巴巴团队推出的开源项目,旨在打造完整的通才型计算机使用智能体(GCUA)技术栈,核心特点是让AI模型自己决定如何观察、行动和组织任务,而不是被固定规则限制。
Q2:代码执行和批量动作有什么区别?
A:批量动作是模型一次性生成固定的操作清单,执行中不能调整;代码执行是模型写一段真正的程序,可以根据中间结果判断下一步,支持循环、条件判断和验证,效率和准确率都明显更高。
Q3:为什么同一个任务,不同AI模型消耗的token差距这么大?
A:报告测试发现,在真实macOS任务中Qwen3.8-Max用的推理token是GPT-6 Astra的19.4倍,这主要源于模型在简单操作上的思考成本差异,以及对真实设备复杂环境(如后台窗口、焦点切换)的适应能力不同。







