你有没有想过一个问题：当我们让AI操作电脑的时候，为什么非要让它像人类一样，去点屏幕上的按钮、拖拽鼠标、盯着截图找坐标？
这听起来理所当然，毕竟电脑本来就是给人用鼠标键盘操作的。但如果你仔细想想，这其实是个挺奇怪的设定。AI模型本身最擅长的事情是写代码,是处理结构化的文本信息,而我们偏偏逼着它去模仿人类最原始的交互方式。这就像请一位顶级程序员来帮你整理文件,结果你不让他用脚本批量处理,非要他一个一个用鼠标右键点开再手动拖进文件夹。
这篇来自微软研究院、俄亥俄州立大学、卡内基梅隆大学等机构的论文,提出了一个听起来简单到有点"返璞归真"的方案:**CUAWright**
CUAWright*：一个只用终端命令作为唯一操作接口的AI智能体系统,全称可以理解为"计算机使用智能体的终端化方案"
这个方案只用了大约3000行代码,却在多个权威测试基准上碾压了那些复杂的GUI图形界面方案和混合方案。接下来我们就聊聊,这背后到底发生了什么。
当下AI操作电脑的两条路,都走得挺累
先说说现在主流的两条路子。
第一条路是纯GUI方式。AI每走一步,都要先拍一张屏幕截图,看看现在屏幕上是什么情况,然后预测应该点哪个像素坐标,或者该在哪个输入框打字。这就是**Operator**（OpenAI的computer-use智能体）、Claude Computer Use、Gemini Computer Use这些产品的工作方式。
它们的问题在哪?截图只能看到"表面",看不到系统底层到底发生了什么。而且每一步都要截图再分析图像,这个过程又贵又慢,长任务做下来,上下文会越堆越大,模型越到后面越容易"迷路"。
第二条路是混合方案,比如CoAct-1这类工作,会设计一个GUI操作的子智能体和一个写代码的子智能体,两者配合着来干活。听起来挺聪明,但问题是,这些方案往往是针对特定领域设计的,工具是提前定好的,写死在系统里的。
这就好比你给工人配了一整套工具箱,螺丝刀、扳手、锤子都给你准备好了,但工人遇到一个工具箱里没有的活,比如需要一个特殊角度的扭矩扳手,他就没办法,只能干着急。他没法自己打一把新工具出来。
CUAWright的研究者们显然是被这个"工具箱锁死"的问题逼出了灵感。他们的想法很直接:既然AI模型现在的编程能力已经相当强了,为什么不干脆把终端命令行当成唯一的操作方式?终端本身就是极度灵活的,你想干什么都可以写一段代码或者敲一条命令去实现,根本不需要提前把工具都准备好。
核心设计:终端是唯一入口,文件系统是记忆和工具箱
CUAWright的架构说起来其实挺朴素。
在每一步,AI模型接收到的默认信息,就是上一条终端命令执行后输出的文字内容。不是截图,是纯文本的命令行输出。
只有当AI真的需要"看一眼"屏幕的时候,它才会主动调用一个截图工具,把图片存到文件里,再用另一个工具把这张图加载进自己的"视野"里。
这个设计叫做"按需视觉,而非默认视觉"
**按需视觉*：和传统方案每一步都强制塞一张截图进上下文不同,CUAWright默认不看图,只在必要时才主动"睁眼"。
为什么这个设计重要?想象你在打一个长达几小时的游戏攻略文档。如果你的笔记软件每写一句话,就自动给你当前屏幕截个图贴进文档里,哪怕你只是在打字,这个文档很快就会被图片撑爆,打开都卡。而如果你只在真正需要记录画面的关键时刻才贴图,文档会清爽得多,也更聚焦。论文里的数据证实了这个直觉:在OSWorld 2.0这个桌面任务测试上,这种按需截图的方式让单任务的API成本直接降低了37.5%左右。
那么浏览器任务怎么处理呢?
AI生成的代码会直接对接**浏览器调试协议**（一套让程序能够精确控制浏览器行为的通信标准,比如打开哪个网页、点击哪个元素）,也就是Playwright这类工具底层用的那套协议。桌面任务则靠终端命令、命令行工具,甚至直接编辑源文件来完成。只有当某个操作界面确实没办法用程序控制,比如一个纯视觉的游戏画面,AI才会退而使用xdotool或pyautogui这类模拟鼠标键盘的命令。
**xdotool/pyautogui*：两个常见的自动化工具库,可以通过代码模拟人类的鼠标点击、键盘输入等操作,相当于GUI操作的"最后一道保险"。
这套设计有两个关键特点。第一,终端这一个动作空间就能同时覆盖系统操作和鼠键模拟,不需要为不同场景单独设计接口。第二,AI能直接读写文件系统,用它来管理上下文、记忆信息,甚至现场打造新工具。
文件系统:AI的记忆本,也是它的工具车间
这里有个特别值得展开的点:CUAWright压根没有专门设计一个"记忆模块"。
传统的AI智能体系统,往往会额外设计一套记忆机制,比如向量数据库、摘要系统等等,专门用来存储AI在执行任务过程中积累的信息。但CUAWright的做法是:记忆就是普通的文件操作。
AI想记住什么,就把它写进文件里。想查之前记了什么,就读那个文件。觉得某个记录过时了,直接删掉或者改掉,不需要在对话历史里一直背着这些信息走。
这个设计的妙处在哪?
想象你是个侦探,正在调查一个复杂案件。传统方式是你把所有线索、推理、怀疑都记在脑子里,案子越复杂,脑子里塞的东西越多,到后面你很容易记混、记漏,甚至因为信息过载而思路卡顿。而CUAWright的方式更像是你有一整个案件档案柜,你随手把线索写在便签纸上贴进对应的文件夹,需要的时候翻出来看,不需要的时候档案柜不会占用你大脑的"内存"。更重要的是,如果某条线索被证实是错的,你可以直接把那张便签扔掉,而不是继续在脑子里背着一个已经被推翻的假设。
如果不这样设计会怎样?论文做了一个对照实验,强行禁止AI使用终端命令直接操作文件系统,只能通过GUI的方式去间接改文件。结果GPT-5.6 Sol模型的表现从67.9%暴跌到55.5%,整整掉了12.1个百分点。这说明,能不能直接、程序化地碰文件系统,对整个系统的表现至关重要,不是可有可无的辅助功能。
更有意思的是,文件系统还承担了"工具车间"的角色。AI在执行任务过程中,如果发现某个操作需要反复用到,它会主动把这个操作写成一个小脚本,保存在工作目录里,测试它、调试它,然后在后续步骤里反复调用。
论文里举了个例子特别生动。在OSWorld 2.0的一个任务里,用户要求AI从桌面上一堆文件里找出和2024年看病记录相关的医疗档案和个人信息。按照常规的GUI操作思路,AI得一张一张打开图片去看,判断这张是不是医疗相关的。但CUAWright里的AI做了件聪明事:它先写了一个小工具,把所有图片文件拼成一张大的"拼接图",一次性把所有信息都塞进自己的视觉理解里,然后一口气提取出所有需要的信息。
这就好比你要从一摞几十张的名片里找出所有卖保险的联系人。笨办法是一张一张翻看。聪明办法是先把这些名片铺开拍一张全景照片,一眼扫过去,直接把符合条件的几张挑出来。效率完全不是一个量级的。
论文统计显示,在OSWorld 2.0的测试里,有84.8%的任务中,AI会主动创建至少一个可执行文件或代码脚本。总共创建了776个可执行文件,其中24.7%被重复使用了至少两次。这些工具主要用来做信息提取、界面自动化、文件构建编辑和验证测试。
实测结果:便宜又好用,不是说着玩的
说了这么多设计理念,数据才是硬道理。研究者在六大类测试基准上做了全面评估,覆盖网页、桌面、长程任务和CAD设计四个大方向。
先看最经典的桌面任务测试**OSWorld 2.0**
**OSWorld 2.0*：一个评测AI能否在真实电脑环境中完成长程、复杂桌面任务的权威基准,涵盖办公软件、系统设置等真实场景。
在这个测试里,CUAWright用GPT-5.5模型跑出了63.2%的部分得分,比官方公布的GPT-5.5基线47.5%高出15.7个百分点,同时每个任务的成本还从16.1美元降到了10.1美元。换成GPT-5.6 Sol模型,CUAWright拿到67.9%,比官方基线62.7%又高了5.2个百分点,成本更是从13.9美元直接降到4.4美元,降幅接近七成。
这意味着什么?意味着花更少的钱,办更多的事。这在AI应用落地的现实世界里是极其重要的一件事,因为很多企业真正担心的不是"AI能不能做到",而是"做到这件事要烧多少钱"。
再看网页任务。在**Online-Mind2Web**这个覆盖300个真实网站任务的基准测试上,CUAWright用GPT-5.4模型跑出了88.1%的成功率,比同模型的GUI方案83.4%高出4.7个百分点。
**Online-Mind2Web*：一个用真实、活跃网站来测试网页智能体表现的基准,覆盖136个热门网站。
而在考验长程规划能力的**Odysseys**基准上,差距拉得更夸张。CUAWright用GPT-5.4跑出77.5%的成功率,而GUI基线方案只有33.5%,差距高达44个百分点。
**Odysseys*：专门测试AI完成需要多步骤跨页面规划的长程网页任务能力的基准,任务由多个原子任务组成,更贴近真实工作流。
这个数字差距为什么这么大?长程任务最怕的就是"走着走着忘了之前干了啥",而CUAWright靠文件系统持久化记忆、随时可查可改的特性,恰好弥补了这个短板。GUI方案每一步都靠截图堆积上下文,任务一长,上下文窗口塞不下,模型容易"失忆"。
CAD设计类任务的结果也挺震撼。在**BenchCAD**这个要求根据四视图还原3D模型的测试上,CUAWright达到了79.0%的平均IoU得分,比OpenAI官方报告的55.8%高出23.2个百分点。
**BenchCAD / IoU*：BenchCAD是测试AI能否从工程图纸还原三维模型的基准,IoU（交并比）是衡量生成的三维形状与真实形状重叠程度的指标,数值越高说明还原越精确。
而在**CADGenBench**上,CUAWright相比使用预定义MCP工具的Codex方案,整体得分提升了3.7到2.5个百分点,不同的任务,不同的模型,结果都是一致的正向提升。
**MCP*：模型上下文协议（Model Context Protocol）,一种让AI模型调用外部工具的标准化接口方式。CADGenBench基线用的是这种预先注册好的工具接口,而CUAWright直接把同样的内核当作普通终端命令调用。
单智能体还是多智能体?答案出乎意料
很多人可能会以为,给AI配上一个"规划者"和一个"审核员"组成团队干活,效果肯定比单打独斗强。这是过去不少研究,比如CoAct-1,反复验证过的结论。
但CUAWright的实验给出了一个有点意外的发现:在终端原生的架构下,单智能体和多智能体的表现基本打平,甚至多智能体会带来额外的成本和效率损耗。
研究者专门做了对比,给主智能体配上两个助手:一个"规划者"负责制定计划和验收标准,一个"自我验证者"负责在提交前检查任务是否真的完成了。结果显示,多智能体设置下,任务步数的中位数从101步暴涨到151步（GPT-5.6 Sol模型）,从73步涨到137步（GPT-5.5模型),但最终得分并没有明显提升。
研究者深入分析原因,发现规划者智能体经常提不出准确的验收标准,而前沿模型比如GPT-5.5和GPT-5.6 Sol,其实本身已经学会了在提交前自己检查答案,根本不需要额外配一个专门的"审查员"。
论文里举了两个对照案例特别说明问题。在一个要求录制7页仪表盘展示的GIF动画任务里,多智能体团队的审查员指出单帧截图拼出来的GIF不是真实的操作录屏,促使主智能体改用真实的屏幕录制工具,最终得分从0.95提升到1.00。这是一个多智能体真正帮上忙的案例。
但另一个案例恰好相反。一个要求修改六页PPT幻灯片的任务里,主智能体独立完成只用了42步,拿到满分1.00。而多智能体团队跑了整整300步,审查员反复给出"不确定"的结论,最终把全部步数预算耗尽,连提交都没完成,只拿到0.95分（因为系统默认保留了最后的持久化结果)。
这就像一个团队做项目,如果审核流程设计得不好,审核员总是说"再确认一下吧",却说不出具体哪里有问题,那审核就不是在把关质量,而是在空转消耗时间。真正有价值的审核,是能指出具体风险并推动改进的审核,而不是形式主义的反复确认。
失败在哪:AI也会"看错题"
研究者还对失败案例做了细致的归类分析,这部分挺有参考价值。
对比GPT-5.5和GPT-5.6 Sol两个模型的失败模式,会发现它们"栽坑"的方式不太一样。
GPT-5.5最常见的失误是"看错任务要求",占比19.4%,也就是对任务的理解本身就偏了。而GPT-5.6 Sol更容易出现的问题是"输出看起来对但精度不够",占比19.0%,这类问题更隐蔽,表面上像是完成了,细究起来有偏差。
GPT-5.6 Sol还更容易出现"内容对了但位置错了"的问题,占比10.5%,是GPT-5.5的近三倍。这或许暗示更强的模型在执行力上更自信,但也因此在细节核对上更容易放松警惕。
论文还统计了一个有意思的对比:只用终端命令完成的任务,表现明显好于那种混用了终端和GUI鼠键操作的任务。纯终端操作的任务平均得分71.89%,精确完成率33.3%,而混合操作的任务平均得分只有66.32%,精确完成率25.3%。这进一步印证了核心论点:越能用程序化方式解决的问题,解决得越干净。
写在后面
读完这篇论文,最让我意外的其实不是性能提升的数字,而是那个"没有专门记忆模块"的设计选择。
我们习惯性地认为,AI要做好长程任务,必须有一套复杂精巧的记忆系统,向量检索、摘要压缩、重要性打分,一套一套的机制堆上去。但CUAWright的做法近乎"偷懒":记忆就是文件,查记忆就是读文件,这事就这么简单。
这让我想到一个更大的问题:我们是不是经常为了显得"工程完善",给系统堆砌了很多本来不必要的复杂度?文件系统这个计算机里最古老、最朴素的概念,其实天然就具备持久化、可编辑、可检索的全部特性,而我们偏偏要重新发明一套"记忆系统"去替代它。
另一个值得单独说的细节是,论文里提到最新一代模型"本身已经学会了自己验证答案"这个观察。这意味着模型的能力提升,正在悄悄改变系统设计的最优解。过去需要外部机制强制约束的行为,现在模型自己内生出来了。这是不是说明,未来很多复杂的多智能体编排、工具框架,随着底层模型能力的提升,反而会显得多余,甚至拖后腿?
这篇论文留下的问题,比它给出的答案更让人着迷:当模型越来越聪明,我们到底应该给它更多的脚手架,还是应该把脚手架一层一层拆掉,只给它一个终端,然后退后一步看它自己把活干完?
Q&A
Q1：CUAWright是什么？
A：CUAWright是一个用终端命令作为唯一操作接口的AI智能体系统,大约3000行代码,让AI通过敲命令、写脚本、读写文件来完成网页、桌面和CAD设计任务,而不是靠截图点坐标。
Q2：CUAWright比传统GUI方案好在哪里？
A：在OSWorld 2.0桌面任务测试上,CUAWright得分比官方GUI基线高出15.7个百分点,成本还降低了37.5%；在长程任务Odysseys基准上成功率更是高出44个百分点。
Q3：CUAWright用多个AI智能体协作效果更好吗？
A：不一定。实验发现单智能体和多智能体设置表现基本相当,多智能体有时会因为反复审核拖慢进度甚至导致任务没能提交,只有审核员能指出具体问题时协作才真正有帮助。
