Token导航 LogoToken导航

AI 资讯 · 科技行者

Cowork-Gym:AI助手协作改方案训练环境

更新 2026-11-20科技行者正文 6933字阅读约 22分钟

你有没有遇到过这种情况:让AI帮你写一份销售报告,它很快写好了,结果你发现数据表格其实是上周的旧版本,而正确的那份今天刚更新。你告诉它"用新数据重做",它改了,可改完一看,前面算过的总价没跟着一起变。

这不是AI不够聪明,而是它从没在这种场景里真正练过。现在大多数训练AI智能体的环境,都是给定一个任务,AI一口气做完,打分,结束。但真实的工作根本不是这样。真实的工作是你和AI一起盯着一堆文件、一份表格、一个代码仓库,你改一点、它改一点,中途你可能换个主意,甚至直接把源文件替换掉。这种"边做边改"的协作模式,业内把它叫做**Cowork**。

阿里通义团队这次做的事情,就是专门为这种Cowork场景造了一整套训练用的"健身房",取名Cowork-Gym。他们一口气合成了6.49万个这样的协作环境,覆盖14个应用场景,然后用这些环境训练出来的模型,在六个权威测评上普遍超过基础模型,其中27B参数的版本甚至在两个榜单上压过了参数量超过它好几倍的大模型。

这事儿听起来简单,做起来其实挺难的,我们一点点拆开看。

这件事到底难在哪

先说清楚问题。要让AI学会"协作式工作",你得先给它造出大量可以练习的协作场景。但造这种场景,比造普通的问答题难太多了。

一个普通的训练样本,可能就是"这是题目,这是答案"。但一个Cowork环境得同时包含五样东西:任务目标是什么、初始的工作区长什么样、AI能用哪些工具、用户会怎么反应和干预、最后怎么判断做得对不对。这五样东西还不能各自为战,它们必须互相咬合。

举个例子,如果任务是"分析销售数据生成报告",那工作区里就得真有一份销售表,AI能打开能读;如果用户设定成"中途会替换数据源",那这个替换动作必须真实可执行,替换完以后原来算出来的结论确实应该作废;最后打分的程序得知道去检查AI有没有发现数据换了、有没有重新计算。

任何一个环节掉链子,整个训练样本就是废的。比如验证器写错了,AI随便交个空文件都能拿满分,那这条数据训出来的模型只会学会偷懒;或者任务设定里埋了个逻辑漏洞,导致这个任务根本没法被正确完成,AI怎么做都是错,那这条数据反而在教AI学错误的东西。

**人工一条条设计这种环境,成本高到不现实,出错率也压不下来。**

这就是Cowork-Gym要解决的核心问题:怎么把这种高度耦合、容易出错的协作环境,规模化地、自动化地造出来,同时还要保证质量。

造环境的两条路:自上而下和自下而上

Cowork-Gym没有用单一套路生成任务,而是走了两条路,一条自上而下,一条自下而上。

自上而下的叫**分类法引导生成**

分类法引导生成:研究团队先建了一个六维度的任务分类体系,覆盖能力类型、应用场景、任务难度、用户需求、输入输出形式和安全要求,然后按这个体系去"点菜式"地组合生成任务。

这六个维度里,能力和场景是分开的。比如"做财务分析"这件事需要用到"数据分析"这个能力,但不会单独搞一个叫"财务数据分析"的能力标签。这样设计是为了让能力和场景可以自由组合,同一个能力可以出现在不同行业场景里,不至于标签爆炸。

这条路的好处是可控,你想要更多编程类任务,就多采样编程场景;你想补足某个能力的覆盖率,就定向生成。缺点是它天然是"想象出来的"任务,容易和真实世界脱节。

所以还有第二条路,自下而上的**资源驱动生成**

资源驱动生成:直接从真实存在的素材出发,比如一份真实的财报、一份法律合同、一个代码仓库,根据这份素材本身能支持什么操作,反推出一个合理的任务。

这条路的逻辑是倒过来的。不是先定好"我要一个跨期财务分析任务",再去找合适的财报凑数,而是拿到一份真实的季度财报对比文件,看它天然适合拿来做什么,比如跨期对比、异常项目标注,然后围绕这个素材本身的特点去设计任务。这样生成出来的任务,天然带着真实数据才有的那种"脏乱差":有缺失值,有格式不统一,有需要跨文件核对的地方,这些恰恰是手工编造任务时很难想到的真实难点。

团队提到,这类任务只保留"素材确实对完成任务起到实质作用"的那些,防止素材只是摆设。

**这两条路并不是谁取代谁,而是互相补位。**

分类法保证了任务覆盖的广度和可控性,资源驱动保证了任务的真实颗粒度和难度来源。单靠分类法,你造出来的任务可能逻辑自洽但缺乏现实感;单靠资源驱动,你又很难系统性地保证某些能力或场景被覆盖到。

造出来的环境靠不靠谱,得有人把关

光生成任务还不够,生成出来的东西质量参差不齐是必然的。Cowork-Gym设计了一个叫**构建-执行-修订循环**的机制来做质量控制。

构建-执行-修订循环:三个角色各司其职的质检流程。构建者负责搭工作区、配工具权限、设计用户行为;验证器构造者独立地给这个任务写判分逻辑;问题检测器负责实际跑一遍这个环境,挑出里面的毛病,再把问题分别打回给对应的负责人修。

这个设计里有个很关键的细节:**验证器的构造过程和工作区的构建过程是物理隔离的**。

验证器构造者看不到构建者具体怎么搭的工作区细节,只能拿到任务描述和真实数据,自己独立去推导"这个任务做对了应该是什么样子"。这样做是为了防止验证器"抄答案",如果验证器知道构建者是怎么设计这个环境的,它很容易直接照抄构建者预设的那条路径来打分,一旦AI用了另一种同样正确但不同的做法,反而会被误判为错误。

这就好比考试出题人和阅卷人如果是同一个人,批改思路很容易变成"你得按我教的那种解法来",别的解法哪怕结果对也可能被扣分。如果不隔离这两个角色,验证器就会变成"检查你是不是复制了标准答案",而不是"检查你是不是真的解决了问题"。这种隔离设计保证了判分的客观性,代价是构建的工作量和复杂度都翻倍了。

问题检测器的工作更像是个"事故调查员"。它会真的跑一遍这个环境,拿正确答案测,也拿明显错误的答案测,看验证器能不能区分出来。

团队提到一个很实在的检验标准:如果一个验证器连"什么都没做的空白状态"都能给出通过的分数,那这个验证器本身就是严重缺陷,必须被打回重做。这种检验方式听起来简单,但恰恰是最容易被忽略的一环,很多自动化系统里,大家默认验证器是对的,很少有人专门去测验证器本身靠不靠谱。

经过这套循环筛选后,最终发布的环境数量是6.49万个,覆盖14个顶层应用场景和17种能力标签。

让用户"活起来":有状态的用户模拟器

这是整篇论文我觉得最有意思的一个设计,叫**有状态的用户模拟器**。

有状态的用户模拟器:一个在AI工作区之外独立运行的虚拟"用户",它不只是发发消息聊天,还能直接动手修改共享工作区里的文件,而且它的每一次反应都取决于AI当下的实际进展,不是提前写死的剧本。

为什么要这么设计?因为真实世界里的协作,用户从来不是一次性把所有要求讲清楚然后啥都不管了。用户会观察AI做到哪一步,看结果对不对劲,然后决定要不要插一手、补充信息、或者干脆直接把数据换掉。

这个模拟器被赋予了一套"私有状态",包括人设、它自己知道的信息边界、潜在目标,以及一份"信号计划"——这不是一份固定台词,而是一个"在什么情况下可能说什么"的大致脚本。比如初始提问只会透露刚好够AI开始干活的信息,更深的约束条件或偏好,只有在真正相关的时候才会被揭示出来。

这个设计的巧妙之处在于,AI永远看不到这个用户模拟器的"内心戏",只能通过对方发的消息和工作区里真实发生的变化去感知。这跟真实的职场协作其实一模一样。你的同事心里怎么想的你看不见,你只能通过TA说了什么、改了什么文件来判断TA的需求有没有变。

**如果没有这种工作区层面的干预能力,只靠对话传递信息,会发生什么?**

那AI练的其实是"听话",而不是"适应变化"。举个具体的场景:AI刚做完一份销售分析草稿,用户模拟器直接把源数据表sales.csv换成了修正后的版本,这时候AI如果没有重新读取文件、重新核对依赖关系的意识,哪怕对话里什么都没说错,最终产出的报告依然是建立在过期数据上的。论文里给出的示例轨迹正是这样:用户只说了一句"用更新后的数据,排除退款项",AI必须自己意识到前面算过的总额已经失效,需要重新读取文件、重新计算,才能通过最后的验证。这种"工作区变了,你自己得发现"的能力,光靠对话式训练是练不出来的。

这也是论文反复强调的一点,协作不是单向的"用户下指令,AI执行",而是双方都在往同一个工作区里写东西、改东西,进度体现在产出物和工作区变化里,而不只是嘴上说了什么。

怎么把这些环境变成能喂给模型的训练数据

光有环境还不够,接下来要让一个真的AI智能体去这些环境里实际跑一遍,产生行动轨迹,再从这些轨迹里筛出可靠的拿去训练。

研究团队用了**Harbor**这个统一的任务打包格式

Harbor:一种标准化的任务封装格式,让同一个协作环境可以被不同的智能体执行框架以统一的方式调用,方便做跨框架对比。

他们用了QwenPaw和OpenClaw两套不同的执行框架去采集训练轨迹,同时额外测试了一个叫Hermes Agent的、从没参与过数据采集的框架,结果发现用其他框架训出来的能力依然能迁移过去,Hermes上的通过率提升了7到9个百分点。这说明他们训练出来的不是"怎么操作某个特定界面"这种死记硬背的技能,而是更通用的、可以跨平台复用的任务解决能力。

拿到原始轨迹之后,还要过滤。论文里给出的数字相当直白:从7.7万多条原始轨迹出发,先经过一轮基础有效性筛选,只留下了24,732条,留存率大概31.8%,意思是将近七成的轨迹因为记录不完整、结果没通过验证、或者是声称完成了但实际状态不对而被扔掉了。这个比例挺扎心的,说明哪怕前面的环境质量已经控制得不错,实际执行过程中产生的轨迹依然有大量是不可靠的。

过滤之后,还有一道更精细的筛选,叫**模型条件选择**

模型条件选择:不只看轨迹对不对,还要看这条轨迹对"当前这个要训练的学生模型"是不是真的有学习价值,用两个指标来衡量,一个叫NLL(负对数似然),一个叫RSR(排序-惊讶比)。

这个思路挺有意思的,它承认了一件事:同一条正确的轨迹,对不同的模型来说"有用"的程度是不一样的。打个比方,如果一道题对你来说已经简单到闭着眼睛都会,那再刷十遍这道题,边际收益基本是零;但如果这道题正好卡在你会和不会的边界上,那它的训练价值就很高。NLL衡量的是模型对这段轨迹里每个词的"意外程度",如果模型自己就能很准地预测出下一步该怎么做,这条数据对它来说信息量就偏低。

有意思的是,实验结果显示不同规模的模型,最适合的筛选标准还不一样:9B和27B模型用NLL效果最好,但35B-A3B这种混合专家架构的模型,反而是RSR表现更好。这说明"哪条数据有用"这件事,压根不是数据本身决定的,而是取决于拿这条数据去喂的那个模型是谁。

训练效果:数字说话

把这套流水线产出的数据拿去训练模型,效果到底怎么样?

团队用了三种参数规模的Qwen基础模型:9B、27B,还有一个35B总参数但激活参数只有3B的混合专家模型,分别用监督微调加强化学习的组合去训练。

**平均下来,三个规模的模型分别比各自的基础版本提升了8.7、6.4和4.1分,在18组对比里有17组都是正向提升。**

更值得玩味的是,提升的位置在不同模型身上还不一样。9B模型在Workspace-Bench上涨了14.64分,在ALE这个基准上涨了13.39分,涨幅集中在"基础能力补强"上;而27B模型涨得最猛的是ClawEval和ClawMark,分别涨了11.97和10.17分,这两个基准测的是更复杂的多轮协作场景。这说明同一批训练数据,治的其实是不同模型身上不同的"病根",而不是简单地跟着参数量线性往上涨。

在整体排行榜上,27B版本的综合得分排名第二,仅次于参数量大得多的GLM-5.2,而且在PawBench和ClawEval这两个基准上拿到了所有参赛模型里的最高分,包括那些总参数量超过1000亿的大家伙。

| 模型 | 参数规模 | 六项均分 | PawBench | ClawEval |

|---|---|---|---|---|

| GLM-5.2 | 744B/40B | **0.6157** | 0.7878 | 0.7601 |

| Ours-27B | 27B | 0.6119 | **0.8400** | **0.8508** |

| DeepSeek-V4-Pro | 1.6T/49B | 0.5744 | 0.7729 | 0.7727 |

| Ours-35B-A3B | 35B/3B | 0.5665 | 0.8187 | 0.7734 |

| Kimi-K2.5 | 1T/32B | 0.4930 | 0.7331 | 0.6967 |

| Ours-9B | 9B | 0.4494 | 0.7699 | 0.7259 |

不过团队也挺坦诚地指出了短板,在WildClawBench这个基准上,9B模型只涨了1.36分,35B-A3B版本反而还跌了0.52分,三个版本在这项上都明显落后于GLM-5.2。**这提醒我们,训练数据的提升不是万能药,它有清晰的适用边界,跨越这个边界效果就会打折扣。**

多轮交互和跨平台能力,也是真金白银的提升

团队还专门做了几组对照实验,验证各个设计决策是不是真的有用,而不是想当然。

一组实验对比了只用单轮交互数据训练 vs 混入多轮交互数据训练。结果显示,加入多轮数据之后,27B模型在ClawEval上又多涨了接近1分,在ClawMark上多涨了3.23分。这说明那种"用户中途改主意、换数据"的协作场景训练出来的能力,确实能迁移到实际评测里,不是自娱自乐。

另一组实验测了用不同执行框架采集的数据训练出来的模型,能不能在没见过的框架上也管用。结果是肯定的,用OpenClaw采的数据训练出来的模型,在从没见过的Hermes框架上也提升了9个百分点,甚至比专门用QwenPaw采集的数据效果还好一点。这进一步印证了前面说的那个判断,这套训练数据教会模型的是通用的任务解决逻辑,不是记住了某个工具界面的操作套路。

一个更聪明的训练方式:在线蒸馏

论文最后还提了一个挺值得关注的技术选择,叫**在策略蒸馏**

在策略蒸馏:让一个"学生模型"从基础版本出发,自己先去跟环境互动、产生行动轨迹,然后让一个已经训练好的"老师模型"针对学生实际走过的这些轨迹,逐词给出概率分布,学生模型去学着模仿这个分布,而不是直接拿老师走过的轨迹硬灌。

这个设计想解决的是一个经典的两难问题:直接用监督微调加强化学习去硬训一个模型,专项能力是上去了,但模型原本在其他领域(比如科学推理)的能力往往会跟着掉,这在业内叫"灾难性遗忘"。

在策略蒸馏的巧妙之处在于,它不是让学生去背老师走过的那条特定路,而是让老师在学生自己实际会遇到的那些情境里,给出"换做是我,下一步会怎么选"的概率判断,再让学生去对齐这个判断。因为训练素材来自学生自己真实走出来的轨迹,而不是老师的固定剧本,学生的原有知识结构受到的冲击会更小。

实验数据也印证了这个设计的价值。在ClawEval这个专项基准上,用在策略蒸馏训练出的学生模型,把pass?指标提升了4.5分,拿到了老师模型大约80%的提升幅度,只差1.1分。但更关键的是,在一个完全不相关的通用知识基准GPQA-Diamond上,这个学生模型的表现不仅没有下降,反而比那个直接监督微调出来的老师模型还高出4.54分。

这就好比一个学生如果死记硬背老师的某一套解题步骤,遇到新题型容易懵;但如果学生是跟着老师一起做题、模仿老师面对每道新题时的思考权重分布,这种学习方式更容易把判断力真正内化,而不只是记住了一套固定动作。如果不这样设计,直接拿老师生成的轨迹去硬训,专项分数可能涨得更快,但代价是模型在其他方面会退化,这在实际部署里是个很现实的风险,没人想要一个变聪明了某一方面、却在别的方面变笨的助手。

写在后面

读完这篇论文,我印象最深的其实不是那些榜单排名,而是7.7万条原始轨迹里只有不到三分之一能留下来训练这件事。这个数字背后藏着一个容易被忽略的真相:自动化造数据这件事,真正的工作量不在"生成",而在"淘汰"。大家总以为规模化就是多生成,但这篇论文花了大量篇幅在讲怎么判断一条数据是垃圾,怎么判断一个环境本身是不是逻辑自洽的,这种"质检优先于产量"的思路,其实在很多工程领域都适用,只是在AI训练数据这件事上,大家很容易被"规模"这个词迷惑,忘了规模的前提是质量可控。

另一个让我反复琢磨的细节是,验证器构造者和工作区构建者被刻意隔离开,互相看不到对方的具体实现。这个设计初看有点"多此一举",但仔细想,这其实是在用工程手段去对抗一个很微妙的认知偏差:出题人如果同时是阅卷人,很容易不自觉地按照自己设计的那条路径去判分,哪怕嘴上说"条条大路通罗马",手底下还是更偏爱自己想到的那条路。这种偏差在人类教育系统里其实也普遍存在,只是我们很少专门设计机制去隔绝它。

这篇论文还留了一个没说透的问题,筛选标准NLL和RSR在不同规模模型上表现不一样,这背后有没有更系统的规律可以提前预判,而不是每次换个新模型都得重新试一遍?如果这个问题能有答案,下一代的数据筛选可能就不再需要靠经验试错,而是能直接算出来该用哪把尺子。

文章标签AI产品大模型

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。