你有没有想过一个问题,现在那些号称能力超强的AI,到底是怎么被考出来的?
答案可能会让你有点意外。大部分测试是这样的:给AI一道孤零零的题,比如"帮我写一份财务报表",或者"修一下这段代码",然后看它答得对不对。题目之间互不相干,做完这道就翻篇,像是在做一套没有上下文的填空题。
但你回想一下自己上班的样子。你会收到一份昨天没写完的方案,同事在群里问你上周那个数据对不对,老板让你根据客户反馈改一版合同。这些事情从来不是孤立的,它们彼此勾连,带着历史,带着未完成的尾巴。今天的工作是昨天的延续,明天的麻烦可能就藏在你今天随手保存的一个文件里。
这正是一组来自武汉大学、微软亚洲研究院等机构的研究者盯上的问题。他们提出了一个叫OfficeTown的系统,简单说就是不再出孤立的题,而是造一整个会持续运转的虚拟公司,让AI在这个公司里真正"上班",任务自己从工作中长出来。
工作从哪里长出来
先说说现在主流测试方法的局限。
像GDPval这样的评测基准*:指一类专门评估AI完成真实经济价值工作能力的测试集,已经做得相当不错了,它收集了大量真实职业场景的任务。但无论做得多精细,这些任务依然是一个个独立的单元,互不牵连。
问题出在哪儿?真实的专业工作,从来不是一道题一道题地单独出现的。一份审计报告要看去年的底稿,一个设计方案要考虑客户之前否决过的版本,一次代码修复要知道这个系统过去埋了哪些坑。材料会积累,决策会留痕,没办完的事会一直挂在那儿等下文。如果测试只看单次任务的得分,它测的其实是"做题能力",而不是"在真实工作环境里持续产出的能力"。
研究团队的思路反过来了。他们不再想着怎么出更多好题,而是想:能不能干脆造一个不断产生工作的系统?这样产生出来的任务,天然带着上下文、带着历史依赖、带着真实工作该有的那种"麻烦感"。
这就是OfficeTown的起点。给它一句话描述一个组织的业务方向,比如"提供中小企业的财务建模服务",它就会自动生成一整套虚拟公司:岗位、汇报关系、权限边界、初始资料,然后开始运转。公司里的"人"(其实是由大模型驱动的虚拟角色)会开会、分配任务、审核交付物、要求返工,时间一天天往前走,文件越积越多,问题越攒越复杂。
这就好比你不去手动写一百份作业,而是干脆开了一家真实运转的公司,然后那些作业自己就冒出来了,还带着前因后果。如果只是攒题库,题目永远是静态的、互相隔绝的;而让一个组织真的运转起来,工作之间的因果链条是自然形成的,没法伪造。
一个虚拟公司是怎么被造出来的
OfficeTown生成组织的方式挺有意思的,值得细说。
你只需要给出一句话的业务描述,系统就会把它展开成部门结构、岗位设置和汇报关系。论文里展示的例子叫Juniper Financial Modelling,一个虚拟的财务建模机构,最终生成了十二个岗位,分布在执行层、客户关系、分析生产、数据准备等七个部门。
每个岗位代表的虚拟员工不是瞎编的人设。
职业描述数据库*:论文中使用了O*NET和ESCO两个国际通用的职业信息库,前者是美国劳工部维护的职业信息网络,后者是欧盟的职业技能分类体系,用于给虚拟员工设定符合现实的职责范围和工作风格。
比如Devon Arata,一个资深财务建模师,汇报给生产总监Nolan Voss,拥有十五项专业技能和五项通用技能,可以独立准备内部模型、调用分析脚本、把具体执行工作委托给助手代理,但没有权限对外发布文件或操作真实账户。这种权限边界不是装饰,是整个系统运转的核心规则之一。
更关键的是组织启动时需要的初始资料,论文里称为种子材料。这些材料分三类,一类是从网上检索来的真实行业参考,比如FAST财务建模标准;一类是改编过的示例资料,比如一份管理会计工作表;还有一类是完全合成的客户记录,比如虚构客户Harborlight的24张发票、40个调度任务。这三类材料的来源会被严格标注,不会混为一谈。
这里有个细节特别值得琢磨。研究者没有让这些虚拟员工拥有"上帝视角",能看到公司里的一切文件。
权限过滤视图*:指每个虚拟员工只能看到自己权限范围内的信息,汇报关系本身并不自动授予文件访问权,私人工作区默认对其他人不可见,只有经过明确分享的内容才会进入对方的视野。
这个设定听起来有点麻烦,为什么不干脆让所有人共享同一个信息池,这样协作起来岂不是更方便?但你想想现实中的公司,如果每个员工都能随意翻看其他同事电脑里的草稿和未完成的方案,这家公司早晚要乱套,机密文件满天飞,谁也不知道哪份是定稿。OfficeTown故意制造了这种"看不全"的状态,正是因为真实的专业工作本身就是信息不对称的,AI要学会的不是"掌握一切信息再回答",而是"在有限信息里做出合理判断,并且知道什么时候该去问别人"。这才是职场真正的样子。
工作怎么流转,又怎么变成可以打分的任务
组织跑起来之后,具体的协作是什么样的?
论文里用了一个很生动的场景。Juniper公司开会讨论客户Harborlight的现金流问题,四个不同岗位的人依次发言:客户关系总监提出业务问题,数据准备主管提出需要先整理成模型可用的表格,资深建模师提议做一份带场景开关的十三周现金流预测,独立审核主管则提前说明要检查公式一致性和图表对账。整个讨论像极了真实的项目启动会,一环扣一环,每个人站在自己的职责视角上发言。
会议本身不直接产生承诺,真正落地靠的是显式的任务记录。这份记录写明要交付什么、谁负责、用什么材料、截止时间是什么。
委托执行机制*:指负责的专业角色(称为"主事人")把具体执行工作派发给助手代理完成,助手在被授权的工作区里操作,交付后由主事人检查实际产出,决定接受、要求返工,还是继续追问细节。
这个"主事人审核助手"的两层结构,正是OfficeTown和一般单代理系统最大的不同。普通的AI代理往往是一个模型从头干到尾,而这里刻意拆成了"决策层"和"执行层",决策层负责理解业务意图、协调资源、把关质量,执行层负责具体干活。
这种分工带来了什么好处?研究团队后来专门做了一个补充实验,把这套"主事人加助手"的架构拿去跟Codex、MetaGPT、CAMEL这几个现有的多代理框架比,全部统一用GPT-5.5在同样的任务上测试。结果在五项外部基准上,OfficeTown的架构都拿到了最高分,比如在一项叫做ResearchCodeBench的研究代码复现任务上,拿到46.40分,比MetaGPT的41.15分要高,而且用的token数量反而比MetaGPT少了21.8%。这说明把"决策"和"执行"拆开审查,不只是让流程更真实,实际上也提升了效率和质量,因为审核环节能及时拦住走偏的执行结果,省得返工浪费更多资源。
那具体的任务是怎么从这些持续的工作里"摘"出来,变成可以打分的测试题的?
这一步叫做任务快照*:指研究者把某次委托任务发生那一刻,主事人能看到的全部材料(私人文件、授权的共享资源、需要修订的历史版本)原样打包,但排除后续才出现的答案和只有评审者才能看到的信息,这样既保留了真实的工作场景,又避免泄题。
每次评测,AI会拿到这个快照,在一个全新的工作区里展开,可以查看文件、执行命令、使用各种工具,最终交付成果。这个设计的精妙之处在于,它既保留了"任务来自持续工作"这个核心优势,又不需要每次测试都重新跑一遍几个月的完整模拟,评测效率和真实性被同时照顾到了。
一场由406道真实工作题组成的大考
基于这套生成机制,研究团队构建出了OfficeTown Bench,一个包含406个任务、4836条评分标准的基准测试集,覆盖23个模拟组织、八个专业领域,涉及139个不同的具体岗位头衔。
这八个领域分别是审计、临床医疗、设计、娱乐、金融、工业、法律和软件,每个任务平均配有44.5个输入文件,涵盖文本、表格、代码、图像甚至CAD三维模型等多种格式。
更值得一提的是,这套基准不是关起门来自己拍脑袋造出来的。
领域专家评审*:论文里提到有71位各领域的专业人士参与审核任务和评分标准,他们会判断任务是否符合真实工作场景、输入材料够不够用、评分标准是否遗漏了关键要求,并按照"关键、主要、次要、可选"四个等级给每条标准打重要性标签。
这71位专家总共审核了1051个候选任务和32274条候选评分标准,提出了3842条修改建议。这个工作量说明研究者很清楚,AI生成的任务和评分标准可能带有系统性偏差,必须靠真正懂行的人来把关,不然测出来的分数毫无意义。
那么前沿大模型在这套题上考得怎么样?
论文给出了一个评分体系,核心指标叫Pass@1*:指一个任务必须满足所有适用的必要评分项才算通过,只要漏掉一项关键要求,这道题就是不及格,这个指标比"平均得分"更严格,专门用来检验"完整交付"的能力。
结果相当有意思。表现最好的GPT-6 Astra拿到74.4%的通过率,排第二的Grok-4.7只有58.4%,第三名Claude Opus 5.5是50.7%。
这里有个数字特别值得停下来想一想:即便是表现最好的Astra,依然有大约四分之一的任务没能完整交付。
这意味着什么?意味着在这4百多道真实职场风格的任务里,每4个任务中就有将近1个,连最强的AI都完不成全部必要要求。更扎心的是关键缺陷率,论文统计发现Astra满足了88.8%的关键评分权重,但在404个有关键要求的任务里,仍然有84个任务漏掉了至少一项关键要求,占比20.8%。而DeepSeek V4-Flash的这个漏项比例高达78.3%,相当于每5个任务里有4个都存在致命缺陷。
这就好比一个建筑工人盖了一百栋楼,平均质量打分很高,但抽查后发现五分之一的楼存在结构性安全隐患,这种"平均分高但致命错误频发"的情况,恰恰是只看单一汇总分数会掩盖的真相。论文也专门指出,Claude能通过更多任务(50.7%对GPT-5.6 Terra的39.4%),但它的加权得分反而更低(67.5对76.1),这说明"平均做得不错"和"稳定完整交付"根本是两码事,不能只看一个数字就下结论。
给AI边干边学:训练数据能带来多大提升
光评测还不够,研究团队还想验证一件事:这套从模拟组织里长出来的任务,能不能真正帮AI变强,而且不局限在它自己的小圈子里。
他们选了一个相对轻量的模型Qwen3.5-9B,设计了一套两阶段训练流程。
第一阶段是监督微调*:简称SFT,指用2202条由DeepSeek-V4-Flash模型完成的完整执行记录(包含推理过程、工具调用、每一步的观察结果和最终答案)去训练目标模型,让它模仿优秀示范。
第二阶段是在线策略蒸馏*:简称OPD,和第一阶段不同,这一步不给模型看现成答案,而是让模型自己在828个真实任务环境里尝试,一边尝试一边参考教师模型(Qwen3.8-Flash-Next)给出的概率信号来调整自己的行为,相当于不是背答案,而是带着一个经验丰富的师傅在身边实时纠偏。
结果怎么样?在GDPval这个外部权威基准的79个共享任务上,基础模型的评分是65.75分,经过监督微调后提升到70.30分,再加上在线策略蒸馏后进一步提升到73.65分,整体提升了近8个百分点。在另一个叫JobBench-Easy的基准上,加权得分从40.41一路涨到51.48。在Terminal-Bench 2.1这个考验命令行操作能力的测试里,成功率从42.31%跃升到63.64%,提升超过21个百分点。
这个结果说明了什么?说明OfficeTown生成的这些"真实工作"数据,确实能教会模型一些跨场景通用的能力,而不只是让模型死记硬背某个特定环境里的套路。
打个比方,这就像让一个实习生不是去背标准答案,而是在真实的公司项目里摸爬滚打几个月,等他再去应聘别家公司时,那种"面对复杂任务时该怎么拆解、怎么跟人沟通、怎么检查自己有没有漏项"的综合能力,是能带得走的。如果只是让模型刷题式地学标准答案,它很可能在换了一个新场景后立刻露馅,因为它学到的只是表面套路,而不是处理真实工作混乱性的底层能力。
有意思的是,论文还专门测了不同的"思考轮次预算"对结果的影响。所谓轮次,就是模型和环境交互的来回次数。研究者发现,在8到48轮的区间里,GPT-6 Astra在16轮以内就能把加权得分冲到40分左右,而其他模型需要更长时间才能追上。这说明不同模型不仅在最终能力上有差距,在"思考效率"上也有明显分化,有的模型能更快地找到正确路径,有的则需要反复试错。
写在后面
读完这篇论文,最让我意外的其实不是那些跑分数字,而是论文里那张记录Juniper公司六个月运转情况的图。
从最初的27个种子文件,到181个模拟工作日之后累积出497个文件,这中间产生的文档、表格、代码不是研究者手工塞进去的,是这个虚拟公司自己"工作"出来的结果。这种材料自然增长的曲线,某种程度上比任何一个单独的评测分数都更能说明问题:它证明了这套模拟机制是真的在运转,而不是摆设。
还有一个细节很打动我,论文特别强调"保存文件"、"接受交付物"、"对外共享"是三个完全独立的动作。一份草稿即便被保存了,也可能永远不会被接受,更不会被分享出去。这个设定听起来琐碎,但恰恰是真实职场里最容易被技术系统忽略的部分,很多人写过的方案、画过的草图,一辈子都躺在抽屉里没人看见,这种"沉默的工作量"原来也是可以被建模进去的。
论文也诚实地留了一个没解决的问题:这些虚拟组织生成的工作,终究是合成出来的,它和真实公司里那种带着人情世故、政治博弈、临时变卦的复杂性相比,还是简化了很多。研究者自己也说未来要验证"模拟出来的工作"和"真实专业实践"之间到底有多大差距。这个问题我觉得挺值得继续追问下去,一个完全由AI驱动的虚拟公司,能在多大程度上复现真实职场里那些说不清道不明的微妙之处?
Q&A
Q1:OfficeTown是什么?
A:OfficeTown是一个生成式组织模拟框架,它根据一句话的业务描述自动构建虚拟公司,让AI驱动的虚拟员工持续协作、委托任务、审核交付物,任务和训练数据从持续运转的工作中自然产生,而不是人工单独设计的孤立题目。
Q2:OfficeTown Bench测试结果显示AI表现怎么样?
A:表现最好的GPT-6 Astra通过率为74.4%,但仍有约四分之一任务未完整交付;更严重的是,即便是最强模型,也有20.8%的任务漏掉了至少一项关键要求,说明平均分高不代表能稳定完整地交付工作。
Q3:用OfficeTown的数据训练AI模型有用吗?
A:有明显提升。研究者用OfficeTown生成的数据训练了Qwen3.5-9B模型,在外部权威基准GDPval上评分从65.75升到73.65,在Terminal-Bench 2.1上成功率从42.31%升到63.64%,证明这类数据能提升模型跨场景的通用工作能力。







