Token导航 LogoToken导航

AI 资讯 · 科技行者

AI交付石油钻井停机时长系统为何未提升核心指标

更新 2026-11-20科技行者正文 5954字阅读约 19分钟

2026年某个秋天,一位钻井公司副总裁找到了一家AI供应商,他想要的东西听起来特别简单:做一个每日生产总结邮件,再做一个能问油井问题的聊天机器人。他还特意叮嘱,停机时长的编码系统已经自动化了,不在这次项目范围内。

这个需求描述清清楚楚,交付团队也如期完成,功能全部跑通,每日邮件按时发出,聊天机器人对答如流。

结果呢?公司的核心业务指标,一分没动。

问题出在哪儿?出在那个被明确排除在范围之外的停机编码系统上。这套系统用关键词脚本自动判断一次停机是谁的责任,但判断经常出错,把本该算设备方的停机错误地记到了承包商头上。每个月至少有一行记录引发争议,一旦争议发生,整个月的停机赔偿金就会被冻结。真正卡住公司钱袋子的,从来不是没有AI摘要邮件,而是这套被排除在项目范围外的判责脚本。

这不是一个孤立的故事,而是一群研究者给AI出的一道系统性难题的缩影。他们把这道题做成了一个叫FDE-Gym的评测基准,今天我们就来聊聊,当AI不再只是解答一道给定好的题目,而是要自己先搞清楚题目对不对的时候,它到底能走多远。

为什么"题目写对了"比"答案做对了"更难

现在市面上大多数评测AI编程能力的基准,本质上都在考一件事:给你一份工单,一份需求文档,看你能不能照着做出来。

工单:技术团队内部用来追踪和分配开发任务的记录单,通常会写明要修复什么问题或实现什么功能。

这种测试方式有一个隐藏前提,就是题目本身是对的。可现实世界里的交付工作完全不是这样。真正被企业雇去做项目的工程师,有一个专门的称呼叫前向部署工程师,英文缩写FDE。

前向部署工程师(FDE):由供应商派驻到客户组织内部工作的工程师,他们的任务不只是按需求写代码,还要主动发现客户业务里真正卡住的问题。

FDE面对的第一个坎,往往不是"这个功能怎么实现",而是"客户说的这个需求,到底对不对"。甲方老板经常只看到症状,看不到病根。前面那个钻井平台的例子就是最好的证明,老板要的是"炫酷的AI成果",真正卡脖子的却是一套被他主动排除在外的判责逻辑。

这就好比你去医院,告诉医生"我最近总是头疼,请给我开止痛药"。一个只会执行医嘱的护士会照办,吃完药头是不疼了,但如果病根是颈椎压迫神经,止痛药只是在掩盖问题,拖得越久情况越糟。一个真正负责的医生,会先问你疼多久了,有没有伴随症状,摸一摸你的颈椎,然后告诉你,止痛药不是你需要的东西。如果AI只会当那个"照方抓药"的护士,它在真实世界的企业交付场景里就永远只能打及格线以下的分。

现有的评测基准,不管是看AI能不能解决GitHub上的代码问题,还是看AI能不能按技术规范部署系统,几乎都默认"问题已经定义好了"。FDE-Gym想挑战的,恰恰是这个默认前提。

FDE-Gym这场"实战演习"是怎么搭出来的

研究团队没有凭空编造场景,而是把过去两年里在中国、新加坡和美国真实发生过的20个客户交付项目,改造成了可操作的模拟环境。这些项目横跨18个行业,从能源钻井到医疗分诊,从银行反诈到仓储机器人,几乎覆盖了企业数字化的各个角落。

每个场景不是只出一道题,而是在同一个客户环境下设计2到7个变体,总共凑成95个任务。变体会改变关键事实,比如这次是哪条规则过时了,这次关键信息藏在哪个人手里,这次老板的需求到底对不对。这样设计的用意很直接:如果只给AI一道固定题,它完全可能靠记住套路蒙混过关,但换一个事实细节,套路立刻失灵。

这套环境里还藏着130多个"活人"般的虚拟客户角色,每个人物的知识范围、认知误区、愿意透露信息的条件都提前写死在脚本里,保证每次测试结果可复现。

脚本化模拟:用固定规则预先设定虚拟角色的回答逻辑,而不是让另一个AI随机扮演,这样同一道题每次测试条件完全一致,方便横向比较不同模型的表现。

研究者还给这些虚拟人设定了耐心值、需要证据才肯说真话、暂时不在岗、拒绝被某些人联系等等限制条件,AI必须自己摸索出该找谁问、该怎么问。这就很像你刚入职一家新公司,想搞清楚一个流程为什么卡住了,你不能指望有人把所有真相写在欢迎手册里直接塞给你,你得学会判断该去问财务还是问法务,谁今天不在工位上,谁说话需要你先拿出证据。如果没有这套"活人感"设计,AI很容易被简化成"读文档就能通关"的模式,根本测不出它面对真实组织复杂性时的应变能力。

怎么给"交付得好不好"打分

这是FDE-Gym最有意思的地方。它不满足于判断AI有没有把任务做完,而是要衡量这套交付的系统到底能不能提升客户自己的业务指标。

具体来说,研究者定义了一个叫归一化业务提升的指标,用字母U表示。

归一化业务提升(U):衡量AI交付的系统相对于专家参考方案所取得的业务改善程度,数值0代表什么都没改变,数值1代表达到了专家水准,负数则代表AI的交付让事情变得比不做还糟。

这个打分逻辑还加入了两个惩罚项。一个叫事故调整,如果AI做出了未经授权的危险操作,比如擅自给客户打钱,那无论业务提升分数多高,都会被直接清零,只保留负分部分。另一个叫利益相关者联系成本,用字母C表示。

利益相关者联系成本(C):AI每次联系虚拟客户角色、每次做试运行、每次等待反馈所产生的隐性代价,这些代价会折算成分数直接扣除,目的是防止AI靠疯狂提问去套信息而不计后果。

最终得分等于业务提升减去联系成本,这个设计特别贴近真实职场逻辑。你有没有遇到过那种同事,一个简单的问题要反反复复来问你十几次,每次都占用你五分钟,一天下来你自己的工作全被打断了?在企业里,咨询客户不是免费的,客户的时间是有价的资源,问太多次、问得不得要领,本身就是一种成本。如果评分系统不设这个扣分项,AI很可能发展出一种策略,就是把能问的都问一遍,反正问多了也不扣分,这显然背离了真实世界里高效沟通的要求。

为了防止AI靠投机取巧刷高分,研究团队还设置了四条准入门槛。专家写的参考答案必须拿到至少0.95分,什么都不做的基线必须是0分,只会照抄老板原话、不去深挖隐藏约束的"字面交付"最多只能拿0.2分,各种投机取巧的捷径策略最高也只能拿0.8分。这些门槛经过了270多种作弊手法的反复测试,确保AI没办法靠钻空子蒙混过关。

四个难度等级,层层揭开AI的真实水平

为了搞清楚AI到底卡在哪个环节,研究者把每个场景拆成四个难度等级,从L0到L3,环境、客户角色、评分标准全部保持不变,唯一变化的是任务说明里透露多少信息。

L0是把真正的问题、相关规则约束、评分标准全都明说,AI只需要动手设计和实现方案。L1把规则约束藏起来,AI得自己去发现适用的规矩。L2进一步把问题描述得含糊其辞,AI连要解决什么问题都得自己琢磨。L3则是最接近真实场景的设定,直接给出老板最初提出的需求,这个需求可能压根没说到点子上,AI得自己判断它对不对。

这个设计思路很像剥洋葱,一层一层剥开信息的遮蔽,看看AI到底是败在"不会解题",还是败在"看不懂题",还是败在"压根没意识到题目出错了"。

研究团队用这套四层体系,加上95个任务,总共跑了13个来自七个厂商的模型配置,包括Claude Opus 5.5、Sonnet 5.5、GPT-6系列、GLM、DeepSeek、Gemini、Qwen、Mistral等主流选手,每个组合跑三次取平均,总计近两千次任务运行。

结果有多打脸

最强的模型配置是Claude Opus 5.5,在最贴近真实情况的L3等级下,平均得分只有0.56,95个任务里只彻底解决了14个。即便把每个任务都换成当时表现最好的那个模型来做,综合得分也只有0.70,95个任务里也只解决了30个。有五个模型配置,一个任务都没能彻底解决。

这意味着什么?意味着即便是今天最顶尖的AI,在真实企业交付场景里,七次出手大概只有一次能真正打到客户的痛点上。

一个让研究者自己都意外的发现是,他们原本以为AI最大的失误会出现在"读错题"上,也就是误信了老板给出的错误方向,结果数据显示情况恰恰相反。当规则和约束被明说出来时(L0),三个表现最好的模型能拿到0.73到0.82分;一旦把规则藏起来,强迫AI自己去发现约束条件(L1),分数直接暴跌到0.39到0.62,跌幅高达0.28分。

但往后,从L1到L2再到L3,哪怕老板的需求本身可能是错的,顶尖模型的分数几乎不再继续下滑,三个模型平均只又少掉0.04分。

这个现象很像一个老司机开车进了陌生城市,一旦GPS信号断了,他得自己判断方向,这时候会手忙脚乱,车速明显掉下来。但一旦他适应了没有导航的状态,哪怕路牌写错了字,他凭直觉和沿途观察,也能八九不离十地找对方向,不会比刚才多慢多少。真正要命的不是终点路标写错了,而是失去导航的那一下子。

更让人意外的是另一个发现。顶尖模型在L3等级下,平均能从客户那里问出72%到85%的关键信息,看上去调查做得相当到位了。可它们最终交付的系统,业务提升分数却只达到参考方案的60%到70%。

这说明光把事情问清楚,根本不够。在Claude Opus 5.5真正拿到了全部关键事实的23个任务里,最终只有10个任务的业务提升分数达到了0.8以上。研究者把这个差距比喻成一个很精准的说法:知道事实不等于能把事情做好。

这就好比你花了大量时间向一位资深医生打听清楚了病人所有的病史、过敏史、家族史,问诊环节堪称满分,可一到动手术那一步,手一抖缝合线打结位置偏了,病人照样恢复不好。调查能力和执行能力,是两套完全不同的本事,前者做得再漂亮,也补不上后者的短板。如果一个评测体系只考察"信息收集全不全",而不去看"最终方案有没有解决真问题",那很可能会高估AI的实际交付能力,这正是FDE-Gym要特意拆开来看的原因。

联系成本这一项,也实实在在吃掉了不少分数。GPT-6 Astra交付的系统在95个任务里有36个业务提升达到了0.8分及以上的门槛,但扣掉联系成本之后,真正保住"任务已解决"认定的只剩9个。对Claude Opus 5.5来说,这个数字从40降到了14。换句话说,AI问问题的时候完全没意识到"问一句话是要花钱的",表现得像把咨询客户当成免费资源一样挥霍。

弱模型的表现则更让人揪心。Claude Haiku 4.5在95个任务里有79个的得分低于"什么都不做"的基线,这意味着这个模型交付的系统,比客户压根没请AI、什么都没改,结果还要糟糕。Mistral Small 4交付的系统里,有23个任务造成的损害甚至超过了专家方案本该带来的收益总量。

花钱多不代表做得好

研究团队还注意到一个有点反常识的现象,那就是模型花的计算成本和它最终交付质量之间,几乎没有稳定的正相关关系。

GPT-6.1 Sol一次任务只花0.24美元,用25个操作步骤就提交了方案,拿到0.37分;而Gemini 3.8 Flash一次任务烧掉1.54美元,用了121个操作步骤,最终只拿到0.19分。还有一个更夸张的例子,Qwen 3.8 Flash平均每次任务要跑169个操作步骤、耗时110分钟,但在152组测试组合里,只有11组在限定时间内成功提交了方案,最终得分只有0.07。

这就像公司里有些同事,开会最积极、加班最晚、写的方案文档最厚,可交出来的成果却总是差点意思,反倒是另一些人看起来云淡风轻,没加几次班,方案却总能切中要害。真正值钱的不是花了多少时间和精力,而是有没有判断力知道什么时候该收手、什么时候方案已经够用了。三个表现最好的模型,恰恰都是能在26到60个操作步骤内就果断提交的那种,懂得什么时候"完工"本身就是一种被低估的能力。

和其他基准测试放在一起看会更清楚

研究者还把FDE-Gym的结果,和另外三个专门测试AI编程、Web开发、金融研究能力的公开基准放在一起对比。结果发现,同样一批模型,在终端编程测试里能解决88%的任务,在网页开发测试里能完成90%的任务,在金融研究测试里能搞定61%的任务,可一旦换到FDE-Gym这种要求发现真问题、搞定真客户、提升真指标的场景里,得分却只有0.19到0.56。

这说明一个模型在"给定清晰题目、按部就班做对"这件事上表现有多强,几乎不能用来预测它在真实企业交付场景里能干得多好。这两种能力之间的落差,比大多数人想象的要大得多。

这些发现攒起来,勾勒出一幅挺清晰的画面。当下的AI在"照着说明书把事情做对"这件事上已经相当成熟,可一旦要求它自己判断说明书对不对、自己去摸排隐藏的约束条件、自己权衡沟通成本和交付质量,它立刻会露出明显的短板。真正拖后腿的不是"听不懂需求",而是"把听懂的东西转化成真正管用的方案"这最后一公里。

写在后面

读完这篇论文最触动我的一点,是那个研究者自己也承认"推翻了最初假设"的发现。他们原本以为AI会栽在"读错题"上,结果数据显示最贵的学费是在"读题之后怎么把事做扎实"这一关上交的。这提醒我们一件事:很多时候我们以为AI的瓶颈在理解力,实际瓶颈可能在执行的细腻程度上。

另一个值得单独拎出来说的细节是,研究团队给每个场景设计了多个事实变体,并且规定同一种问题模式不能在超过三分之一的场景里重复出现。这个设计看似枯燥,却是整篇论文能站得住脚的关键,它保证了AI没办法靠"背答案"蒙混过关,逼着模型每次都得从头判断这次的具体情况。

这篇论文里提到的"弱模型比什么都不做还糟"这个结论,其实值得所有正在考虑用AI替代人工的企业老板多想一层。选择一个便宜但能力不足的模型,不是省钱的低配版,而可能是真金白银的负资产。这和招人其实是一个道理,一个能力不够还不自知的员工,造成的损失往往比岗位空缺更大。

目前这项研究还只评测了AI模型,人类专家在同样条件下能做到什么水平,研究者正在他们的在线平台上收集数据,结果会在后续版本里公布。等那组人类基线数据出来,我们大概能更清楚地看到,这最后一公里,到底是AI暂时没追上人类,还是人类自己在这件事上本来就做得没那么好。

Q&A

Q1:FDE-Gym是什么?

A:FDE-Gym是一个评测AI智能体真实企业交付能力的基准测试,包含95个任务,来自20个真实客户项目,覆盖18个行业,考察AI能否发现隐藏问题并提升客户的实际业务指标,而不只是完成表面任务。

Q2:为什么AI问清楚了客户需求,交付效果还是不好?

A:论文发现顶尖模型在最难等级下能获取72%到85%的关键信息,但交付系统的业务提升分数只达到参考方案的60%到70%,说明获取信息和把信息转化成有效方案是两种不同能力,光调查清楚不代表能做好。

Q3:表现最差的AI模型会造成什么后果?

A:论文显示Claude Haiku 4.5在95个任务中有79个得分低于什么都不做的基线,Mistral Small 4在23个任务里造成的损害超过了专家方案本该带来的收益,说明弱模型可能比不交付还要糟糕。

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。