Token导航 LogoToken导航

AI 资讯 · 科技行者

HSPR仅跑10%测试即可评估AI编程真实水平

更新 2026-11-22科技行者正文 6072字阅读约 19分钟

你有没有想过一个问题:考试只做十道题,老师怎么知道你整张卷子能考多少分?

这听起来像个荒谬的要求,但在AI агент(智能体)评测这个领域,这恰恰是研究者们天天在面对的现实难题。

想评价一个AI编程助手到底有多强,标准做法是让它去解决成百上千个真实的软件工程任务,比如修复GitHub上的真实bug。这就是SWE-bench这类基准测试在做的事。

**但问题是,每道题都要让AI真刀真枪地去读代码、改代码、跑测试,一套流程走下来,时间和计算成本都相当惊人。**

如果有2294道题,全部跑一遍可能要花几天时间和一大笔算力账单。于是一个自然的想法冒出来了:能不能只抽测10%的题目,然后推算出AI在全部题目上的真实得分?

这篇来自苏州大学和新加坡管理大学研究者的论文,提出了一个叫HSPR(Hierarchical Score Posterior Recovery,层次化分数后验恢复)的方法,试图回答这个问题。而他们发现的东西,比想象中更有意思。

抽样这件事,没那么简单

先说一个扎心的发现。

论文里提到一种叫Mid-Range的选题策略,专门挑那些历史上通过率接近50%的"中等难度"题目来测试新的AI agent。在SWE-bench Pro这个基准上,用这种方法选出的题目子集,排名保持得相当准:用肯德尔相关系数衡量,达到了0.967,几乎完美保持了不同AI模型之间谁强谁弱的顺序。

但如果你直接拿这10%题目的平均分当作AI的"真实水平",误差高达22.8个百分点。

**这意味着什么?意味着你知道哪个AI模型更强,但完全不知道它们具体强多少。**

这就像你知道班里考试排名第一的同学比第二名强,但你猜他的分数时偏差了22分,这个偏差大到让"知道排名"这件事几乎没有实用价值。你总不能跟老板汇报说"我们的新模型排第三,具体分数么,上下浮动20分都有可能"。

排名对了,分数却离谱,这揭示了一个容易被忽视的事实:

**保持排序和还原真实分数,是两件完全不同的任务,用错了工具,结果可能南辕北辙。**

有意思的是,同样是这10%题目的观测结果,如果不是简单取平均,而是用一种叫Ridge回归的统计方法重新校准一下,误差立刻从22.8降到3.4个百分点。

同一批数据,换个处理方式,结果天差地别。这说明问题不只出在"选哪些题",也出在"拿到结果之后怎么算分"。

核心问题:历史数据怎么用

HSPR想解决的核心矛盾是这样的。

研究者手里通常会有大量历史数据,就是过去很多个AI agent在这些题目上的答题记录。如果两道题目在所有历史agent身上的答对情况完全一样,比如所有旧模型都答对了A题也都答对了B题,那么这两道题看起来像是"同一类型"的,有相似的难度特征。

这个相似性叫做源响应签名(source-response signature)。

**引用:源响应签名指的是某道题目在所有历史agent身上留下的那串对错记录,记录完全相同的题目会被归为同一组。**

按照这个逻辑,既然A题和B题历史表现一样,那么新来的AI agent(也就是研究者口中的"目标agent")在这两题上的表现,应该也差不多,对吧?

论文在这里做了一个很关键的观察:不对。

即使两道题的历史签名完全相同,新agent在它们身上的实际表现仍然可能不同。因为新agent可能用了全新的架构、全新的训练数据,它的"知识盲区"和历史agent们完全不一样。

这就像两个学生,过去模拟考每次都考得一模一样,但这不代表他们在新一场考试里的每一道具体题目上都会给出相同答案。**他们的"相似"只是一种统计上的倾向,不是逐题的必然复制。**

如果强行假设"历史表现一样的题目,新agent也一定表现一样",那相当于把统计倾向错当成了铁律,一旦新agent在某道题上出现意外失误或意外超常发挥,整个预测体系就会被带偏。

HSPR的解法是:不把这种相似性当成确定的事实,而是当成一种带着不确定性的"组内成功率"。

同一组题目共享一个未知的、有波动空间的成功概率,而不是被强行设定成完全相同的结果。观察到组内一道题的结果后,会更新对这个未知概率的估计,这个更新会影响组内其他还没被观测的题目,但不会把它们直接锁死成同一个答案。

分层建模:把"能力"拆成两层来看

HSPR把每个AI agent的答题能力,建模成一个叫做"潜在状态"的东西,用z表示,它包含两部分。

**引用:潜在状态z由两部分组成,一个是整体能力θ(标量能力值),另一个是残差系数u(捕捉那些不能用单一能力值解释的特殊模式)。**

为什么要拆成两部分?

因为一个agent的能力不是一条直线就能画完的。它可能总体能力一般,但特别擅长处理某一类任务,比如精通Python但不擅长处理数据库相关bug。单纯用一个"能力分数"去描述它,就像只用身高去判断一个人的运动能力,会丢失掉很多重要信息。

论文中对历史响应矩阵做了一次奇异值分解(SVD),把那些无法被整体能力θ解释的"剩余模式"提取出来,变成残差系数u。这样每道题目的通过概率就由三部分共同决定:题目本身的难度、agent的整体能力、以及agent在这道题所属"残差方向"上的特殊倾向。

**题目的通过概率写成一个逻辑斯蒂函数的形式,题目难度和agent能力共同决定它落在0到1之间的具体位置。**

这套机制听起来复杂,但它解决的问题其实很朴素:一个AI agent的强弱,不该只用一个数字来概括。

就像一个厨师,你不能只用"做菜好不好吃"这一个维度去评价他,他可能擅长中餐却不擅长烘焙,这种"偏科"信息如果被忽略掉,那你对他能力的判断就是残缺的。**如果HSPR只保留整体能力θ,丢掉残差系数u,模型就等于把所有agent的"偏科模式"全部抹平成同一种曲线,这会让预测在那些"非典型"的agent身上出很大的偏差。**

论文的实验也印证了这一点,在SWE-bench Full这个有2294道题的大型基准上,去掉分层中的"组不确定性"结构后,误差从0.717个百分点涨到1.331,几乎翻倍。

自适应问询:每做一题,都重新想一想下一题该做哪题

光有模型还不够,HSPR还要决定:在有限的预算内(比如只能测10%的题),应该优先测哪些题目?

这里引出了论文的另一个核心贡献,叫做posterior-guided acquisition(后验引导式问询)。

**引用:后验引导式问询是指根据当前已有观测结果,动态计算每道未测题目"值不值得测",然后优先去测最有信息量的那道题。**

具体的打分规则,论文证明了一个很漂亮的数学结果:这个打分准则,恰好等于"测了这道题之后,对最终总分估计的不确定性能降低多少"。

换句话说,每选一道题,系统不是随便选的,也不是只按照"这道题难度适中"这种静态规则选的,而是实时计算:"如果我现在去测这道题,它能帮我把最终分数的预测范围收窄多少?"

这就像医生开检查单一样。

如果一个病人症状复杂,医生不会把所有检查都做一遍再下结论,而是先做最能排除关键可能性的那一项,根据结果再决定下一步查什么。**如果反过来,不管结果如何都按固定顺序做完所有检查,那检查效率会大打折扣,很多检查其实在前几项结果出来后就已经没有必要做了。**

论文的消融实验显示,这种自适应问询策略的价值相当惊人。把HSPR的模型和最终计算方式都保持不变,只是把"自适应选题"换成"随机均匀选题",四个基准上的平均误差从1.664个百分点直接飙升到3.085,几乎翻倍还多。换成另一种固定的Mid-Range选题策略,误差也涨到2.934。

这说明HSPR真正的威力有相当一部分来自于"选对题目"这件事本身,而不只是算分的公式有多精巧。

组内共享信息,题目越"扎堆",收益越大

论文还有一个挺有启发性的发现,跟题库的结构有关。

在Full这个有2294道题的基准上,按照历史响应签名分组之后,平均每个agent只对应大约276个组,也就是说平均每组里塞了8.3道题(N/G这个比值)。而在Verified基准上,500道题却分成了426个组,平均每组只有1.17道题,几乎每道题都是"独一份"。

分组密集意味着什么?

意味着在Full上,测一道题得到的信息,能同时帮你推测组内另外7道题的情况。而在Verified上,题目之间几乎没有重叠的"兄弟题",测一道题的信息很难扩散出去。

这就像拼图,如果拼图的碎片形状高度相似、成块出现,你拼好一块就能顺带猜出周围几块的样子;但如果每块拼图形状都独一无二,拼好一块对其他块毫无帮助,只能一块一块硬啃。

这个结构性的差异,直接解释了为什么"分层建模中的组不确定性"这个设计,在Full上带来的收益(从1.331降到0.717)远远大于在Verified上的收益(几乎没有变化,从1.970到1.915)。**分组密度,决定了"共享信息"这招到底有多大威力。**

论文还有一个很有意思的细节,和"源头全零题"有关。

**引用:源头全零题是指在历史agent记录中,没有任何一个agent答对过的题目。**

在Full和Pro两个基准上,分别有41.3%和36.7%的题目属于这一类,看起来像是"大家都不会的超难题"。但实际让新一代的目标agent去测的时候,这些题目的真实通过率是1.84%和2.07%,不算是零,只是比较低。

这意味着,仅仅因为过去的agent都失败过,不代表未来的agent也注定失败,技术在进步,昨天的"不可能"可能就是今天的"偶尔能做到"。

HSPR的分层机制让这类"全零题"获得了更多关注。在带分层建模的对照实验中,这类题目拿到了13.2%的问询配额;而不带分层建模时,这个比例骤降到只有0.19%。这说明分层结构让系统更愿意主动去验证那些"历史上看起来绝望"的题目是否真的依然绝望,而不是直接把它们判死刑。

最终算分:取中位数,而不是平均数

拿到观测数据和模型预测之后,HSPR怎么给出最后那个具体分数?

论文的选择是取后验分布的中位数,而不是均值。

**引用:后验分布是指结合了已知观测和模型假设之后,对"全部题目总分"这个未知量的概率分布描述。**

为什么选中位数?因为在绝对误差损失(也就是预测值和真实值之间差的绝对值)的标准下,数学上可以证明,中位数正是能让期望误差最小的那个选择。均值在某些情况下容易被极端值拉偏,而中位数相对更稳健。

此外,HSPR还加了一道"校准"工序,根据历史验证数据决定是否对预测结果做一个基于观测准确率偏差的微调,这个微调的强度也是提前用历史数据选好的,不是在真正测试目标agent的时候临时决定的。

实测效果:四个基准,普遍领先

论文在SWE-bench家族的四个题库上做了对比实验:Lite(300题)、Verified(500题)、Full(2294题)、Pro(730题)。

在10%预算的设定下,HSPR在Lite、Full、Pro三个基准上拿到了最低的平均绝对误差(MAE),在Verified上也只落后最佳方法0.055个百分点,几乎打平。而在最大误差(MaxErr)这个指标上,HSPR在全部四个基准上都是最低的。

| 方法 | Lite MAE | Verified MAE | Full MAE | Pro MAE |

|---|---|---|---|---|

| 均匀随机采样 | 6.632 | 5.482 | 2.227 | 3.832 |

| Mid-Range原始 | 18.448 | 16.449 | 24.709 | 22.798 |

| ATLAS-port | 2.689 | **1.861** | 0.957 | 7.736 |

| PTA-IRT | 2.724 | 2.177 | 2.280 | 2.731 |

| **HSPR(本文)** | **1.927** | 1.915 | **0.717** | **2.098** |

四个基准的平均误差(macro MAE)上,HSPR是1.664个百分点,而表现第二好的PTA-IRT是2.478个百分点,差距超过三成。

研究者还做了一系列对照实验:去掉分层的组不确定性建模,误差从1.664涨到1.808;把自适应问询换成固定策略,误差涨到3.085甚至2.934;把最终算分方式从中位数换成均值,误差略微上升到1.674。每一项设计都在为最终的准确度做贡献,只是贡献大小不同。

论文还测试了预算从5%一路提高到20%时的变化趋势,发现HSPR的误差随着预算增加稳定下降,从2.562降到1.262个百分点,这说明这套方法不仅在极端低预算下有效,随着预算放宽还能持续吃到更多观测数据带来的红利。

写在后面

读这篇论文的时候,最让我停下来想了想的,其实不是HSPR这套数学框架本身,而是那个Mid-Range的对比实验。

一个方法排名准到肯德尔系数0.967,接近完美,但分数误差却高达22.8个百分点。这组数据放在一起看特别讽刺:它说明了"排对名次"这件事,可能给人一种虚假的安全感,你以为自己掌握了真相,其实只掌握了真相的一个侧面。这提醒我,在看任何评测排行榜的时候,都得多问一句:这个排名背后的具体分数靠谱吗,还是只是顺序恰好对了?

另一个让我印象深刻的细节,是"源头全零题"那部分。历史上所有agent都失败的题目,不代表新agent也一定失败,而HSPR的分层设计恰好能捕捉到这种"过去的失败不等于未来的失败"的可能性。这其实是个挺有普遍性的道理,不只适用于AI评测,放在任何预测未来的场景里都成立:历史数据再详尽,也只能告诉你过去发生了什么,未来永远留着一道不确定的缝隙,重要的是你的方法是否承认并善用这道缝隙,而不是假装它不存在。

这篇论文没有解决的问题也挺值得琢磨。它的分组和残差因子,全部是从历史agent的数据里学出来的,如果某一代新agent和过去所有agent的底层架构都截然不同,这套历史结构还能不能继续发挥作用,论文自己也承认这是待验证的部分。评测方法本身,似乎也逃不开"用旧地图找新大陆"这个老问题。

如果你手上也有一堆历史数据,却只能对新来的样本做很少的测试,你会优先相信排名,还是优先要求一个靠谱的分数?

Q&A

Q1:HSPR是什么?

A:HSPR全称Hierarchical Score Posterior Recovery(层次化分数后验恢复),是一种只需测试少量任务(比如10%)就能推算AI软件开发agent在完整基准测试上真实得分的方法,核心是结合历史数据的分层建模和自适应问询策略。

Q2:为什么只抽测10%的题目还要专门设计算法,直接取平均分不行吗?

A:不行。论文实验显示,像Mid-Range这类选题策略虽然能保持模型间的排名顺序(肯德尔系数0.967),但直接取子集平均分的误差高达22.8个百分点,而用HSPR这样的方法能把误差降到2点多,排名准不代表分数准。

Q3:HSPR在哪些基准测试上验证过效果?

A:论文在SWE-bench家族的四个题库上做了测试,分别是Lite(300题)、Verified(500题)、Full(2294题)和Pro(730题),HSPR在10%预算下于三个基准上取得最低平均绝对误差,四个基准上最大误差均为最低。

文章标签AI资讯

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。