你有没有想过，一张照片能告诉你多少“照片里没有的事”？
比如一张两个人站在走廊里的照片，你一眼就能看出谁是上司谁是下属，哪怕他们都穿着一样的衬衫。再比如看一眼路边停着的两辆车，你立刻就知道中间那条缝能不能再塞进一辆车，根本不需要拿尺子量。这种能力太自然了，自然到我们从来没把它当成一种“技能”来看待。
但如果让一个目前最顶尖的AI模型来做同样的事，结果会怎样？2026年发布的一项研究给出了答案，这个答案有点刺眼：人类在这类任务上的正确率是93.1%，而表现最好的AI模型只有53.6%。差了将近40个百分点。要知道，现在的AI在很多需要专业知识、复杂数学推导的任务上已经逼近甚至超过了人类专家，可一旦换成这种“一看就懂”的直觉判断，它反而掉链子了。
这篇论文的名字叫《人类的第六感》，英文是Humanity's Sixth Sense，简称HSS。
**HSS**：一个专门用来测试AI能不能像人一样，从图片或视频里“读出”没有被明确画出来的信息的评测基准。
这个名字听起来有点玄乎,实际上它指的是一种很具体的能力:看一眼场景,就能推断出过去发生了什么、接下来会怎样、谁和谁是什么关系、这个安排藏着什么规律。研究者管这叫“视觉直觉”,是那种快到不需要刻意思考、靠日常经验就能完成的判断。
**为什么现在的AI评测都测不出这个短板**
这里要先说清楚一件容易混淆的事:现在市面上那些“视觉能力很强”的AI评测,其实大多考的不是这种直觉。
举个例子,像MMMU、HLE这类基准,给AI一张图,图上是个数学图形或者科学图表,AI要做的是看懂图上写了什么数字、什么符号,然后用它的推理能力去解一道题。这种任务的特点是,只要你把图片里的信息完整转述成文字,题目依然能做。换句话说,图片在这里只是信息的“搬运工”,真正的难点在后面的符号推导上。
还有一类评测,比如V*、Video-MME,考的是你能不能在一堆杂乱信息里找到答案,比如在一段长视频里找出某个一闪而过的细节。这类任务的难点是“找”,答案明明就在画面里,只是不容易发现。
HSS故意避开了这两种情况。
它要求的是,答案根本没有出现在画面里,你必须靠对世界的常识去“推”出来。研究者给这类任务定了三条硬规矩:第一,如果把画面放大、看清楚了就能直接看出答案,这题不算数,因为这测的是眼力不是推理;第二,如果需要专业知识或者复杂计算才能解出来,这题也不算数,因为这测的是专业技能不是常识直觉;第三,题目和答案必须让所有审核人员达成一致意见,不能有歧义。
这三条规矩听起来简单,执行起来却异常严苛。研究团队一共让标注员写了3466道题,结果经过三轮独立审核后,只有522道题活了下来,通过率只有15.1%。第一轮审核就刷掉了三分之二的题目,主要原因就是“这题看一眼图就知道答案了”或者“这题的答案存在争议”。
这个筛选过程本身就说明了一件事:要测出纯粹的直觉能力,比想象中难得多。因为人脑在做这种判断时,往往自己都说不清楚“为什么我这么觉得”,把这种模糊的直觉变成一道有明确标准答案的考题,中间要跨过的坎非常多。
**四个维度,十一个子类:给“直觉”画一张地图**
HSS把这种直觉拆成了四个大类,十一个小类,每一类对应人脑在处理视觉信息时的一种独特能力。
第一类叫时间与因果动态,简单说就是“看一眼画面,推出前因后果”。比如看一段视频里有人把一根铁轨扳到了另一侧,AI要推断出这个动作改变了后续列车的行进方向。这类任务下面又分成三个小类:倒推过去发生了什么、理解当下的物理机制、预测接下来会怎样。
第二类是物理与空间逻辑,考的是对空间结构的理解。比如给一张停车场的照片,问能不能在两辆车之间再塞进一辆车。这类任务里有个特别有意思的子类,叫“外星视角”,意思是让AI想象自己站在画面里另一个人的位置上,判断那个人能看到什么、够不着什么。这其实对应了人脑一种很强的能力,叫心理旋转,就是你闭着眼睛也能想象出“如果我站在那个角度会看到什么”。
第三类是社会理解,考的是人与人之间看不见的那层关系:谁在生气但没表现出来,谁其实握有权力,谁正在撒谎。这类任务几乎全靠视频来呈现,因为意图和情绪往往需要一段时间的动作才能显露出来,一张静止的照片很难传达“这个人正在生气”这种状态。
第四类是抽象与情境推断,考的是从一堆散落的信息里找出隐藏的规律。论文里举了个很妙的例子:一排烧杯上贴着标签,前四个分别写着40、50、60、70,第五个标签模糊看不清,AI要推断出它写的是80,因为这是一个等差数列。
这四类加起来覆盖了认知科学里研究了几十年的几个经典领域:对物体和空间的核心认知、直觉物理学、还有心智理论,也就是推断别人在想什么。研究者把这些学术概念重新打包,变成了可以具体打分的考题。
这里有个类比或许能说清楚这个设计的用意。想象你在教一个刚学会走路的孩子认识世界,你不会直接给他讲牛顿力学公式,你会扔给他一个球,让他自己摸索出“往上扔的东西会掉下来”这个规律。如果你非要用公式去考他,他当然考不过已经学过物理的大人,但这恰恰说明你问错了问题,因为你想测的根本不是“他有没有学过物理”,而是“他有没有建立起对世界运作方式的直觉”。HSS做的就是把这个思路搬到AI评测上,它不问AI“你会不会算”,它问“你有没有活在这个世界上该有的那种常识”。
**53.6%对93.1%:这个差距到底意味着什么**
研究团队测了来自八家公司的25个主流AI模型,包括OpenAI、Anthropic、Google等几乎所有叫得上名字的厂商的旗舰产品。
结果最好的模型是GPT-6-astra,在开到最大推理强度的情况下,拿到53.6%的正确率。而人类标注员的正确率是93.1%。更扎心的是,大多数模型的分数不到40%。
研究者还做了一个很巧妙的对照实验,叫“盲测”,就是把图片或视频完全抽走,只留下文字问题,看AI能不能靠纯粹的语言知识猜出答案。结果显示,拿掉图片之后,表现最好的那个模型分数从53.6%直接掉到6.6%。这说明HSS确实在考验视觉信息,而不是让AI靠套路蒙对。更有意思的是,在522道题里,只有4道题是三次盲测都蒙对的,剩下蒙对的那些题,几乎都是那种“非A即B”的两选一问题,AI选了一边,然后编了一套看起来合理的理由。这就跟你蒙选择题一样,蒙对了不代表你懂,只是运气好押中了。
数据里还有两个细节值得拎出来说。
**视频比图片更难,社交理解是最弱的一环。**
23个模型里有23个在视频任务上的表现比图片任务差,平均低了7.3个百分点。这说明AI在处理“随时间展开的信息”这件事上还有明显短板,它可能看清了某一帧的画面,却串不起整段视频里的因果链条。而在四大类任务里,社交理解是全场最弱的一环,21个模型里有21个在这一类上拿到了最低分,平均正确率只有24.4%,比其他三类低了近10个百分点。这倒是挺符合直觉的,毕竟判断“这个人现在是不是在生气但没表现出来”,比判断“这个物体会往哪边滚”难多了,前者没有物理规律可以依赖,全靠对人类社会关系的敏感度。
人类标注员这边的数据也挺耐人寻味。20名标注员在同样的条件下作答,拿到93.1%的正确率,每道题还要求标注员打一个自信程度分。结果显示,标注员对522道题里只有63道感到“不确定”,占比12.1%,而即便是这些“不确定”的题目,他们的正确率依然有85.7%。这说明人类的这种直觉能力有个特点:就算你说不清楚自己为什么这么判断,这个判断本身往往还是对的。这跟AI完全不同,AI一旦“说不清楚”,往往也就真的判断错了。
**为什么AI会错:三大类失败原因**
研究团队没有满足于“AI不行”这个结论,他们找了24个模型在522道题上留下的8573次错误答案,逐条分析每次失败的根本原因,归纳出了十一种具体的错误类型,又把这十一种归并成了三大家族。
第一类叫感知错误,占了全部失败的53%,指的是AI对画面里明明存在的东西看错了,比如看错了物体朝向、算错了物体之间的距离比例,或者把二维画面里两个东西重叠在一起的样子,误判成了三维空间里它们真的靠在一起。这个“把二维重叠看成三维对齐”的错误特别顽固,占了9.1%的失败,后面会讲到为什么它格外难修。
第二类叫隐性推断错误,占41%,指的是AI没能从画面的间接线索里推断出那些根本没被直接画出来的信息,比如一个被遮挡的物体到底是什么形状,或者一个人的真实动机是什么。这类错误里占比最高的单项是“漏掉了关键线索”,占了21.3%,也就是说画面里其实藏着能解题的证据,但AI压根没注意到。
第三类叫推理错误,占比最小,只有5%,说明AI在“看懂了”之后,犯的逻辑推导错误反而是最少的。
这个比例分布本身就很有信息量。它说明AI的瓶颈不在“推理能力弱”,而在“看不准、看不全”。这跟我们一般对AI的刻板印象刚好相反,很多人觉得AI推理不够强,但实际上数据显示它推理环节的失误反而是三类里最少的,它的问题出在更前面,出在视觉信息的提取环节。
研究者还发现一个有点意外的规律:在那些有五个以上模型都做错的题目上,这些模型里有80%的中位数是因为同一个原因而出错。这说明AI的错误不是随机的,也不是某个模型特有的毛病,而是整个技术路线上存在一个共性的薄弱点。
**给AI装上“放大镜”,能不能补上这个短板**
既然AI的问题主要出在“看”这个环节,那给它一个工具,让它能主动放大、裁剪、反复查看画面细节,是不是就能解决问题?
研究团队确实测试了这个思路,他们把AI放进两种“智能体”工作框架里,一种叫Claude Code,一种叫Codex,这两种框架允许AI不只是看一眼就答,而是像人一样反复观察、裁剪局部、放大细节,甚至写代码去分析像素。
**智能体工作流**：一种让AI模型可以主动调用工具、多轮操作后再给出最终答案的工作方式，而不是看一眼就直接作答。
结果显示,这种“反复看”的策略确实有帮助,但帮助有限。用Claude Code框架,两个模型的正确率分别提升了16.5和20.5个百分点,但代价是思考token消耗暴涨到原来的12到14倍,相当于让AI把同一张图翻来覆去看了几十次。用Codex框架,提升幅度小一些,只有4.9到7.5个百分点,但消耗的额外计算资源也少得多。即便是表现最好的组合,Codex配上GPT-6-astra,最终也只拿到59.3%,离人类的93.1%还有一大截距离。
更关键的是,研究者又把这些智能体答错的题目拿去做了同样的失败原因分析,发现一个很说明问题的现象:感知类错误和隐性推断类错误确实大幅下降了,降幅在19%到37%之间,说明反复放大、裁剪确实能帮AI找到之前漏掉的线索。但那个“把二维重叠看成三维对齐”的错误,数量几乎没有变化,从102降到101,几乎等于没降。
这个细节特别值得琢磨。你放大一张照片里两个物体重叠的区域,看得再清楚,它依然只是一张二维图片,它本身不包含深度信息。这就好比你盯着一张画拍出来的照片,无论你把镜头拉近多少倍,都看不出画里的苹果到底是放在桌子前面还是后面,因为这个深度信息压根没被相机记录下来,放大镜能解决的是“看清楚”的问题,解决不了“信息本来就没有”的问题。研究者还注意到,智能体在反复查看的过程中,有时候会出现“越看越糊涂”的情况,原本第一眼判断对的事,因为反复分析反而把自己说服成了错的答案,这跟人有时候“想太多反而想歪了”颇有几分相似。
**推理越多越好吗?不一定**
论文还做了一个很细致的消融实验,专门测试“让AI想得更久,是不是就能想得更对”。
结果出乎意料。在某些子任务上,把AI的推理强度从中等调到最高,反而会导致正确率下降。比如GPT-6-astra在“倒推过去发生了什么”这类任务上,把推理强度从high调到xhigh,正确率反而掉了14个百分点。整体来看,很多模型的最佳表现并不是出现在推理强度最高的那一档,而是出现在中间档位。
这个发现跟论文的核心主张形成了一种有意思的呼应。研究者反复强调,这种直觉判断本质上是“快速、自动、不需要刻意推导”的,如果你让AI对着一道直觉题苦思冥想,反而可能把自己绕进一个过度分析的陷阱里,就像一个人盯着一张脸看太久,反而开始怀疑这张脸到底好不好看一样。原本一眼就能判断的事,被过度拆解之后,反而失去了那种直截了当的准确性。
视频输入的采样密度也做了类似的测试。研究者把视频抽帧数量从10帧一直加到500帧,发现每个模型的表现都随着抽帧数量增加而提升,但提升幅度在100帧之后就明显放缓了,甚至有的模型从100帧加到500帧之后反而小幅下降。这说明给AI喂更多视觉信息并不是无限有效的,存在一个边际收益递减的点。
**结果靠不靠谱:谁来给AI打分**
HSS采用的打分方式是让另一个AI模型当裁判,去判断被测模型的回答有没有满足预先写好的评分标准。
这种方法听起来有点自己人考自己人的味道,研究者自己也意识到这个风险,于是专门做了一轮交叉验证,找了三个不同厂商的AI分别当裁判,给同样五个模型打分,结果显示三个裁判给出的排名完全一致,相关系数达到0.98以上,裁判之间的意见一致率超过95%。他们还专门检查了“裁判会不会偏袒自己家的模型”这个问题,结果显示没有发现明显的自我偏袒现象,有的裁判甚至在给自己同门模型打分时,反而打得更严格。这个交叉验证的细节说明,53.6%这个分数不是因为裁判手松或者偏心造出来的,它是一个相对可信的结果。
**写在后面**
读完这篇论文,最让我意外的一点是,AI的短板居然不在它一直被诟病的“推理能力”上,而在最基础的“看懂画面”这个环节。我们过去担心AI会不会推理错误、会不会逻辑跳跃,结果数据告诉我们,它推理环节的失误只占5%,反而是感知和推断加起来占了94%。这说明问题可能比我们想的更底层,不是算法不够聪明,而是它对视觉世界的理解方式和人类根本不是一回事。
还有一个细节我反复想了很久。那个“二维重叠误读成三维对齐”的错误,放大镜和智能体工具都治不好它。这其实暗示了一个更深的问题:AI从训练数据里学到的,是像素和像素之间的统计关联,而人类理解空间,靠的是从小到大身体在真实三维世界里摸爬滚打积累出来的直觉。这两种“理解”可能从根上就不是一个东西,一个是靠看图片学出来的二维模式匹配,一个是靠身体经验堆出来的三维世界模型。如果这个判断是对的,那单靠喂更多图片、调更大参数,恐怕很难真正补上这个缺口,它需要的或许是一种完全不同的学习方式。
论文里那个“推理强度越高、分数反而越低”的实验结果,也值得多想一层。这多少说明,直觉和深思熟虑可能真的是两套不同的认知系统,硬逼着一套系统去模拟另一套系统的工作方式,效果未必好。这让我想起人在做选择题时,第一反应往往是对的,反复纠结之后改掉答案,很多时候反而改错了。AI在这里展现出的现象,竟然和人类这种常见的认知陷阱如出一辙。
人类用93.1%的正确率完成的这套测试,放在十年前的我们眼里,恐怕根本不会被当成一道“题”,因为它太简单了,简单到我们从没把它当成一种需要专门测试的能力。而现在最顶尖的AI,面对这套题,只能拿到刚过一半的分数。这个落差到底会在未来多久被追上,还是说有些东西,AI永远需要用另一种完全不同的方式才能真正学会。
Q&A
Q1：HSS基准测试主要考察AI模型的什么能力？
A：HSS考察的是AI能不能像人一样,从图片或视频里推断出画面没有直接展示的隐含信息,比如事情的前因后果、物理空间关系、社交关系和隐藏规律,而不是测试AI的专业知识或者找细节的眼力。
Q2：目前表现最好的AI模型在HSS测试中能拿多少分？
A：表现最好的模型是GPT-6-astra,在开启最大推理强度的情况下拿到53.6%的正确率,而人类标注员的平均正确率是93.1%,两者差距接近40个百分点。
Q3：给AI模型加上智能体工具反复查看画面,能不能解决这个差距？
A：能缩小一部分差距,但解决不了核心问题。实验显示让AI用智能体框架反复放大裁剪画面,正确率提升了5到20个百分点不等,但消耗的计算资源暴涨数倍,而且像“把二维重叠误判成三维对齐”这类错误几乎完全没有改善。
