你有没有想过，如果让AI假装成一个人，去填一份心理学问卷，它能装得多像？
这不是一个脑洞问题。现在真的有研究团队在做这件事，而且用上了一种全新的技术，专门为这个目的而生。今天要讲的这篇论文,就是两位研究者对这件事做的一次彻底体检。体检结果有点扫兴:看起来很厉害的新技术,表现其实还不如一个几十年前就有的统计模型。
**决策模型:一种听起来很美好的新发明**
先说说这个新技术是什么。
决策模型*：一类通过统一接口调用的语言模型，它读取一段描述(比如一个人的档案),然后针对一组问题,直接返回每个答案选项的概率,而不是生成一段文字。
举个例子,假设你问它"这个人多大概率会选'非常同意'",它不会写"我觉得这个人应该会选非常同意",而是直接甩给你一个数字,比如0.53。这意味着在模型的"判断"里,有53%的可能这个人会选这一项。
这个设计思路其实挺聪明的。以前让AI模拟问卷填写者,得让它生成一段文字回答,然后你还要想办法从文字里解析出到底选了几分。这个过程特别容易出错,模型可能啰嗦半天不给出明确答案,也可能前言不搭后语。决策模型直接跳过了这一步,给你一个干净的概率分布,还不花钱生成那些没用的文字,一次请求能同时问六十多个问题。
这就像去餐厅点菜。以前的方式是服务员拿着一张写满菜名的纸,让你口头描述你想吃什么,然后服务员根据你的描述猜测你要点哪道菜,猜错了还得重新沟通。决策模型的方式是直接给你一张选择题式的菜单,每道菜后面标好了"顾客选择概率",你一眼就能看到数据,不用猜。如果不这样设计,会发生什么?论文里提到,传统生成式模型确实偶尔会出现解析失败、拒绝回答、或者生成一堆无关的推理过程,这些问题在决策模型这里完全不存在。
听起来这应该是个大胜利对吧?毕竟干净、便宜、快速。但研究团队测试完之后发现,事情没那么简单。
**先搞清楚这次测试到底在测什么**
研究团队用的是一份立陶宛的组织心理学问卷,一共二百六十三个真实员工填写过。这份问卷包含四个量表,一共六十八道题,涉及工作表现、对变革的态度、变革投入度和工作投入感。
**他们从这二百六十三个真实回答者里挑出一百人,把这一百人的基本信息(年龄、性别、职位、教育程度等十一项)喂给各种AI模型,看AI能不能根据这些信息,猜出这个人大概会怎么填这份问卷。**
这个评分标准叫做心理测量相似度分数,简称PSS。
PSS*：一个综合评分,由五个部分加权组成,分别衡量答案分布的相似度、题目之间相关性模式的相似度、量表内部一致性的相似度、中介效应的相似度,以及人口特征对结果影响方向的一致性。
这五个指标凑在一起,想回答的核心问题是:AI生成的这群"假人"的答案,到底像不像真人?不是看单个问题答得对不对,而是看整体的统计特征是不是吻合。
研究团队测试了十四个决策模型(来自十一个不同的服务商)和四十七个常见的生成式语言模型,还拿了几个统计学基准模型做对照,其中最重要的一个叫高斯联合分布模型。
高斯联合分布模型(也叫Copula模型)*：一种纯统计学方法,它不理解问卷内容,只是根据已有真人数据里各题目之间的相关性,去生成符合同样统计规律的新数据。
这个模型完全不"理解"问卷在问什么,它只是个数字游戏,靠真人数据的统计规律去拼出新的答案。听起来有点笨,但它其实是整篇论文里最大的悬念来源。
**最好的AI,也只能打平一个不懂问卷内容的统计模型**
现在来看最扎心的发现。
四十七个生成式语言模型里,表现最好的叫MiniMax M3,拿到了0.813分。这个分数看起来不错,毕竟满分是1。
但问题来了。那个什么都不懂、纯靠统计规律硬凑的高斯联合分布模型,如果只用这一百个人之外的其他真实数据训练(也就是说完全没见过这一百个要被模拟的人),照样能拿到0.824分。
这意味着,最聪明的AI语言模型,竭尽全力去理解一个人的档案信息,去"扮演"这个人填问卷,最终结果竟然追不上一个压根不知道问卷在问什么的统计公式。而如果让这个统计模型直接在这一百人的真实数据上训练(相当于作弊,直接看过答案),它能冲到0.927分,把所有语言模型甩开一大截。
这就好像请一位非常博学的翻译,让他根据一个人的护照信息(国籍、年龄、职业)去猜这个人今天中午想吃什么菜,结果他猜测的准确度,还不如一个什么都不懂、纯粹靠"这个餐厅过去一百份订单里各种菜被点的比例"去瞎蒙的点菜机。如果语言模型真的理解了人类心理和行为模式,它应该能超越这种纯粹的统计拼凑,但实验结果说,它没能做到。
更值得玩味的是,研究团队还找了另外一百个真实的人,把他们的真实答案拿来和这一百人的真实答案做对比,结果这第二批真人的分数,反而比最好的AI模型还低。
**这说明在一百人这个样本规模下,这个评分体系根本没办法把最好的AI语言模型和真实的人类区分开来。**
这不是说AI已经和人一样好了,而是说在这个样本量下,噪音大到让这个比较本身失去了意义。
**换个读数方式,成绩天差地别**
决策模型最大的卖点是它返回的是概率分布,不是单一答案。这就带来一个有意思的问题:同一组概率数字,你用不同的方式把它变成"一个答案",结果会不会不一样?
研究者试了三种读数方式。第一种叫四舍五入期望值,就是把概率分布加权平均算出一个期望分数,再四舍五入成最近的整数选项。第二种叫最可能类别,就是直接选概率最高的那个选项。第三种叫抽样类别,就是按照概率随机抽一个选项出来,重复五次取平均。
结果显示,这三种读法得出的分数能差出一大截。
比如Jev这个决策模型,用第一种四舍五入方式读数,得分是0.681,排在决策模型里的第一位,但放到四十七个生成式模型的排行榜里只能排第27。而如果换成第二种"最可能类别"读法,它的分数直接跳到0.786,能挤进生成式模型榜单的前五名。
这就像考试打分。同一张答卷,如果老师按"四舍五入"规则改,这个学生得75分;如果老师换个规则按"选最高概率答案"改,同一张卷子突然变成了90分。这不是学生答得更好了,是改卷规则变了。研究者点出了这背后的风险:**一个分析师如果先看完所有打分方式的结果,再挑一个对自己最有利的方式来展示,这就是一种隐藏的操作空间,会让人误以为模型表现有提升,实际上只是选择了对自己有利的统计口径。**
论文建议,这种读数方式必须在看到结果之前就定好,不能看完数据再挑。
**概率向量到底装了什么东西**
接下来研究团队做了件挺细致的事,他们把决策模型返回的概率向量拆开来看,想搞清楚里面到底藏了什么信息。
结果发现一个有趣的分裂现象。
把所有一百个人的概率向量平均起来,得到的分布和真实人类的答案分布非常接近,JS散度(衡量两个分布差异的指标,数值越小越接近)只有0.037到0.156,比直接看四舍五入后的答案(0.218到0.411)精准得多。
**这说明决策模型对"整体人群会怎么答"这件事,判断得相当准。**
但是,当研究者去看"这个概率向量到底能不能分辨出不同的人"时,答案就不那么乐观了。向量里真正跟着不同respondent变化的部分,只占0.024到0.304。换句话说,大部分信息是"全人群平均水平",只有很小一部分是"这个具体的人跟别人不一样的地方"。
**这就是为什么模型的平均画像很准,但预测单个具体的人时却经常失准。**
这就像一个天气预报员,他能非常精准地告诉你"这个月平均气温是多少",但你问他"明天具体几点下雨",他的答案就开始飘忽不定了。平均值和个体预测,完全是两件事,前者容易做对,后者才是真正的挑战。
**预测单独一个人,AI还是不如"随便猜别人的答案"**
这是整篇论文里最直白的一个结论。
研究团队设计了一个测试:用决策模型给出的概率向量,去预测这一百个具体人实际是怎么答题的,看预测得准不准。他们用了一个叫作排序概率得分的指标。
排序概率得分(RPS)*：一种严格合规的评分方法,它会奖励那些真实反映自己判断不确定性的预测者,而惩罚那些虚假自信或方向错误的预测。
他们把这个得分拿来和一个超级简单的对照组比较:什么都不用管这个人的档案,直接用问卷里其他一百六十三个人的答案频率分布,去预测这个人会怎么答。
结果是,十四个决策模型,全部,没有一个例外,预测得都比这个简单粗暴的"猜平均"策略差。差距从6%到55%,中位数差了20%。
这个结果有点让人意外。模型明明看过这个人的档案信息,包括年龄、职位、教育程度、变革感知强度等等,结果还是输给了完全不看这个人任何信息、只知道"大家平均怎么答"的策略。
研究者进一步分析发现,这个问题的根源不是模型没有利用档案信息,而是模型的"平均答案本身"就偏离了真实人群的平均答案,外加它把不同的人分得太开,拉得比真实差异更大。打个比方,如果一个班的平均身高是165厘米,方差很小,大家都差不多高,但有个老师凭感觉乱猜,把每个学生的身高都估得忽高忽低,结果反而比"直接说所有人都是165"误差更大。如果不先把这种过度自信的预测拉回来,校准一下,它造成的误差比什么都不预测还严重。
有意思的是,如果把每个人的个人档案信息,直接拿去做一个最简单的统计回归模型(逻辑回归),用来预测这个人怎么答题,这个简单回归比"猜平均"策略只提升了1.0%。
**这意味着,这十一个档案字段(年龄、性别、职位等)本身,对预测一个人具体怎么答题,帮助非常有限。**
这也解释了为什么无论是决策模型还是生成式模型,靠着这些档案信息去"扮演"一个具体的人,都注定困难重重。档案信息本身就不够,这不是模型笨,是题目本身给的线索就不多。
**题目之间的关联,AI模仿得像不像**
心理学问卷有个特点,题目之间不是孤立的。比如一个对工作充满热情的人,通常在"投入感"这个量表的好几道题上都会给出一致的高分。这种题目之间的相关性模式,是衡量AI模拟质量的重要维度。
决策模型在这方面表现得不太好。
研究者发现一个很直接的技术原因:决策模型对每一道题,是独立生成概率分布的,题目之间没有一个共享的"respondent状态"去串联起来。打个比方,这就像让十个不同的面试官,分别单独面试同一个候选人的十个不同方面,面试官之间互不通气,最后拼出来的候选人画像,各个维度之间就很难呈现出应有的内在联系。
为了验证这个猜测,研究者做了个检验。他们单独训练一个"档案回归模型",只用那十一个档案字段去预测每道题的答案,看看光凭档案信息能支持多强的题目相关性。结果显示,这个纯档案模型的相关性得分只有0.23左右,而十四个决策模型里的十二个,表现都比这个纯档案模型好。
**这说明决策模型确实恢复了一部分题目之间的关联,但远远不如大多数生成式语言模型。**
更深层的问题在于,决策模型捕捉到的那点关联,主要是一个"整体水平"效应,也就是说,如果一个人在某道题上答得高,它倾向于让这个人几乎所有题目都答得高,而不是精确地区分出"这个人在投入感维度上高,但在变革态度维度上普通"这种细致的差异化模式。用因子分析的术语说,第一主成分(也就是那个"整体水平"方向)在决策模型的答案里占据了52%到85%的方差,远超真实人类数据的28%。
**也就是说,模型学会了"这个人整体积极还是消极",但没学会"这个人在哪方面积极、在哪方面消极"这种更精细的结构。**
**新版本的AI,反而不一定比旧版本强**
这篇论文里最让人意外的发现之一,是关于模型迭代的。
研究团队本来假设,新发布的AI模型应该比旧版本表现更好,毕竟厂商一直在喊"性能提升"。但实际测试完全不是这样。
在十条可比较的产品线里(比如Claude Opus系列、GPT系列、Kimi系列),有五条产品线的最新版本,得分明显低于上一代版本,差距超出了统计噪音范围。没有一条产品线的新版本显著超过了老版本。
举个具体例子,Claude Opus 4.7得分0.789,升级到Claude Opus 4.8掉到0.740,再升级到Claude Opus 5.5直接掉到0.606。一路下滑,没有回头。Kimi K2.7 Code的得分是0.802,到了Kimi K3,掉到了0.641。
这就好比你买了一部新手机,厂商告诉你新款拍照更清晰、性能更强,结果你实测下来,拍人像的还原度反而不如上一代。研究者猜测,这可能跟厂商在训练模型时,越来越倾向于让模型给出"温和""中立""不极端"的回答有关,这种倾向对日常聊天助手是好事,但对需要模拟真实人类情绪波动和立场差异的调查问卷场景,反而是一种伤害。研究者发现新版本模型用的答案分布确实更窄、更集中,极端答案比例更低,这符合"模型变得更保守"的猜测。
如果不是专门做这种对比测试,一个研究团队很可能默认"升级模型总是更好的选择",换了新版本接口却完全没意识到,手里的合成数据质量其实悄悄下滑了。
**同一个模型,换个接口,表现天差地别**
论文里有一个特别巧妙的对照实验。GPT-6 Luna这个模型,同时提供两种接口:一种是常规的生成式接口(让它写文字回答),一种是决策模型接口(让它直接返回概率)。
同一个模型名字,两种接口,表现差多少?
答案是,相关性结构这一项,生成式接口得分0.566,决策接口只有0.339,差了0.23分,这个差距超出了噪音范围。换句话说,**同样一个模型,仅仅因为被要求用不同的方式回答问题,它对题目之间关联模式的还原能力就出现了明显的分化。**
这就好比同一个厨师,做同一道菜,用炒锅做出来和用微波炉做出来,味道能差出一大截,不是因为厨师水平变了,是因为烹饪方式本身决定了最终呈现的样子。
**档案信息被换了,AI反应得像不像人**
研究者还做了一组"反事实"实验,把同一百个人的档案信息里的某一项字段偷偷换掉,比如把"管理层"换成"非管理层",把"大学学历"换成"中学学历",把"女性"换成"男性",然后看AI生成的答案会不会跟着变,变化的方向和幅度,跟真实人类数据里的差异比起来,是不是合理。
结果显示,把职位从非管理层换成管理层后,决策模型确实会让"对变革的态度""投入感"这些分数往更积极的方向移动,这个方向和真实人类数据里管理层通常更积极的趋势是一致的。但移动的幅度,中位数只有0.22个标准差,而真实观察到的人类职位差异是0.46个标准差,**差了整整一半。**
性别这项字段换了之后,无论是决策模型还是生成式模型,都几乎没有产生有意义的变化,这点倒是符合预期,因为真实数据里性别对这些心理量表确实没有显著影响。
这组实验说明,决策模型确实在"读"档案信息,不是完全忽略它,但读出来的反应强度偏弱,没有把档案信息里暗含的社会学意义充分放大出来。
**花了多少钱,得到了什么**
这篇研究里有个挺朴实的细节值得一提。整个决策模型实验,十四个模型,一百个人,六十八道题,全部测试加起来,只花了1.27美元。
而对照的生成式模型实验,跑新发布的那十一个模型,花了15.05美元。
决策模型便宜了十倍以上,这确实是它最大的实用价值所在,毕竟不需要生成冗长的文字,只需要返回数字。但正如前面所有分析展示的,便宜不等于好用,它在题目相关性结构、单人预测准确度这些关键维度上,都没能超越那些贵得多的生成式模型,更没能超越完全不花钱、不用调用任何AI接口的统计模型。
**这篇论文给出的态度挺克制的,它不是说决策模型没用,而是提醒大家,便宜和干净的输出格式,解决的是工程层面的痛点,不等于解决了"AI到底理解不理解人"这个更根本的问题。**
Q&A
Q1：决策模型和普通的生成式语言模型有什么区别？
A：决策模型针对每道题直接返回每个答案选项的概率分布，而不是生成一段文字再去解析答案。它更便宜、更快，也不会出现解析失败、拒绝回答这类问题，但代价是题目之间缺少共享的respondent状态，相关性结构还原得不如生成式模型。
Q2：AI模拟出来的问卷答案到底靠不靠谱？
A：从整体人群平均水平看，AI给出的答案分布和真实人类数据相当接近；但从预测单个具体人怎么答题的角度看，十四个决策模型全部不如直接用其他respondent的答案频率去猜，说明AI还没真正理解个体差异背后的规律。
Q3：新发布的AI模型是不是一定比旧版本更适合模拟人类回答？
A：不一定。论文测试了十条产品线的新旧版本对比，五条产品线的最新版本得分明显低于上一代，没有一条产品线出现显著提升，研究者推测这和模型训练时越来越倾向给出温和中立答案有关。
