Token导航 LogoToken导航

AI 资讯 · 科技行者

AI模拟真人用户有多难

更新 2026-11-13科技行者正文 7750字阅读约 25分钟

2023年前后,推荐系统行业里流行一句话:上线前先问问AI用户怎么看。

听起来挺合理。毕竟真实的A/B测试太贵了,一个推荐策略改坏了,可能几天内就损失一大笔点击率和用户留存。如果能先找一个"假用户"帮你把关,省时省钱又安全。于是各家公司开始用大语言模型扮演用户,让它们在模拟环境里点来点去,提前预判新策略的效果。

但这里有个问题很少被正面回答:这些AI模拟出来的用户,真的像人吗?

更准确地说,它们像的是"人在某一刻说的话",还是像"人在长期使用一个产品后,心态会怎么变化"?这两者差距可能很大。

**现有的大多数LLM用户模拟器,本质上是在做即时反应的表演,而不是在建模一个人会随着时间疲惫、厌倦、或者重新燃起兴趣的过程。**

这就是这篇论文要解决的核心矛盾。研究团队给出的方案叫PsyBer-Agent,一个试图把心理学变量真正嵌入模拟逻辑里的用户智能体。

### 当前方法差在哪

想象你在玩一个文字冒险游戏,每一步NPC都会根据你刚说的话给出一个"看起来合理"的回应。单独看每一句对话,都挑不出毛病。但如果你连续玩十个小时,你会发现这个NPC从头到尾都是同一个状态,不会因为你反复问同一个问题而显得烦躁,也不会因为长时间互动而对你产生某种"熟悉感"的变化。

这正是论文里指出的现状。研究者统计了八个同类工作,包括RecAgent、Agent4Rec、UserSim、SimUSER等,发现它们大多只是"局部拟真":生成的单条用户行为看起来挺真实,但背后没有一个明确的、能追踪的状态转移机制在连接历史和未来。

**结果就是,局部的小偏差,会在长时间的交互里慢慢累积成巨大的行为漂移。**

这事其实不难理解。

如果一个模拟用户每次决策都是独立计算的,没有记忆上一刻的疲劳感,没有延续上一刻的情绪波动,那么它和真实用户的差距,会随着交互轮数增加而越拉越大,就像两条起点很近但方向角度差了0.5度的射线,走的越远分得越开。

论文还给出了一个具体的量化锚点:现有方法大多没有显式的"动态状态建模",也没有把用户心理学原理纳入计算过程,更缺乏跟真实日志对齐的机制。表格里列出的七八个代表性方法,几乎都在这三项上只能打个"部分实现"或者直接是"无"。

PsyBer-Agent想做的,是把这三项都补上。

### Psy-Engine:给每个模拟用户装一个"心理仪表盘"

PsyBer-Agent的核心叫Psy-Engine。

它给每个用户维护三个数字,分别代表认知储备、情绪满意度、自我一致性,统一压缩在0到1之间。

心理引擎(Psy-Engine):论文设计的核心模块,用一个三维向量追踪用户的认知、情绪和自我认同状态,随着每次交互动态更新。

你可以把这三个数字想象成一台老式汽车仪表盘上的三个指针:油量表、水温表、电池电量表。司机不需要去理解发动机内部的化学反应,但这三个指针的变化,直接决定了车什么时候该加油、什么时候该停下来休息。

这三个指针具体是怎么动的?

论文定义了一套计算规则。用户看到一个推荐内容,系统会先算出这个内容本身的新颖度、认知负荷、和社会认同感(比如这东西有多少人点赞)这几个特征。然后根据这些特征,算出一个"吸引力"信号和一个"疲劳"信号,两者相减,就决定了认知指针往哪个方向走。

情绪指针和自我一致性指针则分别朝着一个"目标值"靠近,这个目标值由内容和用户长期偏好的匹配程度、以及社会认同感共同决定。

社会认同(Social Proof):心理学概念,指人在不确定时倾向于参考别人的行为来做判断,比如看到一个商品评分很高、评论很多,会更倾向于相信它靠谱。

论文里用了一个很克制的更新公式:下一时刻的状态,等于当前状态加上一个带衰减系数的调整量,再把结果限制在0到1区间内。衰减系数设为0.35,是作者做了参数敏感性测试后选的,测试结果显示这个值能让状态轨迹的内部一致性误差最小。

这里要诚实地说一句:论文反复强调,这三个数字是"模型定义的计算构造",不是通过心理学问卷验证过的真实心理测量。换句话说,Psy-Engine不是在宣称自己真的测出了用户的心理状态,它只是在用一套固定、可控、可解释的规则,去逼近"用户心理会随时间变化"这个现象。

**这个诚实的边界划分很重要,因为它决定了这篇论文能被信任到什么程度。**

如果没有Psy-Engine会怎样?论文做了对照实验:去掉这个模块之后,CTRGap(点击率偏差)从0.26直接飙到0.75,几乎翻了三倍。这说明哪怕这个心理状态是"构造出来的",它依然在实际预测行为时起到了关键作用,就像仪表盘上的指针哪怕不是发动机本身,依然能告诉你车快没油了。

### 怎么让这套心理引擎和真实数据对上号

光有一套自洽的心理模型还不够,还得让它跟真实的用户日志对得上。

但这里有个尴尬的地方:历史日志只记录了用户点击了什么,没有记录用户当时心里的认知、情绪、自我一致性数值是多少。这就好比你只有一份体检报告显示"血压突然升高",但没有记录当事人当时情绪是紧张还是兴奋。

论文的解决办法是,用真实点击的物品作为强制输入,"回放"到Psy-Engine里,倒推出一套"模型定义的参考心理轨迹"。

教师强制(Teacher Forcing):一种训练技巧,把已知的正确答案(这里是真实点击的物品)作为输入强行喂给模型,让模型按这个真实路径走一遍,用来生成可供对比的参考轨迹。

这样就得到了两条轨迹:一条是真实日志回放出来的参考轨迹,一条是模拟器自己跑出来的轨迹。接下来的问题是,怎么把这两条轨迹对齐?

这里论文用了一个数学工具,叫非平衡Gromov-Wasserstein最优传输(UGW)。

最优传输(Optimal Transport):一种数学方法,原本用来计算把一堆沙土从一个形状搬到另一个形状所需要的最小代价,这里被用来计算怎样把模拟轨迹的每一步,和参考轨迹的某个位置,用最合理的方式对应起来。

为什么非要用这么复杂的工具,而不是简单地按时间顺序一一对应?

因为真实用户和模拟用户的浏览节奏可能完全不同。真实用户可能10分钟内刷了50条,模拟用户可能慢悠悠刷了20条。如果强行按位置对齐,就像让两个走路速度完全不同的人手拉手走钢丝,一个人在跳着走,另一个在慢慢爬,强行同步只会让两人都摔下去。

UGW的"非平衡"特性,恰恰允许两条轨迹长度不同、节奏不同,还能容忍局部没有对应关系的情况,这才是真实世界需要的灵活度。

论文还做了一个关键的消融实验来验证这套对齐机制的价值。他们对比了四种方案:完全不做轨迹对齐的直接行为克隆、按位置硬性匹配、UGW但用均匀初始化、以及论文提出的带先验引导的UGW。结果显示,直接克隆的决策准确率只有0.242,而带先验引导的完整版本达到0.278,提升了3.6个百分点,同时CTRGap也从0.458降到0.406。

这组数字说明一件事:**轨迹对齐不是锦上添花的装饰,而是实实在在影响模拟质量的关键一步。**

### WebSim:一个让AI用户真的能"逛网页"的试验场

光有算法还不够,论文团队还搭建了一整套实验平台,叫WebSim。

这是一个基于Flask的闭环模拟器,用户交互和推荐系统推理是解耦的。换句话说,你可以随意更换背后的推荐算法(比如从LightGCN换成SASRec),而不需要改动模拟用户逻辑本身。

Flask:一个轻量级的Python网页开发框架,这里被用来搭建模拟用户和推荐系统交互的后台服务。

WebSim的界面设计也挺讲究。它用网格式布局呈现推荐内容,一行四列,用户可以点击、翻页、也可以随机重置。整个过程被完整记录下来,包括用户的心理状态轨迹、点击轨迹、运行摘要,方便后续复现和分析。

这套平台支持了七种主流推荐算法的接入测试,涵盖了从最简单的"按热门度推荐"(PopRec)到图神经网络(LightGCN)、再到基于Transformer的序列推荐模型(BERT4Rec)。测试场景覆盖电影推荐、电商购物、短视频浏览等多个真实业务领域。

**这意味着PsyBer-Agent不是一个只能在实验室跑一次的玩具,而是一套可以反复套用在不同业务场景、不同推荐算法上的通用评测工具。**

### 到底模拟得像不像人?

说了这么多设计思路,核心问题还是要落地到:这套系统模拟出来的用户行为,到底跟真人有多像?

论文做了一个相当硬核的实验:找来500个真实用户和500个模拟用户,让他们在完全相同的推荐界面和后台模型下进行互动,唯一的变量就是"决策者是人还是AI"。

结果显示,完整版PsyBer-Agent(用Qwen3-VL-235B作为底层大模型)与真人用户在命中率(HR@10)、排序质量(NDCG@10)、点击率(CTR)三个指标上的绝对差异分别只有0.003、0.0016、0.004。

这个差距小到什么程度?打个比方,如果你让100个真人和100个AI分别浏览同一批推荐内容,最终点击的概率差异不到千分之四。几乎可以说是贴脸互动。

但如果把记忆模块去掉,差距立刻拉大到0.016、0.0106、0.022,涨了超过五倍。如果再把用户画像信息也去掉,差距进一步扩大到0.04、0.0246、0.05,接近原来的十几倍。

**这组对照实验讲清楚了一件事:模拟用户像不像人,关键不在于底层大模型有多聪明,而在于你有没有给它装上记忆和身份认同这两个支撑结构。**

这就像让一个完全失忆、也不知道自己是谁的人去逛超市。他可能每一次挑选商品的瞬间反应都挺"正常",但如果他完全不记得十分钟前买过什么,也不知道自己平时的消费习惯,整个购物轨迹就会显得支离破碎,和一个真实消费者的行为模式格格不入。

论文同时做了跨场景的行为真实性测试,用JSD(分布差异)、皮尔逊相关系数、EMD(分布距离)三个指标,横向对比了MM-ML-1M(电影场景)和亚马逊杂志订阅(电商场景)两个数据集。结果显示,电商场景的拟合度明显更高,JSD普遍在0.2左右,相关系数超过0.5;而电影场景更分散,JSD在0.3到0.65之间波动。

论文给出的解释是,电商场景的用户偏好相对窄而集中(买杂志的人大多图实用),电影消费的语义空间却极为丰富(动作片、文艺片、纪录片的用户心态可能天差地别),自然更难精确模拟。

### 和同类产品比,差距有多大

研究团队还做了一轮硬碰硬的横向对比,把PsyBer-Agent和四个代表性的用户模拟器放在同一套固定候选集重放协议下测试,包括RecAgent、Agent4Rec、UserSim、DyTA4Rec。

结果显示,PsyBer-Agent在决策准确率上拿到0.275,是五个方法里最高的;CTRGap最低,只有0.406;JSD最低,0.286;相关系数最高,0.305;连推理延迟都是最短的,2.53秒。

而排在第二位的DyTA4Rec,准确率是0.254,CTRGap是0.455。中间差了将近5个百分点。

这说明一件事:显式建模心理状态,再配合真实日志对齐,确实比单纯依赖提示词工程生成的"看起来合理的行为",更接近真实用户的决策模式。

### 规模化测试:能不能扛住百万级并发

一个评测系统如果只能跑500个用户,那它顶多算个实验室玩具。真正要用在工业场景里,得能扛住海量并发任务。

论文把测试规模从500一路拉到500万任务,分别测量吞吐量、延迟、成功率和token消耗。

结果显示,从100K到500万任务,p95延迟(95%任务的最长响应时间)只是从2.74秒缓慢爬升到3.80秒,涨幅不到40%。成功率始终维持在91%以上。整个500万任务跑完花了大约20358分钟,折合14天多,期间消耗了超过5200万K的token。

**这组数据说明的核心事实是:延迟增长是可控的、线性的,不是失控的指数爆炸。**

这就像一个餐厅从每天接待50桌客人,突然要接待5万桌。如果后厨完全没有标准化流程,光靠厨师凭感觉掐火候,到了高峰期必然乱套,出餐速度会随着订单量暴增而指数级下滑。但如果提前做好了标准化的备菜流程、分区域的厨师调度,哪怕订单量翻了一千倍,出餐延迟也只会线性地、可预期地增加,而不会突然崩溃。

论文还透露了一个关键的工程细节:绝大多数决策(约99.4%)是由一个轻量级的"快速策略"模块独立完成的,只有大约0.6%的决策需要调用成本更高的大语言模型/视觉语言模型作为兜底,另外0.04%的决策在所有路径都失败时随机兜底。

快速策略(Fast Policy):论文训练的一个轻量级决策模块,它从UGW对齐产生的软监督信号中学习,大多数时候可以独立做出决策,不需要每次都调用昂贵的大语言模型。

这解释了为什么系统能扛住百万级并发,又不至于把API费用烧穿:**真正费钱费时间的大模型调用,被压缩到了不到百分之一的决策量上。**

### 把每个零件拆开看看,哪个最关键

研究团队还做了细致的消融实验,把系统拆成几个零件,一个一个去掉看看效果变化。

去掉预处理模块(负责把用户信息、物品信息转成结构化输入),CTRGap从0.26涨到0.87;去掉Psy-Engine,CTRGap涨到0.75;去掉UGW对齐机制,CTRGap涨到0.69;去掉融合记忆模块,CTRGap涨到0.30。

有意思的是,去掉记忆模块对CTRGap的影响相对较小,但对CES-MSE(内部心理状态一致性误差)的影响却很明显,从0.0636涨到0.1254,接近翻倍。

CES-MSE:论文定义的一个一致性指标,用来衡量模拟器生成的心理状态轨迹,和用真实日志回放出来的参考轨迹之间,差了多少。数值越低说明内部状态越自洽。

这说明记忆模块的作用更偏向"维持内在逻辑的连贯性",而不是直接拉高点击率这种表层指标。就像一个人如果突然失忆,可能短期的购物决策看起来还算正常,但长期下来,他的整个消费心理状态会变得前后矛盾、不可预测。

论文同时测试了信息通道的消融,分别去掉物品信息、心理变化信号、用户身份画像、场景信息。结果显示,去掉场景信息对CTRGap的影响最大(涨到0.52),去掉心理变化信号对CTRGap的影响也相当显著(涨到0.88)。这进一步印证了心理状态建模确实在真实发挥作用,不是摆设。

### 这套系统在压力测试下会不会崩

论文还专门设计了一轮鲁棒性测试,从行为层面、决策层面、系统层面三个角度去"折腾"这个模拟器。

行为鲁棒性测试里,研究者给用户历史信息加噪声、改变浏览节奏、甚至直接把场景换成一个全新的、模型从没见过的领域。结果显示,轻微扰动和短期历史噪声(10%-20%)影响很小,相对下降幅度在1%到10%之间;但长程浏览轨迹(track=100)相对下降幅度飙到55%,跨领域迁移的曝光分布差异也明显增大。

这说明一件事:**长时间的持续交互,是这套系统目前最大的软肋。**

就像一个翻译软件,处理一句话的时候表现得体,但如果让它连续翻译一整本小说,上下文积累的误差会不会越滚越大,这确实是个值得警惕的问题。论文也坦诚地承认了这一点,没有回避。

决策鲁棒性测试里,研究者随机遮盖点击历史、打乱候选排序、插入干扰项、甚至故意制造矛盾信号。结果显示,大部分扰动下决策一致性都保持在100%,只有"矛盾信号"这种极端情况下才降到98.33%,策略偏移也只有0.03。

系统鲁棒性测试里,研究者对记忆模块做截断、打乱顺序、注入过期信息、随机丢弃。结果显示,所有情况下成功率都维持在100%,延迟增幅最大也只有7.6%。

**这组数据传达的信号是:这套系统面对局部的小扰动相当稳健,真正的脆弱点在于长时间跨度的累积误差。**

### 群体行为:社会线索会不会引发"从众效应"

论文还做了一个挺有意思的附加实验,专门研究模拟用户在看到社会线索(比如评分很高、热度徽章、评论区情绪倾向)时,会不会出现从众行为。

结果显示,模拟用户对评论情绪的"响应度"相当高,情感一致性指标普遍在0.99以上,几乎是逐字逐句跟评论区的情绪对齐。但这种情绪对齐,并没有转化成强烈的从众点击(herding gain普遍很小,有些甚至是负数),也没有造成明显的群体极化。

论文的措辞很谨慎:模拟用户"感知"到了社会线索,但这种感知没有强烈地转化为"行动层面"的从众。换句话说,它会在评论区留言表示认同,但未必会因此真的去点击那个被捧上天的商品。

这个发现挺值得琢磨的。因为现实世界里,到底是"口头上说认同"和"实际行动"更吻合,还是会出现脱节,恐怕本身就是个复杂的社会心理学问题,这个实验只是提供了一个模拟器层面的观察角度,并没有给出最终答案。

### 写在后面

读完这篇论文,最触动我的其实不是那套UGW对齐的数学工具,而是研究者反复强调的一句话:这些心理状态是"模型定义的计算构造",不是经过心理学验证的真实测量。

这句话听起来像是一种自我保护式的免责声明,但仔细想想,它其实揭示了一个更深的问题:我们现在在AI领域里大量使用的"情绪""认知""疲劳"这些词,到底是在描述真实发生的东西,还是只是一套方便计算的符号系统?

这篇论文没有回避这个问题,反而把它摆在了台面上。它没有宣称自己破解了人类心理的奥秘,只是老老实实地说:我们设计了一套三维的、可以追踪的数字系统,它在预测用户行为上确实管用,但请不要把它当成心理学的真相。

这种克制挺难得的。因为在当下这个人人都想把AI吹得更"懂人心"的氛围里,一篇论文主动承认自己的局限,反而让它的那些亮眼数据显得更可信。

另一个让我意外的细节是,去掉记忆模块之后,点击率指标的下降幅度并不算特别大,但内部心理状态的一致性误差却近乎翻倍。这组数据暗示了一件事:有些系统设计的价值,根本不会直接体现在表层的转化率数字上,它影响的是整个系统"内在逻辑是否自洽"这个更隐蔽的维度。

这让我想到现实生活里,一个人如果记忆力出了问题,短期内的日常行为可能看起来还算正常,但身边熟悉他的人,往往能从一些细微的、说不清道不明的地方,察觉出"这个人不太对"。那种"不对",恰恰就是内在一致性出了问题,而不是单次行为出了错。

这篇论文留下的问题,比它解答的问题还多一些。长程交互下的误差累积要怎么解决,跨领域迁移时的失真要怎么修复,这些都还悬在半空。但它至少证明了一件事:给AI用户装上一套明确、可追踪、哪怕是"人造"的心理状态系统,比单纯让它"演得像"更能撑住长期的、真实的交互考验。

Q&A

Q1:PsyBer-Agent是什么?

A:PsyBer-Agent是一个基于心理学原理设计的用户模拟器,核心是Psy-Engine引擎,用认知、情绪、自我一致性三个动态变量追踪模拟用户的心理状态变化,用来在推荐系统上线前预测用户行为。

Q2:PsyBer-Agent和真实用户的行为差距有多大?

A:在固定推荐后台的对照实验里,命中率、排序质量、点击率三项指标与真人用户的绝对差异分别只有0.003、0.0016、0.004,差距非常小,但如果去掉记忆和用户画像模块,差距会扩大五到十几倍。

Q3:这套系统能支持多大规模的并发模拟?

A:论文测试了最高500万任务的并发模拟,p95延迟仅从2.74秒增长到3.80秒,成功率维持在91%以上,绝大多数决策由轻量级快速策略独立完成,只有不到1%需要调用大语言模型兜底。

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。