你有没有玩过那种四人联机射击游戏，两个队友同时冲进一个房间，结果屏幕里一个人看到地上有个箱子，另一个人却压根没看到？
这不是网络延迟问题，而是一个更底层的问题。如果你想用AI来生成这种多人游戏画面，而不是靠传统的游戏引擎去渲染，你就会撞上一个几乎没人认真解决过的难题：怎么让AI生成的多个玩家视角,互相之间保持一致。
这正是腾讯和香港大学的研究团队在Multics这篇论文里要啃的硬骨头。
**多人世界模型，到底难在哪**
先说清楚背景。
过去几年,AI生成视频的进展很猛,从Sora到Veo,单个镜头的画面质量已经逼近真实拍摄。这类系统被称为
视频世界模型:一种能够根据过去的画面和动作,预测接下来会发生什么的AI系统,相当于给AI装了一个"脑子里的物理引擎"
但几乎所有的视频世界模型,聊的都是单人故事。一个摄像机,一条动作序列,一个文本提示,生成一段视频。这在自动驾驶仿真、机器人训练里够用,但一旦涉及多人联机游戏,事情就complicated了。
多人场景要求什么?三件事。第一,如果两个玩家视角有重叠(比如都看到了同一个箱子),画面细节必须一致,不能一个人看到红箱子另一个人看到蓝箱子。第二,每个玩家按自己的操作走,比如玩家2按了瞄准键,画面就该呈现瞄准视角,不能被别人的动作带偏。第三,也是最容易被忽视的一点,不相关的事件不该互相污染。比如玩家3在角落开枪冒出火光,这团火光不该莫名其妙地"漂移"进玩家4的画面里,尽管玩家4压根没看到那边发生了什么。
研究者们试过两条路来解决这个问题,但都卡住了。
第一条路是Solaris这类方法走的,叫做
全连接通信:让所有玩家的视觉信息在模型内部直接两两互相"交谈",每个人的画面生成时都参考所有其他人的画面
这个思路听起来很公平,人人平等地互相看一眼。但代价是计算量会随着玩家数量呈平方级增长。4个玩家还好,但如果你想做10人联机,计算开销直接爆炸。论文里给出的实际数字很直观:10人场景下,全连接通信的自注意力计算量高达69.1 TFLOPs,而Multics只需要9.6 TFLOPs,差了七倍多。
这就像一个10人的会议,如果规定每个人必须单独跟其他9个人逐一私聊才能开会,那沟通成本会随着人数指数级爬升。如果不设限,会议室里永远在交换意见,效率低到没法用。而如果你规定大家先分成小组讨论,再派代表汇总,会议效率立刻就不一样了。这正是全连接方案的死穴:它没有分组这个概念,所有人必须两两直连。
第二条路是γ-World走的,叫做
集中式通信:设立一组共享的"中心令牌"(可以理解成一个公共广播站),所有玩家的信息都先汇总到这个中心,再从中心分发出去
这个办法解决了计算爆炸的问题,因为每个玩家只需要跟中心对话一次,不用跟所有人对话。但问题也随之而来:所有玩家的信息,不管相关不相关,都挤进了同一个"广播站"。玩家2的瞄准动作、玩家3的开枪火光、玩家4完全无关的移动,全部混在一个信道里来回传递。结果就是论文开头那个例子,火光信息串台到了不相关玩家的画面里,这就是**跨事件干扰**。
一个公共广播站如果什么消息都往里塞,听众迟早会把不相关的通知当成跟自己有关的事。这不是信道容量不够,而是信道里塞的信息种类太杂,没有做分流。
**Multics的解法:给通信加一层"小组会议"**
研究者的直觉其实很朴素:现实世界里,人跟人的相关性是不均等的。
两个在同一个房间里打架的玩家,信息高度相关,应该紧密沟通。而两个分别在地图两端巡逻的玩家,基本互不相关,没必要时时刻刻互通有无。
于是Multics提出了
层级通信:在玩家层和全局层之间,插入一个中间的"组层",让相关的玩家先在小组内部充分交流,再通过组代表跟全局沟通
具体机制是这样的。每个玩家的视觉信息用一组token(可以理解成神经网络里携带信息的最小单元)表示。相关性高的玩家被分到同一个小组,组内设置若干个
组令牌:一组可学习的中间表示,充当这个小组的信息汇总节点,组内玩家可以直接互相看到对方,信息先在组内聚合,再传递给更高层的全局令牌
而全局令牌继续扮演跨组沟通的角色,但它现在接收的是已经被组内筛选、聚合过的信息,不再是所有玩家原始信息的大杂烩。
这个设计像什么?想象一个大公司开周会。如果每个员工都要跟CEO一对一汇报所有细节,CEO会被信息淹没,汇报质量也会下降,因为CEO没时间消化每个人的具体工作细节。但如果设立部门经理这一层,员工先跟同部门的人对齐信息,部门经理再把浓缩后的要点汇报给CEO,信息传递效率和质量都会提升。如果去掉部门经理这一层,直接让所有人对CEO说话,你会得到的是γ-World的问题:信息混杂、重点丢失。如果每个员工跟每个同事都要单独开会对齐,你会得到Solaris的问题:会议开到天荒地老,根本忙不完。
层级通信恰好卡在这两种极端的中间。
值得注意的是,这些组令牌的参数是共享的。也就是说不管你有几个小组,所有组令牌用的是同一套可学习参数,运行时才根据实际玩家数量复制出若干份。
这意味着模型训练时哪怕只见过4人组成2个小组的场景,推理时遇到10人组成5个小组的场景,也能直接套用,不需要为每种玩家数量重新训练一套参数。
这个设计有点像乐高积木。如果每种拼装结构都要单独开模具,你永远只能拼固定的几种造型。但如果用的是标准化、可重复使用的积木块,同一套积木既能拼小房子,也能拼大城堡,区别只是用了多少块、怎么摆放。组令牌共享参数的意义正在这里:让通信模块本身变成一种"可伸缩"的积木,而不是绑定在固定玩家数量上的定制件。
**怎么决定谁和谁分到一组**
层级通信解决了"怎么交流"的问题,但还留下一个问题没解决:谁该跟谁分到一组?
如果随便分组,比如固定前两人一组后两人一组,那游戏里玩家实际移动起来,原本不相关的人也许突然凑到了一起,而原本靠得很近的两人反而被分到了两组,照样产生信息割裂。
Multics给出的方案叫
动态分组:根据玩家最近的摄像机运动轨迹,实时判断谁和谁的空间位置、视角方向比较接近,再据此动态调整分组
具体来说,系统会持续计算每两个玩家之间的"相关性分数",这个分数综合考虑两人的摄像机距离有多近,以及两人的视线方向是否朝向彼此或朝向同一片区域。分数高的玩家,系统倾向于把他们分进同一组。
但这里有个限制条件,叫
预算约束:系统设定了一个计算量上限,这个上限参照集中式通信方案的开销来设定,确保层级通信不会因为分组太随意而反过来变得比集中式方案更贵
换句话说,分组不是无限制地想怎么分就怎么分,而是在一个固定的"沟通经费"框架内,尽量把真正相关的玩家凑到一起,把预算花在最该花的地方。
这个逻辑很像一个企业做团队重组。公司不可能把预算无限制地花在团建和跨部门会议上,但完全不花钱做团队协作又会导致部门墙林立。合理的做法是设定一个固定预算,然后把这笔钱优先投给协作最紧密、产出最高的那几个团队。如果不设预算上限,直接按最高相关性无脑分组,系统很可能变成另一种形式的全连接通信,计算量照样爆炸。动态分组加预算约束,本质上是在用有限的沟通资源,去匹配真正需要沟通的那部分关系。
论文的消融实验也验证了这一点的重要性。固定分组(不管实际相关性,始终按同一种方式分组)的几何一致性得分是50.71%,随机分组更差,只有46.76%,而动态分组达到了54.17%,高出固定分组将近3.5个百分点,高出随机分组则接近7.5个百分点。这组数字说明,"分组这件事本身该怎么做"远比表面看起来重要。
**实验结果说了什么**
研究团队在OpenCS2数据集上做了测试,这是一个基于反恐精英2游戏录制的多人数据集,包含完整的摄像机轨迹和操作标注。
在4人和6人场景下,Multics在一致性指标GeoKPM上分别拿到54.17%和56.84%,都明显超过Solaris(48.51%和54.65%)和γ-World(49.42%和52.80%)。
更关键的测试是泛化能力。研究者只用4个玩家训练模型,然后直接拿去跑6人、8人、10人的场景,完全不重新训练。结果显示,Multics在10人场景下的一致性得分还能保持在51.54%,而Solaris只有47.82%,γ-World是49.12%。这说明Multics的分组和共享参数设计,确实让它具备了跨越训练时玩家数量的泛化能力,这在实际应用里价值很大,因为你显然不可能针对每一种可能的玩家数量都单独训练一个模型。
研究者还把方法搬到了另一个完全不同的场景做跨领域验证,叫
EgoTeam:一个基于真实室内环境重建的多机器人第一人称视频数据集,用来检验方法是否只在游戏场景里管用
结果Multics在这个数据集上同样保持了相对最好的表现,一致性得分58.62%,高于Solaris的57.65%和γ-World的52.31%。这说明层级通信这个思路不是针对CS2这款游戏专门调出来的巧合,而是具备一定的通用性。
计算效率方面的数据也值得单独说一下。随着玩家数量从4人涨到10人,全连接通信的自注意力延迟从126.2毫秒飙升到1161.3毫秒,涨了超过9倍。而Multics的层级通信只从82.9毫秒涨到175.7毫秒,涨幅不到2.2倍。这个差距在实际部署里是致命的,如果一个10人联机游戏的画面生成要等上一秒多才能出下一帧,这游戏基本没法玩。
**写在后面**
读完这篇论文,我最意外的一点其实是它选择的参照对象。研究者没有凭空造一个全新的概念,而是把Solaris和γ-World这两种已有方案摆在一起,直接指出两者各自的病根:一个是通信太密导致算力撑不住,一个是通信太集中导致信息串味。层级通信这个设计说到底,就是在两种极端之间找到了一个有物理直觉支撑的中间态,这种"看清楚两个失败案例的病因再下药"的研究路径,比直接堆砌新模块的论文让人更信服。
另外一个让我多想了一会儿的细节是组令牌共享参数这个设计。它表面上是个工程技巧,但背后的逻辑其实挺有意思:如果你想让一个系统能扛住未知规模的扩展,你就不能把结构和具体规模死死绑在一起。这跟很多现实世界的组织设计原则是相通的,一个只能靠不断增加管理层级来应付规模扩张的公司,迟早会被自己的复杂度压垮,而一个用标准化、可复制单元来应对规模变化的系统,反而更有弹性。
这篇论文也留了一个没完全解决的问题,就是长时间运行下的世界状态持久性。玩家分组是动态变化的,那如果玩家甲离开了乙的小组很久以后又重新靠近,之前共享过的那些细节信息,系统还能不能"记得"保持一致?论文里提到这是未来的方向,但没给出答案。这其实是个挺本质的问题,毕竟真实的多人游戏不是几分钟的片段,而是动辄几十分钟甚至几小时的连续体验。
Q&A
Q1：Multics是什么？
A：Multics是由腾讯和香港大学团队提出的多人视频生成世界模型,核心创新是层级通信机制,能让多个玩家视角的AI生成画面保持一致、响应各自操作,并抵抗无关事件的干扰。
Q2：Multics和Solaris、γ-World相比有什么优势？
A：Solaris采用全连接通信,计算量随玩家数平方增长;γ-World采用集中式通信,容易导致信息混杂串台。Multics通过引入中间组层,既控制了计算成本,又减少了跨事件干扰,还能在4人训练后直接泛化到8人、10人场景无需重新训练。
Q3：Multics的动态分组是怎么工作的？
A：系统根据玩家最近的摄像机位置和视线方向,实时计算两两玩家的相关性分数,把关系密切的玩家动态归入同一小组,并在一个预算上限内进行分组,避免沟通成本失控。
