Token导航 LogoToken导航

AI 资讯 · 科技行者

StreamErase实现视频去物体26帧每秒

更新 2026-11-18科技行者正文 6267字阅读约 20分钟

你有没有试过用手机app去除视频里的路人甲,然后盯着进度条发呆两分钟?

这不是一个夸张的说法。真实情况是,目前效果最好的视频物体擦除模型之一ROSE,处理一个5秒钟的短视频,需要整整2分钟。你剪辑一条十几秒的vlog,光是把画面里的陌生人擦掉,可能就要泡杯茶的功夫去等。

更麻烦的是,这些模型压根不是边生成边给你看的。它们得把整段视频从头到尾全部算完,才能显示结果。你没法在它工作到一半时说"停,这里不对"。这篇来自武汉大学、阿里巴巴、港科大和上海交大团队的论文,就是奔着这个问题去的。他们做了一个叫StreamErase的系统,号称能在单张GPU上跑到26.06帧每秒,延迟压到0.87秒,而且理论上可以无限长地往下生成视频。这意味着什么?意味着你给它一个遮罩,几乎是实时就能看到擦除结果在眼前展开,而不是提交任务然后去刷手机等通知。

**这篇论文真正有意思的地方,不是又造了一个更快的模型,而是它展示了一套把"慢但好"的能力搬运到"快且稳"的载体上的完整方法论。**

这件事到底难在哪

先说清楚问题的本质。现在主流的视频扩散模型,不管是擦除物体的ROSE、EffectErase,还是通用编辑的VACE,用的都是一种叫双向注意力的机制。

双向注意力*:模型在处理视频的每一帧时,可以同时看到前面和后面所有帧的信息,就像你写文章前通读了全文再动笔修改某一段。

这种机制天生就是"全局优化"的,画质和时序一致性确实好,但代价是你必须等整段视频都准备好了,模型才能开始算。论文里给出的数据很扎实:VACE的速度只有0.57 FPS,处理一个视频要204秒;ROSE是1.05 FPS,延迟121秒;EffectErase稍快一点,1.51 FPS,延迟96.59秒。这些数字摆在那里,你会发现"实时"这个词离它们都很远。

StreamErase给出的答案是26.06 FPS,延迟0.87秒,是VACE的234倍、EffectErase的45倍以上。这个跳跃幅度之大,已经不是简单调参能达到的,必须换一套根本性的生成范式。

问题来了:双向注意力这么好用,为什么不能简单地"调快"就完事?因为双向注意力的本质要求是看到全部信息,这和"边生成边播放"是逻辑上互斥的。你要做流式生成,就必须换成单向的、只看过去不看未来的因果注意力。但因果注意力天生容易"跑偏",生成到后面画面会逐渐变色、模糊、失真,这是整个领域一直没彻底解决的痛点。

三步走:把老师的本事教给跑得快的学生

StreamErase的核心思路可以用一句话概括:先训练一个很强但很慢的"老师"模型,再想办法把它的本事一步步教给一个跑得飞快的"学生"模型。

这个过程被设计成三个阶段。

**第一阶段是训练一个双向注意力的教师模型,专门负责打好地基。**

这个教师模型基于阿里的Wan2.1视频生成模型继续训练,用的是完整的时空双向注意力,需要大约50步去噪才能生成一段高质量视频。

去噪步数*:扩散模型生成图像或视频的过程,是从一团随机噪声开始,一步步"去掉"噪声、逐渐显现出清晰画面的过程,步数越多通常质量越好但耗时也越长。

这个阶段的教师模型,拥有最全面的物体擦除能力,尤其擅长处理阴影、反射、遮挡这些物体留下的"副作用"。论文专门设计了一个效应擦除损失函数,逻辑是这样的:当你把一个物体从画面里拿掉后,它原本留下的影子、水面倒影、遮挡的背景,都应该被还原出来。团队通过对比原始视频和干净背景视频的像素差异,生成一张"受影响区域"的标注图,用来监督模型的注意力真正聚焦在这些容易被忽略的细节上。

如果不这样做,会发生什么?实验数据说得很清楚:去掉这个效应擦除损失后,PSNR(峰值信噪比,数值越高说明画质越接近真实)从32.791掉到30.104,SSIM(结构相似度)从0.928掉到0.818,掉幅相当明显。这说明光靠"把物体本身擦掉"是不够的,物体消失后留下的影子和倒影如果处理不好,观众一眼就能看出破绽。

这就好比你在家里撤掉一张挂了很多年的挂画,墙上留下的那块颜色更深的印子如果不一并处理,哪怕画已经拿走了,别人还是能一眼看出这里曾经挂过东西。单纯"移除物体"和"移除物体连带它留下的所有痕迹",是两件完全不同难度的事情,后者才是真正的擦除。

**第二阶段,把双向注意力换成因果注意力,训练出一个流式的"学生"模型。**

这一步的关键改动是引入了分块因果注意力,让模型按照视频的时间顺序,一块一块(论文里用的是3帧为一个chunk)往前处理,后面的内容不能偷看未来的信息。

这个阶段采用了教师强制(teacher forcing)加ODE蒸馏的方式,把推理步数从50步压缩到4步。但问题也随之出现:这种因果结构在自回归生成(也就是一步步往前推)的过程中,容易产生误差累积,表现为画面颜色逐渐漂移、细节逐渐模糊。论文原文用的词是"progressive color shifts and visual degradation",翻译过来就是渐进式的变色和画质退化。

这就像你玩"传话游戏",第一个人说的话经过一轮轮转述传到第十个人耳朵里,内容已经面目全非了。每一步的转述可能只有一点点偏差,但偏差会一层层叠加放大。因果生成模型面对的正是这个困境:当前帧依赖上一帧的生成结果,如果上一帧有一点点误差,这个误差会被当成"事实"传递给下一帧,越往后越离谱。

**第三阶段是用分布匹配蒸馏,把4步压缩成1步,同时彻底解决误差累积问题。**

这一步的巧妙之处在于,它没有让学生模型继续依赖自己之前生成的内容去预测下一步,而是让生成器直接对齐真实分布。

分布匹配蒸馏(DMD)*:一种训练技巧,让快速生成器的输出,在整体统计分布上逼近一个高质量慢速模型的输出分布,而不要求逐帧完全复刻。

具体做法是,用第一阶段的教师模型作为"真实评分"函数,再训练一个"伪造评分"模型去拟合当前生成器的输出分布,两者的差距就是优化信号。生成器接收噪声和条件输入,在因果掩码下直接单步生成,不再滚动依赖自己先前预测的隐变量。时间上的连贯性,改为靠KV缓存(深层网络里缓存下来的干净特征)来隐式传递,而不是靠把带误差的像素预测结果重新喂回去。

这个设计解决的根本矛盾是:如果继续沿用"预测结果喂给自己"的自回归逻辑,误差必然滚雪球;但如果完全不依赖历史,画面又会在不同片段之间失去连贯性。StreamErase的做法相当于,只在深层特征层面保留"记忆",而不在像素层面保留"猜测",这就避免了把错误当成既成事实一路传递下去。

从消融实验的表格可以直接看出三个阶段的效果变化:教师模型(Stage 1)的PSNR是32.487,学生初始化(Stage 2)掉到30.183,而最终一步蒸馏后的模型(Stage 3)反而回升到32.791,甚至略微超过了教师模型,同时延迟从130.16秒压到了0.87秒。这个结果多少有点反直觉,学生不仅没有比老师差,速度还快了150倍。

长视频不塌:注意力锚点的设计

解决了单步生成的问题,还有一个更棘手的事情:如果要生成的不是5秒钟,而是30秒甚至理论上无限长的视频呢?

这里团队借用了大语言模型领域的一个发现。2023年的一篇论文(Xiao等人提出的"Efficient Streaming Language Models with Attention Sinks")观察到一个有趣的现象:在长文本生成中,序列最开始的几个token,哪怕它们本身语义上不重要,也会被模型持续"关注",起到稳定整个注意力分布的作用,删掉它们反而会让生成质量崩溃。

StreamErase把这个思路搬到了视频领域,叫做注意力锚点(attention sink)。

注意力锚点*:在滑动窗口注意力机制中,额外保留视频最初几帧的信息作为固定参照点,即使当前生成位置已经很靠后,模型依然能"回望"这个锚点,防止生成内容逐渐偏离最初的画面基调。

具体的推理策略是,维护一个包含S个初始帧片段的锚点缓存,加上一个固定大小、随时间往前滚动的局部窗口(W个片段)。随着新内容不断生成,这个局部窗口像传送带一样向前滚动,始终保持固定长度,计算量不会随着视频变长而增加。

这个设计解决的问题可以这样理解:假如你在给朋友讲一个很长的故事,讲到第二十分钟时,如果完全不记得开头说过什么,故事很容易自相矛盾、人物设定漂移。但如果你试图把二十分钟前所有细节都精确记住,脑子又会不堪重负。StreamErase的解法是,只死死记住故事最开始定下的"基调"(锚点),中间的细节只保留最近发生的一小段(滑动窗口),这样既不会因为信息过载而拖慢速度,也不会因为彻底遗忘开头而让画面风格漂移跑偏。

有意思的是,团队做了一个专门的消融实验来验证这个锚点到底要留多少。结果出乎意料:最小配置,也就是只留1个锚点片段加1个窗口片段,效果反而是最好的。继续加大锚点数量或者窗口大小,质量不升反降。论文给出的解释是,让模型看到的历史窗口越长,反而越容易把早期积累的小误差也一并"记住"并传递下去,造成更严重的漂移。这和前面提到的传话游戏逻辑是一致的,窗口越大,意味着越多层层传递的信息被卷入,出错的概率反而更高。

具体数据上,团队用LongErase这个新基准(80条30秒长视频)做测试:默认配置(锚点1、窗口1)的LPIPS(一种衡量图像感知差异的指标,越低越好)是0.163,质量漂移指标是0.05;去掉锚点之后LPIPS飙升到0.254,质量漂移恶化到0.27;而把chunk size压到1,LPIPS进一步恶化到0.319,质量漂移高达0.72。这组数字说明锚点机制不是锦上添花的小优化,而是长视频稳定生成的生命线。

多模态区域引导:让模型知道该盯着哪里看

除了速度和长视频稳定性,这篇论文还有一个专门针对"擦干净"这个目标的设计,叫多模态区域引导(Multimodal Region Guidance,简称MMRG)。

这个模块想解决的问题是:物体和它造成的影响(阴影、反射、遮挡)在空间位置上常常是分离的,一个站在阳光下的人,影子可能投在他身后两米远的地面上。模型怎么知道这片看起来"正常"的地面区域,其实也需要重新生成?

做法是把裁剪出来的前景物体图像,经过CLIP图像编码器提取特征,再用一个两层MLP把这个视觉特征映射到文本token的语义空间里,替换掉文本提示里"object"这个占位词。这样一来,文本提示里原本抽象的"移除指定物体",就具体化成了"移除这个长得像图中这样的物体,以及它带来的所有关联效应",这个融合后的提示通过交叉注意力机制注入到模型主干中。

消融实验的数字也很直接:加入MMRG后,SSIM从0.818提升到0.872;如果再叠加效应擦除损失,SSIM进一步提升到0.928。两个模块结合使用,效果明显好于单独使用任何一个。

这就好比你让一个保洁员打扫房间,只说"把那只猫清理出去",他可能只会抓起猫走人,完全不管猫窝、猫毛、抓痕留在沙发上的痕迹。但如果你指着照片说"把这只猫以及它可能留下的所有痕迹都处理干净",保洁员的注意力就会主动扩展到猫活动范围内的所有相关区域。MMRG本质上就是在给模型一张"嫌疑现场照片",让它主动去搜索那些和物体视觉上相似、但位置上可能分离的受影响区域。

实际效果:和其他方法比起来怎么样

论文在三个数据集上做了对比:合成数据集ROSE-Benchmark、真实世界数据集VOR-Eval,以及团队自己新建的长视频基准LongErase。

在ROSE-Benchmark上,StreamErase拿到了PSNR 32.791、SSIM 0.928、LPIPS 0.063、FVD 56.294,这几项指标全部是所有对比方法里最好的,同时FPS高达26.06,是表格里所有方法中唯一一个能达到两位数FPS的。对比一下同期最强的EffectErase,PSNR 31.542、FPS只有1.51,StreamErase不仅更快,画质指标也更胜一筹。

FVD*:Fréchet Video Distance,一种衡量生成视频整体质量和真实感的指标,数值越低说明生成视频和真实视频在统计分布上越接近。

在VOR-Eval这个真实世界数据集上,StreamErase的PSNR是22.494,比EffectErase的22.792略低,但SSIM和FVD上表现相当,整体属于第一梯队,而速度优势是碾压性的。这说明StreamErase在牺牲极小部分真实场景画质的前提下,换来了数量级的速度提升,这个交易在任何需要实时交互的场景里都是极度划算的。

针对长视频,论文专门做了5秒片段和30秒长视频的对比。结果显示StreamErase在30秒视频上的运动平滑度0.987、背景一致性0.936、时序闪烁0.940、主体一致性0.958,和5秒片段的指标几乎没有明显下降,质量漂移指标只有0.05。这说明这套流式生成方案真的做到了"越跑越稳",而不是靠牺牲长视频质量换取理论上的无限长度。

写在后面

读完这篇论文,有一个点让我反复琢磨:为什么偏偏是"注意力锚点"这个在语言模型领域已经验证过的小技巧,迁移到视频生成上会如此关键。语言和视频,一个是离散符号序列,一个是连续像素流,直觉上两者的误差传播机制应该完全不同。但StreamErase的实验结果说明,只要是自回归式的、一步步往前推的生成范式,无论载体是文字还是画面,都会面临同一个结构性弱点:早期信息如果彻底丢失,后期生成就失去了锚定,会像没有重心的陀螺一样慢慢偏转。这提示我们,很多看似领域专属的工程技巧,背后其实是某种更普遍的计算规律在起作用。

另一个值得玩味的细节是,蒸馏之后的学生模型(Stage 3)某些指标反而超过了作为教师的原始模型(Stage 1)。这在直觉上有点反常,学生怎么可能比老师强?但仔细想想,分布匹配蒸馏优化的目标和原始扩散训练的目标并不完全一样,教师模型在训练时追求的是逐步去噪的精确性,而学生模型通过DMD直接对齐最终分布,某种程度上绕开了多步累积误差的陷阱,反而在某些指标上占了便宜。这说明"蒸馏"这件事,有时候不只是性能的压缩转移,也可能是训练目标重新设计带来的意外收获。

论文自己也坦承了局限:固定上下文的因果生成机制,遇到场景发生剧烈转变时会显得不够灵活;现有的训练数据规模和场景多样性仍然有限;用户依然需要手动画遮罩,这对非专业用户来说门槛不低。如果有一天这套系统能做到你只需要在视频里点一下想删除的人,剩下的事情全部自动完成,那才是真正意义上把这件事的交互成本降到了普通人能接受的程度。

Q&A

Q1:StreamErase是什么?

A:StreamErase是一个流式视频物体擦除框架,能在单张GPU上以26.06帧每秒、0.87秒延迟实时生成去除指定物体及其阴影反射等副作用的视频,并支持理论上无限长度的视频生成。

Q2:StreamErase为什么比ROSE、VACE这些模型快这么多?

A:因为它通过三阶段蒸馏,把需要50步去噪、依赖全局双向注意力的慢速教师模型,逐步转化为只需1步去噪、采用因果注意力加分布匹配蒸馏的流式学生模型,速度比VACE快234倍,比EffectErase快45倍以上。

Q3:StreamErase怎么解决长视频生成容易画质漂移的问题?

A:引入了注意力锚点机制,固定保留视频最初几帧的信息作为参照,配合滚动更新的局部窗口和KV缓存,训练时模拟推理时的外推情况,让模型在任意长度下都能以恒定速度稳定生成,不产生误差累积。

文章标签学术研究

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。