Token导航 LogoToken导航

AI 资讯 · 科技行者

双流卷积网络实现视频动作识别

更新 2026-11-22科技行者正文 4609字阅读约 15分钟

2014 年的夏天,意大利佛罗伦萨大学的 Karen Simonyan 和 Andrew Zisserman 提交了一篇论文,题目很朴素,叫《Two-Stream Convolutional Networks for Action Recognition in Videos》。如果你今天回头看这份工作,会发现它几乎是用最直接的方式回答了一个当时被很多团队默认"没那么好解"的问题:视频里的动作识别,到底该让神经网络看什么。

要理解这篇论文的分量,得先回到它出现之前的场景。

在 2014 年之前,视频动作识别这个任务长期被手工特征统治。那个时代最强的对手叫 dense trajectories,也就是密集轨迹方法。做法是先在视频里检测出运动轨迹点,然后在轨迹周围抽取 HOG、HOF、MBH 等一系列手工设计的描述子,最后交给线性 SVM 分类。在常用的 UCF-101 数据集上,这套组合能到 87% 左右,HMDB-51 上也有 60% 出头。很多研究者当时的判断是,视频的动作线索太复杂,手工特征已经挖掘得差不多了,再往上提升会很慢。

与此同时,图像领域刚经历了一场地震。2012 年的 AlexNet 在 ImageNet 上把错误率大幅拉低,卷积神经网络成了显学。于是很自然的问题出现了:既然神经网络在单张图片上这么好用,能不能直接搬到视频上?

很多人试过,结果并不理想。早期把视频当成一摞图片喂进网络的尝试,成绩往往停留在 50% 到 60% 的区间,打不过密集轨迹那套老方法。这里有个数字很说明问题:深度学习在视频动作识别上,整整两年没能压过手工特征。这个反差在当时是一种真实的困惑,因为所有人都相信深度网络更强,可数据显示它在视频上就是不行。

困惑的根源,Simonyan 和 Zisserman 看得很清楚。视频和图片的差别不在于"多了一维",而在于视频里除了静态外观,还多了一种东西:运动。

卷积网络*:一种能自动从原始像素里学习特征的神经网络结构,通过卷积核在图像上滑动来提取局部模式。

光流*:描述视频中每个像素在相邻两帧之间运动方向和速度的向量场,可以理解成一张"运动图"。

人和动物识别动作,靠的恰恰是这两条信息。你看一个人打网球,既能看到他的姿态、球拍、场地,也能看到他的手怎么挥、球怎么飞。单看其中一条,判断都会打折。那为什么不让神经网络也分成两路,一路看外观,一路看运动?

这就是论文的核心思路。它把视频拆成两个流:空间流接收单帧的 RGB 图像,负责回答"画面里有什么";时间流接收多帧堆叠的光流场,负责回答"东西在怎么动"。两个流各自训练一个卷积网络,最后把两路的分类得分做融合。

先看空间流,因为它的设计最"没意外"。网络结构直接沿用了当时 ImageNet 上的成熟配置,输入是单帧图像,输出是动作类别。它其实就是在做图像分类,只不过类别换成了"打篮球""拉小提琴"这种动作。单帧能提供的信息是有限的,所以空间流单独用的时候,准确率并不惊人,但它捕捉的是动作发生的场景和物体,这部分信息在时间流里是缺失的。

再看时间流,这是论文里最值得琢磨的地方。视频相邻两帧之间的运动,可以用光流来表示,但光流不是直接就能喂给网络的。作者做了几个具体的设计决策,每一个都有代价。

第一个决策是把光流拆成水平方向和垂直方向两个通道,分别当成一张"图"输入网络。为什么不把光流当成一个向量直接编码?因为把 x 方向和 y 方向的位移分开成两张通道图,网络就能像处理 RGB 三个通道那样处理它们,卷积核在空间上的滑动逻辑依然成立。如果你硬把两个方向揉成一个数,比如算速度大小和角度,网络就无法判断"向左快速移动"和"向右快速移动"的区别,因为角度会绕圈,速度大小又把两个方向混成一体。

这件事可以从一个日常生活场景理解:假设你给一个从没走过这段路的朋友打电话指路,你有两种说法。一种是"先往东走两百米,再往北走一百米",每个方向的位移都单独说清楚;另一种是"先往右下角的方向走大概两百二十米"。后一种听起来省事,但对方一旦转个身,就完全不知道该怎么走了。光流的两个通道,就是那句"往东两百米、往北一百米",它保留的是方向上的可分辨性。

第二个决策跟光流的输入方式有关。光流给网络提供了密集的运动信息,但作者注意到一个细节:真正有用的运动,往往只在动作主体的附近,背景里大量光流是噪点。于是他们尝试把光流输入和图像里的"人"的位置结合起来,用类似姿态相关的信息去强调主体的运动区域。这个做法没有成为论文的主线,但它暗含了一个判断:运动信息本身是密集的,但网络需要被引导去看正确的地方。

第三个决策,也是论文最有意思的部分,是如何把很多帧的运动信息整合成一个输入。视频不是静态的,一秒钟有几十帧,每一帧都在产生光流,如果只喂一帧光流,网络看到的是一个瞬间的速度,根本不知道动作持续了多久、是在加速还是减速。

作者用了堆叠连续 L 帧光流的方式。具体做法是把若干帧的水平和垂直光流通道按顺序叠成一个高维张量,一起输入网络。这样一来,时间流看到的就不只是"此刻在动",而是"过去一小段时间里怎么动的"。论文的实验中,L 取 10 左右效果最好,这个数字不是随便定的,它对应着大约 0.3 秒,差不多是一个人做完一个动作片段的感知窗口。

这个设计有一个很容易被忽略的代价。堆叠 L 帧意味着网络输入的数据量比单帧多了 L 倍,训练和推理的成本都随之上升,而且不同动作的时长差异很大,一个"挥手"可能半秒就结束,一个"跳高"要几秒,用固定窗口去套所有动作,注定会切掉一部分信息。作者没有回避这个问题,而是在实验里验证了窗口长度的影响,找到性能和成本之间的折中。

这里可以想象另一个场景:你要向一个人描述一场足球比赛里那次精彩进球,如果只给他看进球瞬间的一张截图,他只知道有人抬脚了;如果给他看一张把连续三十帧的球员位置叠在同一张纸上的"轨迹图",他就能看到人从左边跑到右边、球从脚下飞出去。堆叠光流做的就是这张轨迹图,代价是这张图很厚,翻起来更费劲。

两个流各自训练好之后,论文要解决最后一个问题:怎么把它们的判断合起来。作者试过两种方式,一种是简单的平均,把两个流输出的类别概率直接加和;另一种是训练一个小的 SVM,用两路的得分作为输入来学一个权重。结果显示,SVM 融合比简单平均略好,说明这两个流提供的信息是互补的,而不是重复的。

这个现象值得单独说一句。如果空间流和时间流看到的东西高度重叠,那么融合之后不会有明显提升,因为它们只是在重复同一个判断。但实验里融合带来的提升是实实在在的,这意味着"长什么样"和"怎么动"确实是两个独立的信息源,缺了哪一个都会掉分。

论文在 UCF-101 和 HMDB-51 两个数据集上做了系统的实验。结果是这样的:

| 方法 | UCF-101 准确率 | HMDB-51 准确率 |

|------|------|------|

| 密集轨迹(当时最强手工方法) | 约 87% | 约 60% |

| 空间流单独 | 73.0% | 40.5% |

| 时间流单独 | 83.7% | 55.4% |

| 双流融合 | 88.0% | 59.4% |

单看空间流,73.0% 这个数字其实并不好看,它甚至不如手工特征。但时间流的 83.7% 已经很接近密集轨迹的水平了,融合之后在 UCF-101 上达到了 88.0%,在 HMDB-51 上也逼近手工方法。这是深度学习第一次在视频动作识别这个任务上,和手工特征站在同一水平线上,甚至略微超过。

这个结果的意义在当时的语境里很明确:它证明了视频动作识别不需要另起炉灶设计新的网络结构,把"外观"和"运动"这两路信息分别用成熟的图像分类网络处理,再融合起来,就能到手工特征辛苦多年才达到的位置。

而且这篇论文留下了很多可以继续走的路。三年后,Feichtenhofer 等人在 2016 年的 CVPR 上发表了《Convolutional Two-Stream Network Fusion for Video Action Recognition》,把两个流在网络内部的中间层进行融合,而不是只在最后的得分上做加权,UCF-101 上的准确率进一步提升到 92% 以上,同时参数量和计算量还更省。又过了两年,2018 年的 I3D 工作把双流思想推广到了三维卷积,用在大规模视频预训练上,UCF-101 的准确率进入了 95% 以上的区间,双流从一种网络结构变成了一种"怎么看待视频"的基本框架。

需要说明的是,这篇论文的作者和同期的 VGGNet 是同一组人。Simonyan 和 Zisserman 在 2014 年同时推进着图像分类和视频理解两条线,几个月后 VGGNet 在 ImageNet 上拿了亚军。这个细节挺有意思,它说明这篇视频论文不是一次孤立的灵感,而是同一批人在"卷积网络到底能做什么"这个问题上的连续探索。

回到这篇论文本身,它没有提出什么炫技的结构,两个流、光流堆叠、得分融合,每一步都很朴素。但正是这种朴素,让它成了一个标准范式。后来的人做视频理解,几乎都会问自己一句:我这里有没有把外观和运动分开考虑?

写在后面

读这篇论文的时候,我有一个具体的感觉:它其实是在用一种非常工程化的方式回答一个认知科学的问题。人看视频,眼睛里的视网膜信号是混在一起的,但大脑会自发地把"这是什么"和"它在怎么动"分成两条通路处理,视觉皮层里的腹侧通路管形状识别,背侧通路管运动感知。Simonyan 和 Zisserman 未必是有意模仿这个结构,但他们最后搭出来的两流网络,和生物视觉的这套分工惊人地相似。

另一个让我停下来想了一会儿的点是,这篇论文在 HMDB-51 上的结果其实并不算强。融合后只有 59.4%,甚至没超过密集轨迹。如果只看这个数字,你会觉得双流在更难的数据集上还差得远。但论文没有在这上面纠缠,它把重心放在了 UCF-101 上,并且明确指出了光流计算本身是这套方法的一个瓶颈。这个坦诚挺难得,因为光流算法的质量和速度直接决定了时间流的上限,而 2014 年的光流算法在复杂场景下还很不稳定。

这篇论文没解决的问题也很清楚:它依赖预先算好的光流,这意味着整个系统不是一个端到端可训练的模型,光流质量差,时间流就跟着差。后来的工作花了很大力气去解决这件事,有人试着让网络自己学运动表示,有人直接把三维卷积塞进网络里。这条路走了很多年。

我还想起一个反向的细节。今天回头看,双流网络里的"时间流"在某种意义上是被光流这个东西撑起来的,而光流本身是一个手工设计的、基于亮度恒定假设的算法。也就是说,这篇号称"深度学习赢过手工特征"的论文,它最强的那一路,骨子里还依赖着一个经典的手工算法。这个结构上的妥协,当时很少有人提,但它确实存在。

Q&A

Q1:双流网络是什么意思?

A1:双流网络是把视频拆成两条路处理的卷积网络。一条是空间流,看单帧的彩色图像,负责判断画面里有什么;另一条是时间流,看多帧堆叠的光流场,负责判断东西在怎么动。两路的分类得分最后融合起来给出最终结果。

Q2:时间流为什么要堆叠多帧光流?

A2:因为单帧光流只能反映一瞬间的运动速度,网络看不出动作持续多久、是在加速还是减速。堆叠连续十帧左右的光流,相当于给了网络一个大约零点三秒的观察窗口,让它能看到一段运动的变化过程。

Q3:双流网络在动作识别上真的超过手工特征了吗?

A3:在 UCF-101 数据集上是的,双流融合达到百分之八十八,略微超过密集轨迹方法的百分之八十七左右。但在 HMDB-51 上融合后只有百分之五十九点四,还没有超过手工方法。这是深度学习第一次和手工特征站在同一水平线上。

文章标签AI资讯

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。