你在听一段播客录音,主持人说了句"我觉得吧……",那个"吧"后面拖着的半秒叹气,被转写软件彻底吃掉了。同一段录音里,背景有一声很轻的汽车鸣笛,也被吃掉了。一顿饭的对话录下来,转写文本干净得像新闻稿,可你明明记得当时大家都在笑。
这不是转写软件笨。这是它被设计成这样。
Whisper 这类现代语音识别系统,从训练的第一天起,目标就只有一个:把声音变成词。它们被喂进去海量"音频对应文字"的配对,学到的本领是忽略一切非语言的东西。叹气、咳嗽、笑声、背景里的音乐和喇叭,对它们来说是噪声,是要被压制掉的干扰。
可对人类听众来说,这些恰恰是理解对话的关键。
这篇论文想解决的就是这件事:让转写结果不仅包含词,还包含那些被丢掉的声音,而且要带上时间戳,精确到 40 毫秒。
事件的起点是作者自己的使用体验。他们在早期使用中最大的抱怨不是"误报太多",而是"漏掉的太多"。这个细节很关键,因为它决定了整个系统的设计方向:宁可多报,不可漏报,而且两种倾向要能切换。
先把这件事难在哪说清楚。
识别声音事件这件事本身不新鲜,学界有个专门的名字叫声音事件检测,二十多年来论文一堆。但绝大多数系统盯着的是家居环境和城市环境,比如玻璃破碎、狗叫、汽车经过,而且大多是片段级打标签,也就是说它告诉你"这段 10 秒音频里有喇叭",但不告诉你喇叭在第几秒。
*声音事件检测(Sound Event Detection,SED):识别音频里出现了哪些声音类别,并给出每个事件的起止时间。
*片段级打标签(Clip-level tagging):只判断整段音频里有没有某类声音,不定位时间。
你要的是能把标签插进两个词之间的那种精度。这就难了,难在三处。
第一处是数据。公开的、带时间戳的非语言声音数据极其零散,而且各家标注方式完全不兼容:有的每段音频只标一个检测区域,有的用自由文本标签加时间,有的把符号直接嵌在转写文本里却不给时间,还有的整段录音只录一种声音。
第二处是这些声音和语音抢地盘。叹气、吸气、咂嘴这些发声又短又常常和词重叠,而且声学上和语音长得很像;而背景里喇叭、音乐、狗叫又长又边界模糊。
第三处是工作点。一条转写标签只有在误报少到可以被忽略时才有用,但作者自己早期用的时候,漏报才是主要抱怨。单一全局阈值满足不了这两种需求。
*工作点(Operating point):识别系统在"宁可误报"和"宁可漏报"之间的取舍位置,通常由判定阈值决定。
现在来看这个系统长什么样。
整个模型只有 5.8M 参数,跑在一张 NVIDIA T4 显卡上花三个小时能训完。5.8M 是什么概念?大概相当于一个早期 ResNet 的二十分之一。作者是刻意做小的,他们甚至在论文里明确说,我们没有用 BEATs 或 WavLM 这类预训练音频编码器,就是想让模型保持小。参数量的分布很有意思,82% 都在六层 Transformer 编码器里,15% 在卷积前端,剩下 3% 在投影层,输出层不到 1%。
*Transformer 编码器:一种靠自注意力机制建模序列中任意两个位置关系的网络结构,擅长捕捉长距离依赖。
架构本身并不花哨。8 秒音频先变成 64 维的 log-mel 频谱图,64 乘 801 帧。五个卷积块把它压到 192 乘 4 乘 201,也就是每个 40 毫秒的步长变成 768 维的特征向量。然后投影到 256 维,加上正弦位置编码,过六层 Transformer,最后用一个线性层加 sigmoid 给出 54 个类别的概率。
*log-mel 频谱图:把音频按人耳感知特性压缩后的频率时间图,横轴是时间,纵轴是频率,颜色深浅是能量。
这里有个细节值得停下来看。五个卷积块里,前两个只沿频率方向降采样,后两个才同时沿频率和时间降采样,最终时间轴从 801 帧压缩到 201 步。每个输出步长依赖 31 个 mel 帧,也就是大约 0.33 秒的音频。
为什么要这样排布?因为发声事件本来就短,如果时间轴压得太狠,一个 0.3 秒的咳嗽就只剩两三个时间步,模型根本来不及看清它的形状。而且前面的卷积层保留时间分辨率,可以让后续的 Transformer 在更细的时间粒度上做注意力。
这就像你用手机拍一段很短的烟花视频。如果你把每一帧都压缩合并,烟花从炸开到散去的过程就糊成一团光了。聪明的做法是,在早期阶段保留每一帧的细节,等到后面再考虑"这段整体上是什么"。
自注意力那一节也挺有意思。作者看了第一层和第六层的注意力权重,发现第一层主要看附近的帧,注意力呈现一条对角线带,54% 的注意力落在查询点前后 1 秒内;而最后一层把重量集中在少数几个所有查询都共享的时间位置上,呈现竖条纹,最受关注的五个位置拿走了 12.7% 的注意力,随机均匀分布应该只有 2.5%。
六层下来,平均关注距离从 1.76 秒涨到 2.59 秒。层越深,看的范围越宽。这个规律和前馈网络里"浅层抓局部、深层抓全局"的直觉吻合。
作者自己也克制地说:这只是一个片段,我们不能声称那些被关注的位置就对应特定事件。
模型只是故事的一半,另一半是数据怎么攒出来的。
七个公开数据集被拉到一起,总时长大约 168 小时的真实标注录音,来源五花八门。NonVerbalSpeech-38K 有 38718 段共 130.6 小时,以普通话广播剧和喜剧为主。Vaani 有 90637 段共 154.6 小时,58 种印度语言录在手机上的。NonverbalTTS 有 6256 段 17.6 小时英语。AudioSet-Strong 有 93609 段 10 秒切片共 260 小时,来自 YouTube。OpenSLR 99 有 727 段手机录音的孤立发声。DNC 有 4377 段家庭录音。DEMAND 有 18 种环境的 16 通道噪声。
这些数据最大的问题不是量不够,而是标签格式完全对不上。于是作者干了一件很枯燥但极其重要的事:写规则把它们统一到一套 54 类的分类体系里。
54 类分成两组,20 种说话人发声,包括呼吸、叹气、嗅、笑、咳、清嗓、哭、喘气、打哈欠、打鼾、喷嚏、擤鼻、咂嘴、呻吟、尖叫、耳语、喊、咀嚼、打嗝、咔哒;34 种背景声音,包括喇叭、车辆、警报、鸟、虫、狗叫、动物、儿童声音、婴儿哭、音乐、电视、机器、风扇、电话铃、震动、哔声、钟、哨、蜂鸣、掌声、欢呼、人群、脚步、风、雨、雷、水、敲、门、餐具、玻璃碎、枪声、爆炸、施工。
规则长什么样?我给你看一个真实的片段。Vaani 数据集有 319 种不同的自由文本标签,像 <horn>、<honking>、<vehicle horn> 都指同一件事。作者写了一个有序的正则表达式列表,第一个匹配上的规则赢。比如喇叭那条写成"horn|honk"映射到 horn,狗叫写成"bark|\bdog\b"映射到 dog_bark。
*正则表达式:一种用符号描述文本匹配模式的工具,"|"表示"或者","\b"表示词边界。
把整个 Vaani 的 106892 次标签出现统计一遍,99320 次映射到了某个类别,7502 次被忽略(因为标的是人在说话),70 次被丢弃。一个含有被丢弃标签的片段,不会被当作真实标注窗口使用,因为里面有一个声音没被标出来。
这里有一个特别值得说的设计。NonverbalTTS 只告诉你每个声音在转写文本里的位置,夹在两个词之间,但不给时间。作者用了一个三步骤流程把时间找回来。
第一步做词对齐,用 MMS 强制对齐模型,在 CTC 发射上做 Viterbi 搜索。第二步在符号前后两个词之间的静音区里找事件,以 20 毫秒为帧,找出比本段噪声底线高出 4 分贝以上的连续帧,取能量最高的那一段,把间隔小于 100 毫秒的段合起来,再各留 40 毫秒的余量。第三步,定位到的声音切成事件片段。
*强制对齐(Forced Alignment):已知文本内容,反过来找出每个词在音频里的精确起止时间。
*CTC:一种允许输入输出长度不一致的序列训练目标,常用于语音识别。
*Viterbi 搜索:一种在序列上寻找最优路径的动态规划算法。
8620 个标注声音里,6360 个被成功定位,占 74%。具体是 4546 个呼吸、879 个笑、327 个嗅、224 个咳、187 次清嗓、107 次叹气、69 次呻吟、13 个喷嚏、8 次打鼾。每个类别还有个最长持续时间上限,从嗅的 1.0 秒到笑的 4.0 秒,超过就从能量最大的帧附近裁掉。
作者很诚实地承认:这些时间戳没有经过人工校验,继承了转写符号位置的所有误差。而且两个词之间短于 0.2 秒的停顿根本定位不了,比如一边说话一边笑的情况。
整个数据管线里最妙的一步,是把真实录音和合成混合拼到一起。
真实窗口的做法是把同一数据集的标注片段首尾拼接,每段归一化到有正负 6 分贝波动的 RMS 电平,接缝处加 10 毫秒淡入淡出,事件时间戳相应平移。合成混合的做法更激进,取一段干净的语音床,铺满 8 秒,然后往里粘一到一个三个事件,每个事件的类别在所有类别里均匀抽取。
*语音床(Speech bed):作为背景的纯净语音片段,事件会被粘贴到它上面。
注意"均匀抽取"这四个字。这意味着稀有类别和常见类别出现的频率一样高。论文里的原始标注事件统计显示,呼吸有 71222 个事件,而打嗝只有 608 个,差了 117 倍。如果按自然分布训练,模型几乎学不会打嗝。
但光有合成数据不够。作者明确说:真实窗口教给模型事件在自然语境里听起来是什么样,这是合成粘贴做不到的。所以真实和合成都要。
*RMS 电平:均方根电平,衡量一段音频整体能量大小的常用指标。
到这一步还没完,还有一个更隐蔽的坑。
合成混合用的语音床来自 NVS-38K 和 NonverbalTTS 那些没有标注声音的片段。但这些片段并不是真的干净,里面可能有没被标出来的呼吸、嗅和笑。如果你把新事件粘上去,等于在教模型"呼吸是背景"。
作者的解决办法是:先训一个 31 类的初步检查点,让它跑一遍所有语音床和噪声池,标记出任何说话人类别或任意类别超阈值的帧,把标记向两侧各扩 0.32 秒,然后只保留至少 2 秒的最长未标记段。结果是 10105 个语音床保住了 9645 个(18.4 小时),2279 个噪声块保住了 2102 个(5.5 小时)。
这一步相当于给原材料做质检。你自己在家做饭,从超市买回来一袋"洗净"的青菜,直接下锅炒,结果吃到沙子。你要么自己再洗一遍,要么就得接受每次都有沙子。作者选了前一条路,而且他们不是靠人工挑,是让一个已经会识别这些声音的模型来挑。
训练配置方面,目标是帧级 BCE 加上 0.25 倍的片段级 BCE。帧级那一项有个正样本权重,等于该类负帧数除以正帧数,上限 100,这样稀有的正样本不会被淹没。片段级那一项作用在时间维度的最大值上,相当于在说"整段里这一类到底有没有出现过"。
*BCE:二元交叉熵,二分类任务里最常见的损失函数。
优化用 AdamW,权重衰减 0.01,OneCycle 调度,峰值学习率 3e-4,10% 预热,批次 32,混合精度,梯度范数裁剪到 5,共训 10 个 epoch。模型是从前面那个 31 类检查点热启动的,除了输出层之外所有权重都复制过来,剩下 23 个类别的输出行随机初始化。
最终训练池是 171000 个 8 秒样本:30000 个合成混合,9000 个 NVS-38K,9000 个 Vaani,7000 个 NonverbalTTS,12000 个 AudioSet-Strong,再加上各自的增强副本。
增强手段列在表 4 里,我挑几条说说为什么选它们。插入静音的概率 0.5,插 1 到 2 段 0.2 到 1.5 秒的停顿,后面所有标签跟着平移。混响概率 0.25,RT60 从 0.15 到 0.8 秒,模拟不同房间。电话频带概率 0.2,巴特沃斯带通 300 到 3400 赫兹再加 8 位 μ 律编码,模仿电话音质。
*RT60:混响时间,声源停止后声压衰减 60 分贝所需的时间,用来描述空间大小。
背景噪声概率高达 0.85,其中 40% 来自真实的 DNC 和 DEMAND 噪声池,20% 是 3 到 6 段语音床拼出来的嘈杂人声,10% 是带谐波的合成电源嗡声,剩下 30% 是白噪、粉噪、棕噪。
这里的选择逻辑很清楚:真实噪声优先,因为它们带着真实环境的统计特性,合成噪声只是补充覆盖不到的频段。
模型选型也值得说。每个 epoch 结束后,在固定的验证窗口上算帧级平均精度,取四组真实集和一组加噪集的均值最高者。注意合成集不参与选型,只作为参考显示。
*平均精度(Average Precision,AP):一种不依赖阈值的排序质量指标,等价于精度召回曲线下的面积。
为什么合成数据不参与选型?因为合成数据的事件位置是构造出来的,过于干净,模型在它上面表现好不代表真实场景好。用一个自己出的题来考自己,考满分也没有意义。
阈值校准是另一个关键设计。对每个类别,把标注它的那些来源的真实验证窗口的帧概率汇总起来,从 0.05 到 0.975 的候选里挑一个阈值。挑法有两种:最大化帧 F1 的叫平衡档,最大化帧 F2 的叫敏感档,F2 给召回的权重是精度的两倍。
*F2:精确率和召回率的调和平均变体,更偏向召回率,也就是宁可多报不可漏报。
为了不让阈值挑得过于乐观,作者把窗口分成奇偶两半,一半调阈值,另一半打分,再交换,取平均,这就是论文里一再出现的"两折交叉验证"。
*交叉验证:把数据切开,一部分用来调参数,另一部分用来评估,避免自己评自己。
还有个兜底机制。某个类别如果正样本帧少于 25 帧(也就是 1 秒),或者交叉验证 F1 低于 0.1,就被标记为"弱类",平衡档阈值抬到至少 0.9,敏感档阈值钳在 0.6 到 0.8 之间。意思是这类还是能用,但只在模型非常有信心时才触发。
推理阶段是概率转事件。音频按 8 秒窗、2 秒跳切分,重叠窗口的概率逐帧平均,每条类别轨迹做五帧(200 毫秒)中值滤波。一个事件被定义为超过 0.6 倍阈值的最大连续帧段,但其中必须至少有一帧超过阈值本身,这叫迟滞。同类的短段如果间隔小于 0.3 秒(说话人发声)或 1.0 秒(背景声)就合并,短于 0.15 秒的事件被丢弃。
*中值滤波:用邻域中位数替代当前值,能去掉孤立毛刺而不模糊边界。
*迟滞(Hysteresis):设置两个阈值,进入用高阈值、退出用低阈值,避免在边界上反复抖动。
最后一步是把事件并进转写。规则有四条:识别器已经转写出来的事件要删掉,比如整段词都是 uh、um、hmm 的填充词或者 ha、haha 的笑声标记;同类片段间隔小于 0.5 秒(说话人)或 1.5 秒(背景)的合并;词起始时间先改成非递减,然后把说话人标签或背景开标签插在第一个起始时间不早于事件开始的词之前,闭标签插在最后一个起始时间不晚于事件结束的词之后;相邻相同标签折叠。
作者特别强调一点:标签是插在词与词之间,而不是和词一起排序,所以识别器的词序永远不会被打乱,即使它的时间戳本身不单调。这个约束很重要,因为用户拿到转写后最不能接受的就是原本连贯的句子被拆得七零八落。
结果部分。论文诚实到我有点意外。
先说帧级。全部 54 类的宏平均 AP 是 0.265,剔除弱类后的 43 类是 0.324。最高的几个是音乐 0.884、叹气 0.725、喇叭 0.590、掌声 0.582、打鼾 0.551。有十一个类被判定为弱类:电视、风扇、脚步、哭、呻吟、咀嚼、门、哈欠、打嗝、擤鼻、敲击。
平衡档在 43 个可靠类上平均精度 0.352、召回 0.414、F1 0.351;敏感档精度 0.267、召回 0.521、F2 0.400。从平衡档切到敏感档,召回涨了 10.7 个百分点,精度掉了 8.5 个点。
事件级结果才是真正的考验。在 48 个至少 10 个留出事件的类别上,共 9367 个事件,敏感档宏召回 0.491、宏精度 0.302、F1 0.322,微召回 0.672 也就是找到了全部事件的 67%。平衡档召回 0.369、精度 0.361、F1 0.329,微召回 0.533。
说话人发声和背景声的召回差不多,宏召回 0.455 对 0.510,但精度差得明显,0.383 对 0.261。也就是说背景声更容易被找出来,但也更容易误报。
按类别看,事件 F1 最高的几个是音乐 0.80、叹气 0.78、喇叭 0.74、笑 0.63、嗅 0.63、鸟 0.62、呼吸 0.61。垫底的七个低于 0.1:哈欠、风扇、门、雨、咀嚼、蜂鸣、电视。48 个类里,敏感档能找到一半以上事件的只有 26 个。
速度方面,178 秒音频的检测,八线程 CPU 用 4.6 秒,是实时的 39 倍;T4 显卡用 0.47 秒,是实时的 380 倍。注意这还不包含音频解码和模型加载时间。
现在说几个我认为最值得留意的细节。
第一个是作者对评估局限性的坦白,坦率到几乎是自我拆台。他们列了四条:第一,检查点选型、阈值调优和帧级指标全都用了和事件级评估同一批留出片段的验证窗口,所以绝对数字是偏乐观的。第二,没跑任何标准基准,比如 DCASE 家居声音检测任务。第三,所有数字来自单次训练运行,没有重复实验,给不出置信区间。第四,标注者没标出来的声音会被算作误报,这会惩罚像呼吸这种经常被漏标的类别。
*DCASE:声学场景与事件检测与分类挑战赛,声音事件检测领域最主要的公开评测。
第二条尤其致命。没有标准基准意味着这个数字无法和其他系统横向对比。你只能说"在我们的评估协议下达到 0.322 的 F1",不能说"我们比某某方法好"。
第二个是那段非正式的自我测试。第一作者录了 6.8 秒英语,开头一声叹气,4 秒左右一声咳嗽。敏感档把叹气标在 0.00 到 1.04 秒,咳嗽标在 3.64 到 4.88 秒,但同时给出了一个和咳嗽重叠的清嗓标签,还有一个莫名其妙的哈欠。作者老老实实说这只是一个孤例,不属于评估。
我喜欢这种写法。它比任何漂亮的表格都更能让人理解系统实际用起来是什么感觉。
第三个是那个被仔细挑出来的定性例子。为了避免"手挑好例子"的嫌疑,作者定了一条机械规则:取存储顺序里第一个满足"至少三类事件、时长 6 到 12 秒"的留出 Vaani 片段。结果这个片段从头到尾有音乐,2.3 秒有个喷嚏,3.5 秒有个呼吸。模型检测到了音乐,但漏掉了喷嚏和呼吸(呼吸概率峰值大约 0.7,没过阈值),还全程误报了一个电视声。
作者给了一个合理的推测:语音底下的音乐用手机录出来,和电视广播录音听起来很像,而电视声的训练数据主要来自 DNC 的电视广播。但他们紧接着说,单个片段无法证实这一点。
第四个是作者在结论里点出的三个开放问题:需要在一个真正分离的目标领域测试集上做评估、弱类怎么救、以及训练数据带来的许可约束。
许可这件事值得单独说。三个训练来源限制了使用:NVS-38K 是 CC BY-NC 4.0 仅限非商业研究,NonverbalTTS 的标注是 CC BY-NC-SA 4.0,OpenSLR 99 是 CC BY-NC-ND 4.0。AudioSet-Strong 的镜像没声明许可,而 AudioSet 音频来自 YouTube。作者说,训练好的权重是不是训练数据的衍生作品,这件事在法律上还没有定论。
结果是,他们把权重以 CC BY-NC-SA 4.0 发布,只允许非商业使用。想商用的版本必须去掉那些受限来源重新训练。顺带一提,OpenSLR 99 只贡献了大约 138000 个事件片段里的 591 个。
*CC BY-NC-SA 4.0:知识共享署名-非商业性使用-相同方式共享许可协议。
最后一个细节,是关于可复现性的。作者承认,要精确复现是做不到的,因为发布模型是从一个 31 类的初步检查点热启动的,而那个检查点没有发布。训练笔记用的是 checkpoints 目录里的任何模型,现在里面装的是发布版模型,所以重新跑一遍只能走同样的流程,但不会得到完全一样的权重。另外固定池和验证集有固定随机种子,批次顺序、时间平移和 SpecAugment 没有设种子。
写在后面
读完这篇论文,我脑子里冒出来的第一个念头和技术无关。
作者做了一个数据质量检查,用已经训好的模型去扫描语音床和噪声池,把可能含有未标注声音的部分剔除掉。这个动作的价值在于承认一件事:你的训练数据里,标注是不完整的,而这种不完整会反过来教坏模型。绝大多数论文不会做这一步,因为做这一步意味着承认自己的数据不干净。
第二个念头是关于那个 0.322 的 F1。
在图像识别、语音识别这些领域,F1 到 0.9 才算拿得出手。0.322 这个数字放在其他任务上,基本会被认为是失败的。但这里的情况不一样。这些"事件"很多只有几十毫秒,很多本来就模糊到人也会漏,很多在标注时根本没被标出来。用一个漏标算误报的严格协议去评,0.322 未必说明模型差。
真正值得追问的是另一件事:在这类任务上,什么样的指标才算合理?如果标注本身就是不完备的,那么完美的评估协议应该长什么样?
第三个念头,是关于那个"敏感档"。
整篇论文里我最有共鸣的就是这个设计。一个靠漏报起家的系统,最后提供了两个工作点让用户自己选。这种把取舍权交还给用户的做法,在机器学习工程里其实并不常见。更常见的做法是调出一个"综合最优"的配置然后发布。
但世界上并不存在"综合最优"。做会议记录的人要的是不漏,做自动字幕的人要的是不误报,这是两种不同的需求,硬要合成一个数字,最后必然两边都不满意。
第四个念头,是关于那个喷嚏。
作者选的定性片段里有个 2.3 秒的喷嚏,模型没检测到。喷嚏在人类的听觉系统里几乎是全频段爆发,是不可能被忽略的声音。但在模型的概率曲线上,它就是个不够高的山峰。
这里的差距到底是什么?我猜部分是训练数据的稀疏,喷嚏在全部事件里只有 597 个,而呼吸有 71222 个。模型见到喷嚏的次数太少了,以至于它没见过足够的变体,就学不会泛化。数据里藏着的偏见,最终会以"某类声音总是漏检"的形式出现在产品体验里。
至于那个被反复讨论的注意力可视化,我倒有个不太一样的看法。作者展示六层 Transformer 的平均关注距离从 1.76 秒涨到 2.59 秒,看起来像是在证明"层越深看得越远"这个漂亮的规律。但作者自己在同一段里就说了,这只是一个片段,他们不声称被关注的位置对应特定事件。
Q&A
Q1:Speech Event Detector 是什么?
A1:Speech Event Detector 是一个 5.8M 参数的卷积加 Transformer 模型,每 40 毫秒输出 54 类(20 种说话人发声和 34 种背景声)的概率,再把概率变成带时间戳的事件,并合并进 Whisper 的转写文本里。
Q2:Speech Event Detector 的准确率是多少?
A2:在 48 个至少 10 个留出事件的类别上,敏感档宏召回 0.491、宏精度 0.302、F1 0.322,能找到全部 9367 个事件的 67%;平衡档召回 0.369、精度 0.361、F1 0.329。作者强调阈值调优用了与评估重叠的留出数据,绝对数字偏乐观。
Q3:Speech Event Detector 能商用吗?
A3:不能。因为它用到的 NVS-38K、NonverbalTTS 标注和 OpenSLR 99 分别受 CC BY-NC 4.0、CC BY-NC-SA 4.0、CC BY-NC-ND 4.0 限制,作者只能把权重以非商业许可发布,商用版本必须去掉受限来源重新训练。







