最近看大模型发布，我都有一种越来越明显的感觉，模型在变强，但自己却越来越难被打动了。
每一次发布，都是代码能力又上了一个台阶，复杂任务又能多做几个，榜单上的名次换了又换。进步都是真的，但落到感受上，已经很少再有初次使用 ChatGPT 时那种震动，每次在发布会之后，我甚至开始熟练地跳过发布会的前半段，直接去找参数和价格，扫一眼比上一代强多少，重点看看价格降了没有，自己常用的功能有没有改善。
技术还在向前，惊讶的门槛也被一并抬高了。
通用大模型正在成为一种日常设施，这当然是好事，但对一个持续关注 AI 的人来说，日常也意味着，许多曾经足够令人兴奋的事，开始变得乏味。
01但垂直模型反而带来了趣味说实话，最近让我感觉到有意思的，反倒是最近接连出现的一些专门模型。
随着大模型能力的发展，一些外溢能力覆盖到专门领域中，做模型的思路也随之开阔。于是，图像、OCR、音频等垂直领域的模型，实际上在这段时间有井喷的趋势。
比如前一阵子写的 Jev，把模型的能力集中到判断和决策上，实现了快而准，自然语言输入，结构化输出，做出的成本不算高，但我当时也说，做不算难，但能别出心裁想到这个方向，价值千金。
还有这个月，堪称OCR模型的争奇斗艳之月。OCR这个已经存在了几十年的技术，也因为AI技术发展，老树发新芽。
30号，小米开源了轻量级文档理解模型 Xiaomi-OCR-0，只有0.8B，这甚至都能在你家电视盒子上部署。28号，面壁智能也开源了 MiniCPM-OCR 系列，包含 1.3B 解析模型与 2B 判别模型。
27号，百度发布并开源文心 Unlimited OCR 2 ，把OCR的识别上限从数十页推向“无限”，可一次性解析累计超 3,600 页的《哈利·波特》全系列 7 部作品，各个评测榜单上几乎是屠榜，在 MPDocBench 得 84.6 分、MarathonDocBench 得 77.1 分，均实现端到端 SOTA。百度在这方面还能存一点优势，就是，唉，算了不说他了。
这些模型各有来路，参数规模也不同，但有一件事相通，它们把注意力落到了具体的能力上，比如专门做行动决策、专门做识别、专门做音色。
这次吸引我的，是一个叫 Dessa 的语音模型。
语音这个方向，在我的关注里一直不算热闹。很大程度上，当下人们主要关注模型智力，稍微关注音色够不够像人，暂时没太大心思关注更多。
但一个语音模型，真想和人顺畅的聊起来，还得看它会不会接话、懂不懂停顿，能不能有一些“活人味儿”。
Dessa 把这些细节拿出来，当成了自己的正题。
听一下这段视频就知道了。
Dessa 能笑、能读错、能讲出气口，甚至还会笑腔、哭腔。
它想让模型从“回答得更好”，走到“更会聊天”。而做出它的，竟然是一家以支付业务起家的公司。
02认真拆解“聊天”这个事儿先说一件我们每天都在做，却很少认真拆解的事：聊天。
一个人说“行，你说了算”，五个字没有变，意思却可以差得很远。语调放平，是接受；尾音拖长，可能是无奈；某个字咬重一点，也可能是在表达不满。现实生活中，接下来是继续聊事儿，还是先解释一下，听的人往往已经心领神会。
又比如“我没事儿”。一个人笑着说，和忍着哭腔说，字面内容完全一样。把后者规整地转写成三个字，文字没有错，交流却可能已经错了。
语音里的信息，一部分在字词里，另一部分在字词之外。
气息、重音、犹豫、笑声，都会改变一句话的分量。这些东西在整理会议纪要时，经常要被删掉，留下清楚、整齐、可以检索的文字；但在交谈正在发生的时候，它们本来就是理解对方的线索。
上面的演示视频里，Dessa会在听到笑话时，就突然笑起来，而大多数语音模型会等人说完之后，才会发出声音。
Dessa 官网还有一段“纪念日惊喜”的演示，在谈到飞往巴黎的行程时，讲到Surprise，官网把约 1 分 01 秒处模型的反应单独标了出来：吸气，低声惊呼，接着作出被团队形容为带着哽咽感的感谢。
如果只看文字，这个片段可能就是一次普通的告知和感谢。但Dessa既然作为语音模型，展示出来的，是感谢之前的那口气，以及感谢说出来时的声线。
但声音富有表现力，还只解决了一半问题。聊天的另一个难处，在于时间。
语言学研究里有一个很有意思的时间差：人类交谈中，话轮交接的间隔常在 200 毫秒量级，而在语言产生实验中，组织一个词往往需要 600 毫秒以上。这400毫秒的差异意味着，人们通常不会等到对方彻底说完，才开始从头准备回答。
想想看，我们实际的聊天，是不是在对方讲一半的时候，就准备开口回答了。
我们在听，也在预测，在理解对方的同时，自己的下一句话已经开始酝酿。等到合适的位置，把话接过去，比如一个停顿、一处句末语调，甚至对方吸了一口气，都可能是接话切口的线索。
这也解释了，为什么有些AI语音助手明明回答很快，却依然让人觉得难聊。你说到一半停下来想词，它以为该自己了；你只是附和一声，它又停下来等你。双方都很积极，一段话却被切得七零八落。
这里还藏着一个经常被忽略的区别：回应对方，并不总是为了接过话语权。
“嗯”“对”“原来如此”，这些简短的附和，叫 backchannel。它们的作用，常常是让对方继续。朋友讲一件事，你一边听一边应声，他就知道自己没有在对着空气说话；如果他每听见一个“嗯”都停下来，等你正式发言，那这段交流就很难往下走。
因此，系统听到用户发声后，不能一概把它理解为“有人要打断我”。但用户真说“等等，我要改一下”时，也不能继续把剩下的内容念完。它得在持续发生的声音里，分清对方的意图。
Dessa 表达出一种我很喜欢的理念，回答是一次交付，交谈却是一段共同维持的过程。
也正因为如此，只把声音看成文字的另一种包装，可能从一开始就把问题看窄了。要让模型学到这些东西，训练时交给它的材料，也得发生变化。
03Dessa如何学会交谈Dessa 的技术实现路线，可以先概括成两个选择：从声音里学，以及在说话时继续听。
第一个选择，是训练阶段。
按照 Block 的介绍，Dessa 从零使用人类对话音频训练，没有使用文本，也没有使用预训练模型。团队想按照人类学习语言的路线出发，人类在认字之前，已经能够学会说话，那么模型能不能也从交谈的声音里，学出语言和交流的规律？
这是研究的出发点，不能由此认定机器与婴儿有相同的学习机制。这确实是和常见的语音模型路线翻了过来，以前语音模型都是先生成文本，再通过TTS读出来，但实际上“语音进语音出”的路线，虽然意料之外，但也在情理之中，视频大模型、图像模型实际上都在走这条路线，也证明了可以走通，音频理论上同样可以。
这条路线的难处，很容易被“音频进去，音频出来”几个字掩盖。
文字有相对稳定的写法，同一个词打出来，通常是同一组字符。声音没有这种整齐，同一个人把一句话说两遍，语速、音高、气息都会有差别，换个人说，口音和音色也变了。模型要从这些变化中抓住语言的规律，同时又不能把所有变化都当成噪声抹掉。
一个略带哭腔的“没事”，模型既要认出这几个字，也要保留“它听起来不像真的没事”这条线索。声音要压缩，因为得便于计算，又不把关键的表达一起压掉，这是语音建模需要面对的取舍。
第二个选择，关乎交谈如何发生：全双工。
“全双工”这个名词听起来挺深奥，大白话来说，就是听和说都能同时干。
也就是模型在发声的时候，仍然接收对方的声音，双方的信息同时向前流动，模型必须不断根据新听到的内容，调整自己正在的思考和说话。
实际上豆包的Seeduplex语音模型和OpenAI的GPT-Live-1语音模型，也是全双工，但目前交流上够用，真要比人味儿，还是差点意思。
传统串联方案可以是“语音识别成文字—文本模型生成回答—语音合成”，优势是能够接上成熟文本模型的知识、推理和工具。后来第二阶段的 Moshi 方案，则联合建模用户语音、模型语音和辅助文本流，保留了文本对语言质量的帮助。Dessa 声称走得更彻底，只用人类对话音频学习。
在训练规模上，Dessa 眼下披露的比较有限，目前已知训练使用了一套 NVIDIA GB200 NVL72，本地运行支持 MacBook Pro M4 Max 或更高配置。前者是机架级系统，标准配置包括 72 张 Blackwell GPU，工程投入不算特别轻。
另外的模型参数量、训练音频时长、运行内存和完整延迟指标，目前还没有公布。
04支付公司里的一间语音实验室Dessa 的来时路更有意思，我们稍微聊下这个模型背后的公司。
它原本是多伦多的一家机器学习创业公司。2019 年，团队展示过一个叫 RealTalk的产品，用文字转语音技术模仿播客主持人 Joe Rogan 的声音；同年，又公布了识别音频 deepfake 的研究。2020 年，搞金融支付的 Square 收购了这家公司，官方公告中特别提到，其经验与风险管理、欺诈威胁等问题有关。
Square 后来把集团名称改为 Block，旗下商户业务继续使用 Square 品牌，也有面向个人的Cash App，在市场上具有优势地位。如今做 Dessa 的，是由原公司成员创立、位于 Block 内部的一间小型研究实验室。
团队负责人 Ragavan Thurairatnam，是原 Dessa 公司的联合创始人、机器学习负责人。如今，他带领这间语音实验室，直接向 Block 掌门人杰克·多西汇报，杰克是Square 的创始人，同时还有一个更有名的Title，推特的联合创始人。
Ragavan说他们做生成式语音已有八年多，官网的贡献名单里列有六位研究者，以及实习生和前实习生。这一点挺好的，即使是前实习生，在团队中的贡献也没有被抹去。
在 Block 的业务里，语音有比较明确的应用场景。Square 已经推出带实时语音点单能力的 Kiosk，支持顾客询问菜单、寻求建议和修改订单。所以一家支付公司，有兴趣打磨一款语音模型，也就说得通了。
点餐是一个很典型的场景。人很少像填写表单一样，把所有条件一次说全。“来一杯冰的……算了，热的吧，少糖。”停顿、补充和改口，才是日常说话的原貌。系统如果早一秒把订单定下来，后面就得纠正；晚几秒迟迟没有反应，用户又会怀疑自己有没有被听见。
再往外看，口语练习、语音陪伴，以及耳机、眼镜这类经常伴随人的设备，都可能需要这种能力，应用场景是广泛存在的。
现在Dessa 仍然是研究预览，团队正在邀请少量 AI 安全研究者申请早期访问，还没有对公众开放模型下载或API。等它真正开放，我更想看它在普通人的交谈里，能不能保持演示中的分寸，不把附和当打断，不把想词当结束，也不在对方需要回应时，留下过长的空白。
大模型把答案越写越完整之后，这些细节可能会变得越来越显眼。
毕竟，和机器说话，需要一些更自然的状态，这是人类与硅基相处好的必经之路。
文：亨亨
登上《时尚芭莎》的中国产品经理
