这是一个只靠"听"学会说话的 AI。
Dessa是Block 公司(Jack Dorsey 创办,旗下有 Square、Cash App)一个很小的 AI 研究实验室做的实时语音对话模型,目前是研究预览版。团队来自多伦多的深度学习创业公司Dessa,做生成式语音模型已有八年以上,直接向Jack Dorsey汇报。
特别的地方是,没用一个字的文本,也没用任何预训练模型,从零开始,只听人类对话。 就像婴儿学说话,先听,再开口。
效果很惊艳,它能边听边说,你说话时它会"嗯"”对"地附和;聊到好笑的地方,它会在句子中间笑出来;让它大声点,它就提高音量;对方想不起电影名字,它还能帮忙接上。官方甚至放出了它和 OpenAI的GPT-Live 直接对话的录音。
成本方面,两个数字,训练只用了一台GB200 NVL72;推理能在一台M4 Max的MacBook上本地跑,速度还比实时快。 小团队、小算力、端侧运行,和大厂拼规模的路线完全相反。
为什么这件事重要?现在的语音 AI 大多先把声音转成文字再处理,情绪、语气、停顿全丢了。Dessa证明了一件事,声音本身,就是一种比文字更大信息量的信息。
当然也要冷静,Demo演示都是官方精选的,没有论文、没有权重、没有评测,知识全靠"听"到的得来。团队说,这是语音领域的 GPT-3 时刻。GPT-3 当年也不完美,但它指明了方向。
语音,这条赛道,倒是不一定只属于算力最多的公司。











