(来源:快科技)
快科技11月10日消息,智元机器人今日宣布,正式发布WITA-Omni(硅光动语全模态大模型)。
官方称,该模型是行业首个具身全模态端到端交互大模型,旨在让机器人拥有真正面向物理世界的"交互大脑"。
与传统主要依赖音视频信息进行交互的模型不同,WITA-Omni基于机器人本体感知数据深度训练,不仅支持音视频输入输出,还新增了触觉、本体状态等输入,以及机器人动作、表情等输出,让机器人能够更加全面地感知环境并与人类交流。
在交互效率方面,WITA-Omni采用流式全双工架构,可以实现边听、边思考、边回应、边行动,打破传统串行处理模式带来的等待。
官方数据显示,该模型交互响应最快约400毫秒,平均约600毫秒,较业内平均水平快近3倍。
值得一提的是,WITA-Omni还实现了全模态拒识能力,机器人不再需要依赖唤醒词即可进行自然对话。
系统能够综合对话朝向、视频、音频、声纹、唇动、姿态、语义及上下文等信息,判断当前发言是否需要回应,在多人交谈、环境广播等场景下,也能有效降低误触发。
语言交流方面,WITA-Omni支持上百种语言和方言免切换交流,并结合全双工架构,实现语言及方言的流式同声传译和双向互译。
此外,该模型还强化了机器人的情感表达能力。通过面部表情、语音和肢体动作协同,机器人能够呈现开心、惊讶、悲伤、激动、自信等数十种情绪,并支持不同程度的情绪表达。例如,同样是开心,既可以浅浅一笑,也可以开怀大笑。
除了听、说、看、动,WITA-Omni还具备实时可视化能力,可以根据交流内容,将复杂产品信息或科普知识直接呈现在机器人面部屏幕上。
更进一步,机器人还能够持续感知周围环境和用户状态,在适当时机主动发起互动,例如主动欢迎贵宾、回应用户点赞,或挥手告别。








