Xing4.0开源项目解决语音助手意图识别与参数提取难题

大家好啊，我是甲木。

前段时间聊 Jev 和 Instinct 的时候，我跟大家提过人脑的“快思考与慢思考”之前的稿件：大模型擅长一步步推理的慢思考，但业务里海量的活其实只需要快判断。让大模型来做这种判断，就像每次递杯子前都先写一份分析报告，慢，而且贵。

所以以 Jev 为代表的决策模型换了个思路：不写文章，专攻几十毫秒的选择题。

不过在真实的业务里，光做选择题往往不够用。用户说“订单 445566 到哪了”，系统不仅要知道他是要查物流，还得把“445566”这个单号一并抽出来，后面的工单才能跑通。

这次中电信人工智能科技有限公司星辰通用人工智能实验室（下文简称星辰实验室）开源的意图理解专用模型 Xing4.0-29B-Intent（简称 Xing），补的就是这后半步。

又一个专门用于意图判断的小模型，不同的是它既能做选择题，也能做填空题，在做分类判断的同时，把关键参数一并提出来。

这里的“意图”，指用户想办什么事；“参数”，指办这件事需要的具体信息，比如订单号、时间、地点。

举个例子：

上面第一条请求，从我放在广州的腾讯云服务器发出，到收完整个 JSON，一共334 毫秒，差不多眨一下眼的工夫。这是算上公网和网关的端到端时间，模型自己推理那一段还要更快。

放到真实产品里，用户从点一下到看见结果，一般是几百毫秒到几秒。接口返回的是结构化数据，程序可以直接读取并执行。

整体实测下来效果很稳，Xing 模型不仅分得清要干嘛，具体的设备和时间基本都没填错。

在具体实测之前，我想先聊聊它的发展历程和实际价值。

在 2022 年大模型大火之前，意图理解在业务里就一直在用。比如口语理解（SLU）领域，电信客服这类场景早前主要靠 BERT 这类小模型来给意图和槽位打标。

但那时候每加一个新意图都要重新标数据、重新训练，换个行业基本得从头来。

大语言模型出来后，情况完全变了：它的泛化能力极强，不用额外训练就能识别各种复杂意图。于是大家开始让大模型按固定格式输出 JSON，程序拿到再去执行。能用了，但每次判断要等好几秒，大模型用来做这种即时判断实在太慢了。

后来行业尝试用参数较小的语言模型来折中，但只要本质上还在逐字生成文本，延迟就很难真正降到毫秒级。

所以把系统一单独拆出来的路线，又一次成了行业的新解法：先是Jev 专攻极速判断，紧接着Xing 补全了参数提取，把填空题也一起做完。

具体介绍下 Xing4.0-29B-Intent 这个模型。

它基于Xing4.0-29B-A4B微调，每次推理只调用其中的 4B。比起不少国外模型只给托管 API 或者闭源试用，这次星辰实验室直接把全家桶开源放了出来：训练语料、模型权重、推理 SDK 和部署镜像全部公开，想自己部署、微调的企业和开发者可以直接拉代码。

在官方评测里，它的严格全对总分达到了 58，而海外通用大模型中最高的 Gemini-3.6-Flash 是 49；只看意图类别时各家差不多，差距主要在参数提取上。

不过光看基础跑分没意思。

接下来的实测，我从最基础的意图识别、参数提取，一路测到真实的后台客服业务和AI Agent产品功能落地，看看它到底是个什么水平。

要想用 Xing，得先给它写一份说明，交代清楚有哪些意图、什么样的话归入这个意图、需要提取哪些参数，再把用户说的话一起发给它。

我先拿工厂设备运维这个基础场景试了试，写了一份说明：四类意图加一个兜底，分别是查设备状态、报设备故障、查工单进度、调运行参数。20 道题，意图和返回格式全部答对。

时延方面，从广州的云服务器发出，保持同一个连接、一条接一条地发，中位数是 372 毫秒，最快 238 毫秒，最慢 655 毫秒。（ps.算上网络环境等等的影响，时延还是非常感人的。。）

不过参数提取这块还是翻了车。20 条里有 8 条没填干净，比如下面这条，它直接把产线名“二号线”错填进了设备栏。

但这正好暴露了System 1 意图模型的特点：

在意图识别和参数提取这类场景下，模型完全照着你给的说明去抓取。规则要是写得模棱两可，参数就很容易抓偏。

顺着这个思路，我自己也搭了一套场景——智能家居。

这是一个非常典型的强业务场景：不管用户口语怎么表达，电器的开关、模式调节和设备状态查询都很明确，天然适合交给这类模型来处理。

这一次再测试， 24 条指令，对了 23 条。

唯一错的一条，也是因为我写的说明里两个分类的边界没写干净。另外它偶尔会沿用口语，比如该填“关闭”时填成了“关掉”，执行前加一步简单的词表归一化就能解决。

在这种真实场景里，大家要的就是言出法随：几百毫秒的响应，刚说完关灯，灯就已经关了，完全没有前摇。

单看上面这些，用法是不是感觉还挺基础的？

但如果真把它接进实战工作流里，这个模型的含金量才真正大起来，它其实可以这么用：

比如最典型的企业客服。很多系统的右侧都会配一个“AI 辅助面板”，用来自动识别意图或抓取订单号。原本这些信息都要客服手动去查去填。

但以往这类功能往往很鸡肋：客户在那头催，AI 还在转圈，等四五秒才出来，客服回复早就超时了，还不如自己打字。

换成 Xing 这种专用系统一之后，最大的改变就是速度：响应基本是秒出（四五百毫秒）。

拿企业客服说明对应的常见业务测了 14 条，意图判断对了 12 条。

实测过程里有几个细节挺有意思：像“199 降到 149 退差价”，用户根本没提降价或买贵，模型自己根据价格差推断出了退款原因是“买贵了”。

这其实就是模型泛化能力的直接体现：它能直接看懂数字背后的业务逻辑。

泛化太强偶尔也会过度脑补：比如“耳机的左耳没声音”，用户没提具体型号，它太想把参数填满，顺手把“耳机”俩字填进了型号栏。这类小失误在工程上加一道后置规则就能解决。

我用 Codex 写了一个客服工作台，直接接入 Xing 作为底层能力：客户打字还没按发送，后台就已经在实时预判用户意图；等消息一发出来，右侧面板已经把工单类型、订单号和业务文档全备齐了。

比起一味强推全自动的智能客服，让AI 在旁边给真人打好辅助、秒级提供对应材料，提效反而来得更快、更稳。

毕竟不少客户对机器人回复天然有些排斥。

识别出意图后直接推送对应业务文档，让真人客服带着现成资料去沟通，反而更能兼顾效率和体验。

如果遇到更复杂的需求，也可以让模型判断之后，直接把问题上升到更大的通用模型（比如 Kimi K2.8）去做深度推理。

后台辅助是一方面，但它其实能走得更深，利用其特性打造 AI Native 的产品功能，浅举个例子：

平时大家最常接触意图识别的地方其实是“声控”，比如车载语音或智能音箱。但声控有个天生的硬伤：交互容错率极低。如果第一下意图判错了，中间没有任何确认环节，只能很麻烦地重新喊一遍。

而在输入框里做意图判断，最大的优势在于有按键交互：用户打字的同时模型在实时预判，看准了按回车才确认，判断错了也不耽误正常打字。

我用 Codex 做了一个网页版的 demo，比如上一句刚聊完项目周报，接着只敲了“发给”两个字，后台就预判出发送消息的意图，并把“项目周报”抓取并填进了参数栏。

敲一个字发一次请求，四五百毫秒就能返回。

这种预判本质上就是把 Agent 的工具路由直接做进了输入行。键盘刚敲到“订个会议室”，后台就已经锁定了会议室工具。

除了意图和工具选择，在这个网页里我还顺手搭了一个“AI 伴写”来做短句补全。

实测时有个很有意思的细节：因为我是直连官方 API，响应速度太快、调用太密集，测试时甚至好几次把接口给打熔断了。

不过抛开频控限制，实际用下来体感非常丝滑，键盘敲击只要稍微一停顿，光标后立刻就会浮出一行灰色的短句建议。

按一下 Tab 键只采纳前半句，觉得不需要直接继续敲字或者按 Esc 取消，随写随停，完全不打乱原有的打字节奏。

顺着这个输入交互，其实还能衍生出不少实用的玩法，比如很多人在聊的“AI 恋爱军师”。

大模型直接截取当前屏幕的聊天对话，调用 Xing 快速把对方的真实意图和关键信息抽出来，输入法候选栏直接弹出两三条高情商回复，点一下就能发送。

在即时聊天里，大模型写得再好，要是让用户在界面干等三四秒，对话节奏早就断了；几百毫秒给出建议，这种辅助才有实用价值。

从给家电发指令、给客服后台找资料这种老业务提效，再到打字直接办事、实时接话这种利用 Xing 模型特性的产品交互，当意图识别做到几十毫秒、直接贴到手边的时候，很多以前受限于延迟、体感卡壳的产品功能，才真正有了顺畅落地的可能。

实测下来，个人觉得有两点小瑕疵：

一是目前不支持批量推理。二是我个人感觉没必要开深度思考。本来就是系统一的专用模型，讲究的就是一个快；一旦开了思考模式，同一道题耗时直接从不到 0.6 秒飙到 2.6 秒。

不过这一圈跑下来，我个人觉得这类专用模型的含金量其实非常大。

不管是智能客服还是输入框里的工具路由，只要场景找准了，它非常适合嵌进现有的工作流里：几百毫秒把意图和参数抽干净，后面的系统直接接手去执行。

在实际落地时，这种快判分流的能力，往往比一味堆大模型更管用。希望今天搭的这几个小案例，也能给大家带来一点实际的启发。

想自己上手部署跑跑看的同学，全套开源地址整理在这里了：

GitHub：github.com/XingChen-AGI/Xing4.0-29B-Intent

以上。