Token导航 LogoToken导航TokenDH.com

实测Jev:没那么强,但足够给有些乏味的AI圈带来新刺激

更新时间 2026-09-20来源 虎嗅网正文 4707字阅读约 15分钟4 张图片

TypeSafe推出System One Model,让模型直接输出结构化决策结果

本文来自微信公众号: 硅星人Pro ,作者:董道力

最近几天,AI圈讨论度很高的一个模型,不是GPT、Claude或Gemini的新版本,而是一个几乎不说话的Jev。

9月15日发布后,它很快被接入Vercel AI Gateway。根据Vercel公布的数据,上线Gateway 24小时内,近13%的付费团队已经使用过它,这是平台历史上采用最快的一次模型发布。对于一款此前没有公开亮相的模型,这个开局相当抢眼。当然,尝鲜之后能留下多少用户,还需要时间检验。

开发者感兴趣的,是把Jev放进模型路由、Agent是否继续执行、风险筛查、输出检查等环节。TypeSafe对它的定义也很特别:第一款“System One Model”。给它一段state和几个问题,它直接返回选择、评分或真假判断,以及相应的概率,供软件调用。

这和过去几年人们最熟悉的模型发布,很不一样。大家已经习惯等待一个更会回答问题、更能解释自己、更擅长长篇推理的AI,Jev却干脆拿掉了文字生成。它负责判断,下一步做什么,由程序决定。

1

一个不太像大模型的模型

Jev的使用方式很简单:先给模型一个state,也就是需要判断的上下文;再给它一组questions,提前规定每个问题的答案类型。

例如客服系统收到一条用户消息,程序可以同时问:

●这是不是紧急问题?

●用户是不是有购买意向?

●应该分到哪个处理类别?

●严重程度是多少?

我们可以用伪代码比较一下Jev和语言模型的区别。

    jev("我被重复扣款了,请退款。",{department:choice({billing:"付款退款",technical:"产品故障",sales:"购买咨询"}),urgency:score(["可以等待","今天处理","立即处理"]),refund_requested:probability("客户明确要求退款")})

      response=llm(`分析买家消息:“我被重复扣款了,请退款。”返回三个字段:department:billing(付款退款)、technical(产品故障)、sales(购买咨询)urgency:0(可以等待)、1(今天处理)、2(立即处理),允许小数refund_requested:客户明确要求退款的概率,范围为0~1只返回JSON,不要解释。`)result=JSON.parse(response)

      通过Vercel AI SDK调用时,这些问题可以分别设为Choice、Score或Boolean。Choice选择一个选项,Score按给定标准评分,Boolean返回一个真假概率。模型处理完,程序就可以读取结果。

      普通大模型当然也能完成这些判断,还可以被要求只输出JSON。在常见的聊天式调用中,它仍然需要逐个token生成这份结果。Jev把产品目标收窄到预先声明好的判断,不生成一段文字来交付答案。

      TypeSafe官方称,Jev使用了新的模型架构、并行sampler,以及Reinforcement Learning for Calibrated Decisions(RLCD)训练方法。它会并行处理声明好的问题,输出空间也提前限定,因此不会出现schema之外的类型错误。System One这个名字来自丹尼尔·卡尼曼《思考,快与慢》里的System 1:快速、直觉式的判断。

      不过,官方宣传中的“不会hallucinate”,也许并不是你想的那样。

      它不会凭空生成一个不存在的选项,也不会把本该是数字的结果写成一段文字。但这并不等于它不会判断错。比如你让它在A、B、C三个选项里选一个,它仍然可能选错,只是不会跑出D。TypeSafe在发布文章中也解释,其“零幻觉”数字来自对输出结构的保证。

      模型的自由度被压缩了,判断本身依然可能出错。这两件事,需要分开看。

      1

      实测:快是真的快,但也没那么强

      为了看看Jev到底能做到什么程度,我们做了一组很简单、但比较贴近实际业务的测试。

      题目来自电商客服场景,我们搞到了一批数据,一共50条中文客服问题。每条问题都要求模型完成四项判断:紧急度、售前概率、处理类别和严重度。评分也很直接:四项全部符合人工标注的评分要求,才算这一题正确。

      我们把模型分成三组。第一组是便宜的小模型,包括DeepSeek V4 Flash、GPT-5 nano和Gemini 2.5 Flash Lite;第二组是国产模型,包括GLM 5.3 Flash、DeepSeek V4 Pro、Qwen 3.8 Flash、Kimi K3和MiniMax M3;第三组则是GPT-5.5、Claude Opus 5、Claude Sonnet 5和Gemini 3.1 Pro Preview。Jev放在第一组里比较。

      结果并没有出现什么“新模型吊打旧模型”的戏码。

      Jev的平均得分大约在32~32.6分之间,50道题的完整准确率约为64%~65.2%。它排在便宜小模型组第二,只比DeepSeek V4 Flash少1.2分。如果只看这组题,Jev并没有表现出特别强的判断能力。

      但速度和价格,是另一回事。Jev平均每道题的完整响应时间约0.73~0.75秒,50道题总成本约0.002美元,两项都是我们测试中的最低值。DeepSeek V4 Flash虽然多拿了一点分,但平均每题需要5.58秒,成本约为Jev的2.5倍。

      放到更强的模型组里,准确率的差距就更明显了。Jev的分数排在最后。MiniMax M3平均可以拿到约38分,比Jev多做对约5.4题,完整准确率高出约10.8个百分点。

      但对应的成本差距,其实没有想象中那么大:50道题,MiniMax M3只多花了大约0.0035美元,平均每题响应时间约1.80秒。对于这组任务,多花这点钱换取更多正确答案,同样是一个值得考虑的选择。

      因此,这组测试很难支持“Jev是更聪明的模型”这个结论。它展示的是一组具体取舍:少等一会儿,少花一点钱,同时接受一定的准确率差距。是否划算,要看业务有多在意延迟,以及判断错一次会付出什么代价。这50条中文客服样本,也不足以代表它在所有任务上的表现。

      测试里还有一个挺有意思的现象:Jev有一些失分,卡在了阈值附近。

      比如人工标注认为某条客服消息的严重度下限应该是2.00,Jev给出了1.99;某条临期食品问题的人工紧急度是0.75,Jev的结果在0.71~0.72左右。数值差距很小,但如果业务规则写的是“达到2.00才进入人工处理”,1.99和2.00就会被程序当成完全不同信号。我们重复测试了15次,还有3道题出现过通过和失分交替的情况。

      这说明,模型返回一个精确到小数点后的数字,并不会自动让业务规则变得可靠。尤其在阈值附近,开发者仍然需要处理波动,决定什么时候复核。

      TypeSafe希望进一步解决的,是让概率本身成为软件可以依赖的信号。它把概率校准列为训练目标:如果一批判断都给出80%的概率,那么长期看,相应结果应当大约有80%成立。这是一个可以检验的目标,不能仅凭模型返回了概率就认定已经实现。

      在产品中,Choice和Score会附带概率分布,以及由分布计算的置信度,方便程序决定自动执行、补充信息,还是转交人工。这里的置信度与“严重度打了多少分”是不同的量,我们这组按题目判分的测试,也不能验证概率校准做得有多好。

      Jev想交付给软件的,包括答案,也包括处理不确定性的线索。这件事有用,但离“可以放心交给它”还有一段需要验证的距离。

      1

      明星团队带来的反差和新的启发

      仅凭这份成绩单,显然还解释不了Jev的热度。便宜的小模型已经不少,Jev也没有在我们的测试里拿下准确率第一。但它就是这么热。

      这背后一个关键肯定是它的团队。

      TypeSafe的联合创始人兼CEO Diogo Almeida,曾在OpenAI参与InstructGPT的研究。他是2022年《Training language models to follow instructions with human feedback》论文的作者之一。这项研究用人类反馈训练模型,让它更好地遵循人的意图,也是通向ChatGPT的重要工作。

      在论文里有一个很能说明问题的结果:在研究采用的提示和人工评估中,经过训练的13亿参数InstructGPT,比1750亿参数的GPT-3更受评估者偏爱。模型小了一百多倍,改变训练目标,仍然可以让它更符合使用者的需要。

      如今,Almeida却又开始质疑自己参与推动的成功路线。

      Jev发布文章的开头,他直接问:“模型在聊天上超越人类已经好几年了,自动化在哪里?”这问到了大模型热潮里一个迟迟没有充分兑现的承诺。

      他的团队也有鲜明的工程背景。联合创始人兼COO Sasha Sheng曾在Meta/FAIR从事News Feed、AI产品体验和研究工作;CTO Erik Gafni做过面向DNA测序的多模态AI创业项目,也是Invitae和Freenome的早期员工。根据官网介绍,团队还包括来自Google Brain、Stripe、Airbnb、Plaid、Docker等公司的成员。

      这些履历当然让这次转向多了一层意味。一位亲手参与把语言模型变成好用助手的研究者,现在希望模型换一个服务对象:把软件本身的需要放在前面。

      在TypeSafe的技术介绍里,团队甚至给出一个相当激进的预期:未来大规模AI自动化中,99%的交互可能发生在机器之间,只有1%面向人。这是他们的押注,远非已经发生的现实。顺着这个判断往下想,今天模型习惯采用的交付方式,确实值得重新考虑。

      一个Agent替用户办事,最终也许只需要向人展示一段结果,但在抵达结果之前,它要做很多小决定:这次请求能否交给便宜模型?检索结果是否相关?要调用哪个工具?任务该继续还是重试?另一个模型给出的答案是否值得相信?这些环节的接收者都是程序。它们需要一个能用于下一步的判断,通常用不上一段写得很漂亮的说明。

      如果每一步都调用一个通用大模型,等待它组织回答,整个任务的成本和延迟就会不断累积。Jev提供了一种更明确的分工:写作、代码生成和复杂推理仍然可以交给擅长这些工作的模型;大量边界清楚的小判断,可以尝试交给专门优化过的部件。模型开始服务于AI任务的执行过程,也不必每次都出现在用户眼前。

      这种想法并不神秘。开发者Sean Goedecke已经用现成的Qwen3-8B,配合单token选择和批处理,做出了类似的接口,还重做了Doom和Wikiracing演示。

      让它如此火爆的地方,也在于眼下的AI圈,恰好需要一点这样的刺激。

      模型发布仍然密集,进步也仍在发生,但发布故事已经越来越熟悉:更高的分数、更长的上下文、更强的推理,然后等待下一轮榜单。对很多持续关注AI的人来说,进步的体感开始变慢。

      应用端也有类似的疲惫。聊天、编程、图片和视频生成之外,人们仍在等待更多能立刻说出名字、明显改变工作方式的新产品。把一个聊天框放进旧软件,已经很难带来第一次见到ChatGPT时的兴奋;让更多行业的一整套业务流程真正自动运行,又远比做出一个演示困难。模型还在更新,那些关于世界将如何被改变的承诺,却需要更长时间才能被感知。

      Almeida传达出来的不满,正好与这种情绪相遇。TypeSafe在宣言里说,现有模型已经有足够的能力创造经济价值,困难在于人们仍然很难用它们搭建可靠的软件。

      在Jev官网他们写到:“Build Prod,Not God”,做出能投入实际使用的产品,而不是去造神。Almeida的Jev也许还不是能证明这句话的模型,但他确实是最适合把这个越来越明显的行业共同感受喊出来的人。这个意义上,Jev带来的刺激也许会继续发酵下去。

      文章标签模型发布大模型AI产品
      资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。

      继续浏览更多资讯

      返回资讯目录

      相关资讯

      更多