Token导航 LogoToken导航

AI 资讯 · 科技行者

小米Lens-0多模态AI如何专注图像细节定位

更新 2026-11-22科技行者正文 7392字阅读约 24分钟

你有没有过这样的经历,拿一张照片问AI:"图里穿蓝衬衫的女士旁边的食物在哪?"它给你一个看似合理的答案,但你仔细一看,它其实把旁边那堆水果认成了"食物",位置还说反了。

这不是个例。市面上大部分多模态大语言模型(能同时理解图片和文字的AI)回答整体性问题很在行,比如"这张图是什么场景",但一旦涉及到"数一数有几个人戴了安全帽""这个杯子具体在哪个位置"这种需要精确定位的细节问题,就开始掉链子。小米这次发布的Xiaomi-Lens-0,想解决的就是这个问题。

这篇论文读下来,最让我意外的一点是:问题的根源可能不在于模型"笨",而在于我们一直以来训练它的方式本身就有缺陷。

为什么AI看图总是"差不多就行"

先说一个可能颠覆你认知的事实。我们平时训练这些多模态AI,用的方法通常是:给它看一张图,配一句文字描述,然后让它学着把图和文字对上号。听起来没什么问题对吧?

但问题恰恰出在这里。

这种训练方式里,图片只是一个"陪衬",真正的监督信号全部来自文字答案。模型从来没有被明确告知:"你这个答案,是从图片的哪一块区域里看出来的?"换句话说,AI学会了"看图说话",但没人教过它"指哪说哪"。

这就好比你让一个学生读完一篇文章写摘要,他可以把大意写得八九不离十,但你问他"这句话具体是从课文第几段第几句推导出来的",他可能支支吾吾答不上来,因为训练他的时候,从来没人要求他标出证据在哪儿。时间长了,他的"大意把握能力"没问题,但"精确定位能力"始终练不出来。如果一直不做这种"标证据"的训练,学生考试大意题能拿高分,细节题却总出错,这正是现在很多多模态AI的真实写照。

分割掩码:给AI的答案加一个"证据链"

研究团队想到的解决办法是引入分割掩码。

分割掩码:一种标注方式,用来精确标出图片里哪些像素属于某个目标物体,相当于给物体"抠图",而不只是画一个粗糙的方框。

有了掩码,模型要回答"图里有几只猫",就不能只凭感觉报个数字,而是必须真的在图上标出"这是第一只猫的轮廓,这是第二只",这个标注的过程本身就成了监督信号的一部分。这比单纯的文字监督精确得多,因为它逼着模型把答案和图像区域死死绑在一起。

不过这里有个关键的技术分歧:怎么让AI学会生成这些掩码?

业内此前的两条路,都绕开了"真正的核心"

在Xiaomi-Lens-0之前,做图像分割的多模态AI大致分两条路。

第一条路,找外援。像LISA和Sa2VA这类模型,会额外接入一个专门的分割编码器(通常基于SAM,即Segment Anything Model,一个专门做图像分割的强大模型),让这个外部专家来提供空间细节。Qwen3-VL-Seg则是融合一个轻量级的辅助图像编码器的多尺度特征。

第二条路,用自家视觉特征,但把门锁上。PixelLM和MLLMSeg尝试直接从模型自身的视觉编码器里提取特征来做掩码预测,这个思路本来是对的,但它们都把视觉编码器冻结住了,也就是训练过程中不让这部分参数更新。

这两条路有个共同的问题:掩码损失(衡量预测掩码和真实掩码差距的指标,用来指导模型训练)根本没有真正传导到模型自己用来生成文字答案的那套视觉表示上。

这就好比一家公司想提升销售业绩,要么花钱请外部咨询顾问来救场(相当于外接分割编码器),要么内部成立一个分析小组,但这个小组和主营业务团队完全是两拨人,互不来往,分析结果也传不回主营业务的决策链条里(相当于冻结视觉编码器)。无论哪种方式,公司核心团队的能力本身并没有得到真正的锻炼和提升。如果不打通这条链路,视觉编码器永远学不会"哪里需要看得更细",它的能力提升就只能依赖外部模块的缝缝补补。

Xiaomi-Lens-0的关键决定:自己动手,而且动真格

Xiaomi-Lens-0选择了一条更彻底的路:不借助任何额外的分割编码器,完全从自己的视觉表示里解码出掩码,并且让掩码的训练损失实实在在地传回到共享的视觉特征和语言模型状态里。

具体怎么做到的?

模型读取的是视觉编码器(Vision Transformer,简称ViT,一种处理图像的神经网络架构,把图像切成小块分别提取特征)在空间合并(一种降低分辨率、减少计算量的操作)之前的那层原始的、分辨率更高的图块特征(patch features)。

视觉编码器*:负责把原始图片转换成AI能理解的特征向量的模块,相当于AI的"眼睛"。

空间合并*:为了减少计算量,把相邻的若干个图像小块的特征合并成一个,类似于把高清照片压缩成缩略图再处理。

为什么要刻意避开合并之后的特征?论文里给出了一个很硬核的解释。ViT的内部结构有个特性叫残差连接,简单说就是每一层的输出 = 上一层的原始信息 + 这一层新学到的变化。这意味着最底层那些精细的、高频的图像细节信号,并不会被后面层层叠加的语义抽象完全覆盖掉,而是会一路累积保留下来,一直传到最后。

这就好比你把一张照片反复复印很多代,每复印一次理论上都会损失一点清晰度,但如果每次复印时都把原始底片也叠加进去再印,那么无论复印多少代,原始的细节始终还在,只是被新的"理解层"包裹住了。模型的空间合并步骤,相当于故意把分辨率压低去换取计算效率,这一压,恰恰把掩码预测最需要的高频细节给丢了。所以团队选择绕过这一步,直接从压缩前的那层图块特征里取料,这样掩码损失才能真正触及到图像最精细的那部分信息,而不是对着一张被"美颜"过的糊图做判断。如果不这么做,哪怕后面的解码器设计得再精巧,喂给它的原料本身就是糊的,再怎么精修也做不出锐利的边界。

视觉潜变量:让AI"指哪打哪"的关键机制

光有高分辨率的图块特征还不够,模型还需要知道"现在要分割的具体是哪个目标"。这就引出了论文里一个核心概念:视觉潜变量(visual latent)。

视觉潜变量*:当模型在生成回答的过程中输出一个特殊的

标记时,这个标记在语言模型内部对应的那个上下文状态(一个高维向量),就被称为视觉潜变量,它代表了当前指令或上文所指向的具体图像区域。

这个设计的巧妙之处在于,这个特殊标记的"身份"(token identity)虽然是固定的,但它每次出现时对应的上下文状态都不同,因为它依赖于当前的图片、指令和前面已经生成的内容。一个轻量级的掩码解码器会把这个视觉潜变量和前面提到的高分辨率图块特征结合起来,通过计算两者的相似度,给图上每个小块打分,分数高的地方就被认为属于目标区域,最后经过两层反卷积上采样,还原成一张完整的掩码图。

整个过程里,图像特征只需要计算一次,可以反复给不同的视觉潜变量复用,相当于一次"拍照存档",后面不管问多少个不同的问题,都基于这同一份高清底片去查询,不用每次都重新"看"一遍图片。

一边说话一边画重点:用视觉潜变量来"思考"

这篇论文里我觉得最有意思的设计,是把这个掩码解码器变成了一个思维的辅助工具,论文把这个能力称为"用视觉潜变量思考"(thinking with visual latents)。

具体来说,模型在做推理(比如数数、比较空间关系)的时候,不再是干巴巴地吐出一段纯文字推理过程,而是会在推理文本中间穿插着放入一个个

标记。每个标记对应的视觉潜变量,都能被解码成一张掩码,精确标出这句话到底在说图里的哪个区域。

举个论文里的例子,有一道题问"图里一共有几个相框",模型的思考过程是这样的:先说"最左边的那个竖直相框",紧接着就生成一个掩码精确框出它;然后是"第一排第一个相框",又生成一个掩码;就这样一个一个数下去,数了22个相框,每一个都有对应的掩码可以回头核对。

这就好比你平时做数学应用题,草稿纸上除了写文字推理,还会在旁边画个简笔画圈出关键的那个数字或图形,方便自己核对思路有没有算重复或者漏算。如果没有这种"圈出来"的习惯,你可能数着数着就数串了,明明数到第5个苹果了,一抬头却忘了刚才第3个到底指的是哪一个,只能凭记忆硬撑,出错概率自然就高。模型如果只靠纯文字推理,同样面临这个问题:它说"还有一个人",但这句话背后到底对应图里哪个像素区域,是完全无法验证的黑箱。有了视觉潜变量和掩码的绑定,每一步推理都变得可回溯、可检查。

为了训练这个能力,团队专门构建了一批"有依据的推理轨迹"数据,每一步文字推理里提到的区域,都配上了对应的掩码标注,这样模型的文字损失和掩码损失就能同时监督推理文本本身、空间引用,以及最终答案。

数据怎么来:层层过滤才敢用

光有模型架构还不够,训练数据的质量直接决定了上限。论文花了不少篇幅讲数据管线的构建,这部分其实挺考验耐心的,因为每一步都设置了"质检关卡"。

指代表达训练数据的构建分三步。

第一步是视觉定位,先用模型发现图里的候选物体,给出框和简短描述,然后用一个裁剪图和文本的一致性检查,把描述和实际图像内容对不上的候选项剔除掉,剩下的才送去生成掩码。

第二步是指令合成,针对每个保留下来的目标,生成一个只保留目标像素、背景涂黑的"遮罩视图",让生成模型看着这个遮罩视图去描述目标本身,同时结合原图去描述目标和周围物体的关系,这样生成出来的指代表达会从位置、外观、动作、功能,甚至是否定句和数量描述等多个角度来描述同一个目标,增加语言的多样性。

第三步是一致性过滤,这是我觉得最严谨的一步。生成的每条指代表达,会被重新丢回原图里做"反向定位",也就是看这句话单独拿出来,是否还能精确定位回原来那个目标,如果定位出来的框和原始框的重合度不够高,这条数据就被废弃。同时还有一个独立的语义检查,专门排查那些虽然框对了,但描述里提到了不存在于目标身上的属性,或者混淆了邻近物体的情况。

至于推理数据的构建,流程更复杂一些,涉及问答对生成、独立验证、推理轨迹生成和掩码标注四个环节,中间还穿插了规则过滤(剔除格式错误、重复问题、答案泄露)和一个"独立检查者"机制,这个检查者在完全看不到标准答案的情况下重新作答一遍,只有答案能精确匹配的才被保留下来。这种"左右互搏"式的验证设计,目的就是尽量把那些看似合理、实则有漏洞的数据筛出去。

LensBench:专门为"刁钻问题"设计的考场

现有的指代表达基准测试,比如RefCOCO系列,大多是在日常照片里找单一目标,而且指令通常会直接点名物体类别,比如"穿红衣服的人"。但现实场景远比这复杂,于是团队专门搭建了一个新的评测基准,叫LensBench。

LensBench*:一个专门测试多模态AI在不同指令风格和视觉场景下定位能力的评测基准,覆盖通用、航拍、驾驶、全景四种图像领域,每个场景同时考察单目标和多目标、显式和隐式两种指令风格。

这里的"隐式指令"很有意思,举个例子,显式指令会直接说"找出蓝色的马克杯",而隐式指令会说"找出可以用来喝咖啡的东西",故意不提类别名称,逼着模型通过功能、用途去推理出目标是什么。这种设计特别像生活中你让朋友帮忙拿东西时经常会说的那种模糊指令,"把那个能装水的递给我",而不是精确报出"水杯"这个词,朋友得先在脑子里完成一次"这个描述对应哪个物体"的推理,才能伸手去拿对东西。

LensBench总共包含1200个配对评测单元,每个单元配两张目标掩码(单目标和多目标各一张)和四条指令(显式单目标、隐式单目标、显式多目标、隐式多目标),一共4800条指令级样本,而且每个样本都经过了人工复核,确保目标完整性和指令与掩码的一致性。

效果到底怎么样:数字说话

说了这么多设计思路,最终还是要看实际跑分。

在最经典的指代表达理解任务(REC,给一句话,模型要输出一个框)上,Xiaomi-Lens-0在RefCOCO、RefCOCO+、RefCOCOg全部八个测试分支上,相比自己的基座模型Qwen3.5平均提升了5.6个百分点。

| 数据集 | Xiaomi-Lens-0 | Qwen3.5基座 | 提升幅度 |

|---|---|---|---|

| RefCOCO (平均) | 94.4 | 90.0 | +4.4 |

| RefCOCO+ (平均) | **91.8** | 84.3 | +7.6 |

| RefCOCOg (平均) | 92.5 | 88.1 | +4.4 |

特别值得一提的是RefCOCO+这个数据集,它专门排除了绝对位置词,也就是说模型不能靠"左边的""上面的"这种投机取巧的方式定位,必须真正靠外观和属性去区分目标,而Xiaomi-Lens-0在这个最考验细粒度理解能力的数据集上提升幅度最大,达到7.6个百分点,这恰好印证了掩码监督确实提升了模型对物体外观细节的把握。

在分割任务上(RES,要求输出像素级掩码),Xiaomi-Lens-0在全部八个测试分支上都拿到了所有对比模型中最高的cIoU分数。

cIoU*:一种衡量分割掩码预测准确度的指标,把所有测试样本的交集和并集分别累加后再计算比值,数值越高说明掩码预测越准确。

更值得注意的是,它甚至超过了SAM 3,这个专门做图像分割的"老牌专家模型",差距在7到12.9个百分点之间。要知道SAM系列模型一直是图像分割领域的标杆,一个通用多模态大模型能在这个专精任务上反超专门的分割模型,说明"从共享视觉表示里解码掩码"这条路径是真正走通了。

在纯文字问答的细粒度感知测试里(不涉及任何框或掩码输出,纯考验模型"看懂图"的能力),Xiaomi-Lens-0在全部8个基准测试上都超过了自己的基座模型。其中CountQA(专门测试计数能力的基准)提升了6.8个百分点,从43.8涨到50.6,这个数字背后对应的是实际生活里那种"数一数图里有几只羊""数一数有几个人戴了口罩"的真实需求场景。

消融实验:掩码监督到底值不值

论文还做了一组对照实验,把"只用框监督、关掉掩码损失"的版本(BBox-only)单拎出来和完整版对比,这个实验设计很干净,因为两个版本训练数据完全一样,唯一的区别就是掩码损失开没开。

结果显示,光靠框监督,模型相比原始基座已经有明显提升,RefCOCO、RefCOCO+、RefCOCOg的验证集分数分别提升了3.1、4.9、2.2个百分点,连带着纯文字感知基准也跟着涨了2到6个百分点。

但在此基础上再加上掩码监督,六项指标无一例外继续往上走,REC任务额外提升1.1到2.4个百分点,感知类任务额外提升0.2到1.4个百分点。

这组数字说明了一件事:掩码监督带来的提升,不是框监督提升的"重复劳动",而是实打实的增量贡献,它逼着模型把目标的空间边界学得更精确,而这种精确性甚至能反哺到那些根本不需要输出框或掩码的纯文字问答任务上,因为底层共享的视觉特征被真正训练得更细致了。

如果不加掩码监督会怎样?从数据上看,模型依然能用,但在那些需要靠外观细节区分相似目标的场景(比如RefCOCO+这种排除了位置词的数据集)里,提升幅度会打折扣,差距最明显能达到2.4个百分点,这看似不大,但放到实际应用场景里,可能就是"认错了那个穿蓝衬衫和穿深蓝衬衫的人"这种关键性错误。

LensBench上的真实表现:实话实说,隐式指令还是个硬骨头

虽然Xiaomi-Lens-0在三个领域(航拍、驾驶、全景)的cIoU都拿下了所有对比模型里最高分,但论文也很诚实地指出了它还没能完全攻克的难题。

在显式指令上,模型表现非常强,cIoU达到71.4,框精度达到85.0,都是所有对比模型中最高的。但一换成隐式指令,cIoU直接跌到54.7,排名掉到第五位,被几个大模型反超。

跌幅最夸张的是在全景图像里同时要求多目标的隐式指令场景,框精度从显式指令的81.3一路跌到隐式指令的48.7,接近腰斩。

这说明什么?说明"靠功能和场景推理找出一组目标"这件事,对AI来说依然比"看到类别名直接框出来"要难得多。这其实也挺符合直觉的,毕竟连人在看一张全景图时,要同时找出"所有能让食客坐下来的东西",也得先在脑子里过一遍"椅子、凳子、沙发都算不算"这种模糊判断,更别说AI了。

写在后面

读完这篇论文,有个细节让我反复琢磨了很久:团队并没有选择"加一个更强的分割模型"这条看似更省事的路,而是选择死磕"怎么让掩码损失真正传回到共享的视觉特征里"。这个选择背后透露出的研究思路很值得玩味,它赌的不是堆料能赢,而是信号能不能真正打通这件事,比模块本身强不强更重要。

另一个让我印象很深的地方,是LensBench里"隐式指令"这个设计。很多评测基准都在刻意追求"更难的目标类别"或者"更复杂的场景",但LensBench选择在"指令本身的说法"上做文章,这其实触碰到了一个更本质的问题:AI理解语言的方式,到底是在匹配关键词,还是在做真正的推理。显式指令和隐式指令共享同一个标准答案掩码,这个对照设计本身就是在逼着研究者直面一个尴尬的事实,很多时候模型表现好,可能只是因为它学会了识别某些关键词组合,而不是真的"理解"了那句话在说什么。

论文里那张全景图的例子让我意外停留了很久:模型要同时找出图里所有能坐人吃饭的椅子,这个任务对人来说几乎是瞬间反应,但对AI来说,从隐式的"坐"这个功能描述,到具体识别出画面里扭曲变形(全景图特有的镜头畸变)的椅子轮廓,中间要跨过的认知鸿沟,比我们想象的要大得多。

一个会"指哪说哪"的AI,离一个真正"看懂"世界的AI,到底还差多远?

Q&A

Q1:Xiaomi-Lens-0是什么?

A:Xiaomi-Lens-0是小米SeerRay团队推出的一个40亿参数多模态大语言模型,基于Qwen3.5构建,它的核心能力是能从自己的视觉特征里直接预测分割掩码,不需要借助额外的分割编码器,还能在推理过程中穿插生成视觉潜变量,把思考过程和图像区域绑定起来。

Q2:Xiaomi-Lens-0和SAM 3这类专门的分割模型比起来怎么样?

A:在RefCOCO、RefCOCO+、RefCOCOg全部八个分割测试分支上,Xiaomi-Lens-0的cIoU得分都超过了SAM 3,差距在7到12.9个百分点之间,一个通用多模态模型反超专门的分割模型是比较少见的结果。

Q3:LensBench是什么,为什么要专门做这个测试?

A:LensBench是论文里新提出的评测基准,覆盖通用、航拍、驾驶、全景四种场景,每个场景都设计了显式指令(直接说类别名)和隐式指令(只描述功能不说类别名)两种形式,目的是测试AI是不是真的理解语言含义,而不只是匹配关键词,测试发现AI在隐式指令上的表现明显弱于显式指令。

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。