你有没有想过,当你对着一个智能助手说"把图里举着鼻子的大象框出来",它是怎么把答案变成一个方框的?
大部分人可能以为,这就是模型"看一眼"就知道答案了。但事实没那么简单。现在主流的多模态大模型处理这类任务时,走的是一条相当绕的路:它先理解图片和你的问题,然后像写作文一样,一个字一个字地"生成"坐标数字,比如先吐出"123",再吐出"456",最后拼成一个完整的方框坐标,再由程序把这段文字解析出来,还原成方框。
这就好比你问路人"便利店在哪",对方不是直接用手一指,而是先在脑子里组织语言,说"从这里往前走,第一个路口左转,再走大概五十米,你能看到一个蓝色招牌",然后你还得根据这段话自己在地图上画出路线。信息没少,但传递效率低了不止一星半点。如果不这样做,直接让对方伸手一指会怎样?答案显而易见:快得多,而且不会因为语言表达误差导致你走错路。这正是本文要解决的问题。
多模态大模型
多模态大模型:能同时处理图片和文字这两种不同类型信息的人工智能模型,比如你给它一张图加一句话,它能理解两者的关联并给出回答。
这种"说坐标"的方式有个学名,叫自回归生成。
自回归生成
自回归生成:模型按顺序一个一个地生成输出内容,每生成一个新内容都要参考前面已经生成的部分,就像接龙一样,说完一个词才能想下一个词。
问题就出在这个"接龙"上。图片和文字的理解本身已经需要不少计算量了,结果为了说出四个坐标数字,模型还要再做一轮又一轮的序列生成,每生成一步都要重新计算一次,这个过程又慢又费资源。这篇论文的作者们就琢磨,有没有办法让模型理解完图片和问题之后,直接"伸手一指",把方框的四个数字一次性算出来,不用再磨磨蹭蹭地一个字一个字往外蹦?
于是,一个叫做Jag的模型诞生了。
核心问题:当时的世界是什么样子
在Jag出现之前,视觉定位(Visual Grounding,也就是根据一句话描述在图片里找到对应物体并画框)这件事已经有过几条不同的技术路线。
早期有TransVG和MDETR这类模型,它们走的是连续回归的路子,也就是直接预测数值型的坐标,而不是生成文字。这条路子本身没问题,问题是它们大多是专门为定位任务从头设计的模型,没法享受到大型预训练多模态模型在语言理解和图像理解上积累的"见多识广"。
另一条路线是像Qwen-VL、Shikra这样的多模态大模型,它们选择把坐标当成文字来生成,一个数字一个数字地"说"出来。这样做的好处是能直接利用预训练模型强大的语言和图像理解能力,坏处就是前面说的,生成过程慢,还得靠程序去解析文字里的坐标,万一格式不对还可能解析失败。
还有一类工作尝试了折中方案。比如NExT-Chat,它在生成的某个"触发词"的位置上接一个小型回归头,直接输出连续坐标,不过它还是需要先生成这个触发词。LocateAnything则是在方框对齐的token块里并行预测离散坐标,用注意力机制处理块内部的关联。
这些工作共同指向一个方向:能不能把预训练好的多模态理解能力,和直接数值预测的效率优势结合起来?但具体怎么结合,哪个环节该调整,哪个环节该保留,这里面还有不少讲究。Jag给出的答案是:不生成任何新词,直接从已经存在的某个位置读取信息,一步到位算出坐标。
方法解读:Jag到底做了什么
读取"最后一个有效输入位置"的信息,而不是生成新词
Jag的做法是,保留预训练模型原本处理图片和文字的全部流程,视觉编码器看图,视觉融合模块把图像特征转换成语言模型能理解的形式,语言主干网络再把图文信息融合处理一遍。到这一步为止,和普通的多模态大模型没有任何区别。
区别出现在最后一步。普通模型这时候要开始生成文字,Jag不生成任何新内容,而是直接拿走输入序列里最后一个有效位置的隐藏状态,也就是模型刚刚处理完所有图片和文字信息后,脑子里"残留"的那个表示。
隐藏状态
隐藏状态:神经网络在处理完一段输入后,内部某一层保留下来的数值表示,可以理解成模型对这段信息的"理解结果",后续计算都基于它展开。
这里有个细节特别值得琢磨。模型处理文字的时候,句子长短不一,为了批量处理,通常会在短句子后面"填充"一些无意义的占位符凑齐长度。Jag选取的不是序列的最后一个位置,而是输入掩码标记为"有效"的最后一个位置,也就是真正有内容的最后一个位置,不管填充是加在左边还是右边,这个定义都是一致的。
这就好比你在听一段录音转文字的内容,录音结束后系统又录了几秒钟的空白静音,你要总结这段话的意思,当然是听到最后一个有意义的词为止,而不是把那几秒空白也算进去。如果Jag不做这个区分,用错了填充方式的时候,模型读取的可能就是一段无意义占位符对应的状态,预测结果自然会跑偏。
为什么不新增一个专门的"定位标记"token?论文里专门做了对比实验,结果显示加不加这个标记,准确率差异都在1个百分点以内。也就是说,模型完全可以"顺手"利用已经存在的位置,不需要额外设计。这背后的逻辑是,既然模型已经把图片和文字的信息都融合进了这个最后位置的表示里,那直接拿来用就行,没必要画蛇添足。
轻量级回归头:把一个向量变成四个数字
拿到这个隐藏状态之后,接下来要做的是把它转换成方框的四个坐标值。Jag用了一个很简单的多层感知机。
多层感知机
多层感知机:一种基础的神经网络结构,由若干层全连接的神经元组成,每层对输入做一次线性变换加非线性激活,逐层传递信息。
具体流程是,先做一次层归一化,然后过一个带GELU激活函数的隐藏层,最后输出四个数值,并用sigmoid函数把这四个数值压缩到0到1之间。这四个数值不是直接对应方框的左上角和右下角坐标,而是用中心点坐标加宽高的方式表示,也就是方框中心在哪、有多宽、有多高。
为什么选择中心点加宽高,而不是直接用两个角点?这是个常见的几何表示技巧,用中心点和尺寸描述一个方框,在数值上更稳定,因为宽和高永远是正数,不会出现左上角坐标比右下角还大这种逻辑错误。实际使用时再统一转换成角点坐标。
这个回归头非常轻,整个模块只有大约53万个参数,相比之下语言模型本身的参数量是以十亿计的。这就像是给一辆已经造好的汽车加装一个简单的仪表盘,仪表盘本身结构很简单,但它能不能准确显示车速,很大程度上取决于它接入的是不是正确的信号线。如果信号线接错了地方,仪表盘设计得再精密也没用。
两阶段训练:先固定骨架,再一起微调
这里是整篇论文里我觉得最有意思的一个发现。
Jag的训练分成两个阶段。第一阶段,把整个预训练模型冻结住,只训练那个新加的轻量回归头。第二阶段,把回归头和语言主干网络、视觉融合模块一起放开训练,让定位任务的监督信号反过来调整整个模型的表示方式。
为什么要分两步,而不是一上来就全部一起训练?论文给出的解释是,预训练模型的隐藏状态原本是为了生成语言设计的,这些表示里装的是"怎么说下一句话"的信息,不是"这个物体的边界在哪里"的信息。如果一开始就让回归头去拟合这些现成的、没有针对性调整过的特征,效果会受限。
但更让人意外的是消融实验的结果:如果只训练回归头,不去调整骨干网络,三个数据集上的准确率只有26%到71%左右,而完整的联合训练方案能达到83%到90%。这中间差了60多个百分点,差距大到有点夸张。
这说明什么?说明预训练模型学到的那些表示,虽然对语言生成任务很有用,但对"这个物体的精确边界在哪"这种几何问题来说,天生是不匹配的。就像你找一个文笔很好的作家去帮你量房子的尺寸,他可能能把房间描述得活灵活现,但量出来的数字未必准,因为他的训练根本不是朝着"精确测量"这个方向去的。只有让这些内部表示也跟着几何监督信号一起调整,才能真正把"写作脑"改造成"测量脑"。
论文里还测试了另一种读取方式:把整个问题句子(不包括图片和模板部分)里每个词对应的状态做平均,结果发现这种做法准确率暴跌到35%到70%左右。这进一步证明,最后一个有效位置的状态之所以好用,是因为它经过了完整的注意力计算,已经把图片信息和问题信息都"吸收"进去了,而简单平均则丢失了这种经过模型深度整合的信息。
几何损失函数:L1加GIoU的组合拳
训练的时候,Jag用了两种损失函数配合监督。一种是L1损失,直接比较预测的四个坐标值和真实值之间的绝对差距。另一种是GIoU损失,关注的是预测框和真实框之间的重叠程度。
GIoU
GIoU:广义交并比,一种衡量两个方框重叠程度的指标,在传统IoU(交集面积除以并集面积)基础上,还考虑了两个框之间的空隙,能更好地指导模型学习框的位置和大小关系,哪怕两个框完全不重叠也能给出有效的梯度信号。
为什么只用L1损失不够,非要加上GIoU?因为L1损失是独立地看每个坐标数值的误差,它不太关心这些数值组合起来之后,这个框和真实框到底重不重合。举个例子,预测框的中心点差了一点点,宽度又差了一点点,单独看这两个误差都不大,但组合起来之后框的实际重叠率可能已经很差了。GIoU损失直接从"两个框重叠得好不好"这个几何角度出发,能补上L1损失的这个盲区。
这两种损失按一定比例加权组合(论文里L1的权重是5,GIoU的权重是2),作为唯一的训练目标,推动整个模型朝着"预测出更准确的框"这个方向调整。
核心数据:Jag到底表现如何
论文在三个常用的视觉定位数据集上做了测试,分别是RefCOCO、RefCOCO+和RefCOCOg,这三个数据集的共同点是用COCO数据集里的真实照片,配上人工写的英文指代表达,要求模型根据这句话找出对应的物体并画框。
衡量标准用的是Acc@0.5,意思是预测框和真实框的重叠率(IoU)达到0.5以上就算对。
下面这张表格对比了Jag和原始基础模型(也就是没有经过定位任务微调的Qwen3.5-0.8B)的表现:
| 模型 | RefCOCO testA | RefCOCO testB | RefCOCO+ testA | RefCOCO+ testB | RefCOCOg test |
|---|---|---|---|---|---|
| 基础模型 | 84.27 | 74.72 | 76.53 | 62.57 | 77.96 |
| **Jag** | **93.90** | **88.36** | **90.69** | **80.08** | **87.72** |
从这张表能看出,Jag在每一个测试集上都超过了没有微调的基础模型,提升幅度从9.63到17.51个百分点不等。最大的提升出现在RefCOCO+的testB上,直接涨了17.51个百分点。
这里有个背景知识值得提一下,RefCOCO+这个数据集在标注的时候刻意限制了方位词的使用,也就是说你不能简单说"左边那个苹果",而要靠物体本身的特征去描述。Jag在这种更难的场景下依然保持住了提升幅度,说明这种直接预测的方式不是靠"抄近道"(比如利用方位词的规律)取巧,而是真的学到了更准确的图文对应能力。
再看和同类专门设计的定位模型的对比:
| 模型 | RefCOCO testA | RefCOCO testB | RefCOCO+ testA | RefCOCO+ testB | RefCOCOg test |
|---|---|---|---|---|---|
| NExT-Chat | 89.66 | 77.04 | 83.76 | 66.19 | 79.28 |
| LocateAnything | 93.23 | **89.26** | 88.00 | 79.57 | **88.54** |
| **Jag** | **93.90** | 88.36 | **90.69** | **80.08** | 87.72 |
NExT-Chat同样用了连续坐标回归的思路,但Jag在所有测试集上都超过了它,最大差距出现在RefCOCO+ testB上,差了13.89个百分点。这说明"直接从已有位置读取状态、不生成触发词"这个设计,确实比"先生成一个触发词再读取状态"更有效率也更准确。
和LocateAnything这个用并行离散预测的专门模型相比,Jag在五个测试子集里赢了三个,输了两个(RefCOCO testB和RefCOCOg)。整体来看,Jag综合准确率是88.30%,LocateAnything是88.00%,两者相当接近。
效率对比:这才是真正的杀手锏
准确率打平或略胜一筹,这还不是Jag最厉害的地方。真正让这个方案有实际价值的,是推理速度和资源消耗。
论文测量了单次请求的端到端延迟(也就是从输入图片和问题,到拿到最终方框结果,中间经过的全部时间):
| 模型 | 平均延迟 | 峰值GPU显存占用 |
|---|---|---|
| 基础模型(自回归生成) | 1293.01毫秒 | 2.246 GiB |
| NExT-Chat | 120.01毫秒 | 15.986 GiB |
| LocateAnything | 239.05毫秒 | 9.660 GiB |
| Hi-Token | 616.90毫秒 | 7.910 GiB |
| **Jag** | **65.97毫秒** | **2.523 GiB** |
Jag的延迟是所有对比模型里最低的,比基础的自回归生成模型快了将近19.6倍,比NExT-Chat快1.82倍,比LocateAnything快3.62倍,比Hi-Token快9.35倍。
显存占用方面,Jag只用了2.5GiB左右,比NExT-Chat低了84%,比LocateAnything低了74%,比Hi-Token低了68%。
这个差距到底意味着什么?想象你在用一个智能摄像头系统,每秒钟有大量图片需要实时处理并标出目标位置。如果用自回归方式,处理一张图要1.3秒,一分钟下来撑死处理40多张;换成Jag,一张图只要66毫秒,一分钟能处理900张左右,相差20多倍。如果你的应用场景对实时性要求很高,比如自动驾驶的视觉辅助系统或者工业质检流水线,这种速度差距可能直接决定方案能不能落地。如果不做这个优化,模型准确率再高,用户体验上也会因为"卡顿"大打折扣。
那Jag和同样用连续回归、专门针对精确预测微调过的自回归模型相比,准确率会差多少呢?论文做了一个专门的对照实验,用同一个底层模型,一个走自回归生成坐标文字的路线(记作AR),一个走Jag的直接预测路线,结果在标准的0.5重叠率标准下,两者几乎打平,差距都在1个百分点以内,统计检验的置信区间基本都包含0,说明这个差距在统计上不算显著。
不过,当把重叠率标准提高到0.75甚至0.9的时候(也就是要求方框画得更精准),AR开始展现出优势,在三个数据集上都比Jag高出4到6个百分点左右。这说明直接预测在"大致框对"这件事上和生成式方法打平,但在"框得特别精准"这件事上还是稍逊一筹。这也提示了一个有意思的方向:如果未来的任务对精度要求极高,可能还是需要在Jag的基础上做进一步优化。
规模和数据量的影响
论文还测试了训练数据量对效果的影响。从2万条训练样本,一路加到4万、8万,最后用全部32万多条样本,三个数据集上的准确率都在持续提升,没有出现"数据加多了反而没用"的饱和迹象。其中RefCOCO+提升最明显,从80.33%一路涨到85.80%。
另外论文还换了更大规模的底层模型(从0.8B参数换成2B参数)做对照,发现两种预测方式(直接回归和自回归生成)都从更大模型里获益,但自回归方式在换成大模型后反而略微反超了Jag。这说明模型规模和预测方式之间可能存在某种相互作用,值得进一步研究。
写在后面
读完这篇论文,我印象最深的其实是那个"只训练回归头"的消融实验结果:准确率能从90%掉到26%。
这个数字差距大到让我重新思考一个问题:我们平时说"预训练模型学到了通用表示",这句话到底有多少是真的?至少在视觉定位这个具体任务上,答案是,预训练模型学到的表示对语言生成任务确实通用,但对几何定位这种需要精确数值输出的任务,这些表示几乎是"不兼容"的,必须经过针对性的微调才能用。这让我对"预训练+微调"这套范式里"微调"这一步的分量有了新的认识,它不是锦上添花的小调整,而是决定任务能不能做好的关键环节。
还有一个细节值得说一说。论文里展示了几个失败案例,其中一个是模型要找"一架黑白相间、在一架红白相间飞机后面的飞机",Jag选错了飞机,但基础模型反而选对了。这个案例提醒我们,提升整体准确率的方法,未必在每一个具体场景下都比原模型更可靠。效率和准确率的提升是统计意义上的,不代表某个具体任务上的绝对优势,这也是为什么论文在"写在后面"之前专门放了这种失败案例分析,诚实地展示方法的边界。
如果视觉定位可以这样做,去生成式、换成直接预测,那其他那些依赖大模型"说出结果"的任务,比如要求输出一个精确数字、一个坐标、一个分类标签的场景,是不是也存在类似的改造空间?这个问题留给未来的研究者去探索。
Q&A
Q1:Jag是什么?
A:Jag是一种让多模态大模型直接预测物体边界框坐标的方法,它不需要像传统方式那样一个字一个字生成坐标文字,而是读取模型处理完图片和问题后的最后一个有效状态,通过一个轻量级回归头一次性算出四个坐标值,整个过程只需一次前向计算。
Q2:Jag相比传统自回归生成坐标的方法快多少?
A:论文测试显示,Jag的单次请求平均延迟是65.97毫秒,比没有微调的基础自回归模型快了约19.6倍,比NExT-Chat快1.82倍,比LocateAnything快3.62倍,同时GPU显存占用也明显更低。
Q3:Jag的准确率和专门设计的定位模型相比如何?
A:在RefCOCO、RefCOCO+、RefCOCOg三个测试集上,Jag综合准确率达到88.30%,和LocateAnything的88.00%基本持平,并全面超过了同样采用连续坐标回归思路的NExT-Chat,最大差距达13.89个百分点。







