你有没有想过，AI在图片里找东西的时候，到底是怎么"看"的？
比如你让它框出图里所有的"花"，它是从左上角开始一个一个扫过去，还是像人眼一样，唰地一下全看到了？
这个问题听起来有点无聊，但背后藏着一个工程上的大麻烦。目前主流的AI视觉定位模型，不管是识别物体、读文字还是理解界面，用的几乎都是同一种生成方式：一个词一个词往外蹦，蹦完前一个才能蹦后一个。这就是自回归生成，简称AR。
**自回归*：Autoregressive的缩写，指模型生成内容时严格按顺序进行，每一步都依赖前面已经生成的内容，像接龙一样一个接一个往外吐。
这种方式写文章没问题，因为语言本来就是线性的，你说话也是一个字一个字往外蹦。但视觉定位不一样。一张图里有二十个物体，它们的位置关系是同时存在的，不存在谁必须先被"看见"、谁必须后被"看见"的道理。可AR模型非要把这二十个物体的坐标排成一条队,一个一个往外吐。图里东西越多，吐的时间就越长，这在需要快速响应的场景里就成了硬伤。
这篇来自XPeng团队联合北大、港大等机构的论文，提出了一个叫GroundAnything的模型，试图从根上解决这个问题。它的思路挺有意思：既然视觉定位本质上不是一个"排队"的事，那为什么要用排队的方式去生成？
反直觉的地方在于,大多数人直觉里会觉得"并行生成肯定不如一个一个生成准",毕竟AR模型是久经考验的标准范式。但这篇论文的实验结果显示，用对了方法，并行生成不仅能快4.5倍，精度损失只有0.74个百分点,这个数字小到几乎可以忽略。
定位到底难在哪
先说说这事儿的难度在哪。
视觉定位这个任务，听起来简单,给张图，告诉AI"找出所有的人"，它把人框出来就行了。但实际场景复杂得多。密集的人群场景里可能有几十上百个重叠的物体；一张截图里要精确点击某个像素级别的按钮；一份扫描文档里密密麻麻的文字要连带它们的位置一起识别出来。
这些任务共同的特点是输出量很大,可能要生成几十个甚至几百个坐标框。在AR模式下，这意味着模型要老老实实地一个token一个token往外蹦，图里物体越多，等待时间就越长。
之前已经有团队尝试过用"多token预测"来加速，比如LocateAnything这个模型,它让模型一次性预测多个坐标点，而不是逐个预测。这确实能提速，但本质上还是在AR框架内做局部优化，有点像给马车换更快的马，而不是换成汽车。
**MTP*：Multi-Token Prediction的缩写，多token预测，指模型一次前向传播能预测出多个后续token，而不是只预测下一个，用来缓解自回归生成的串行瓶颈。
那有没有更彻底的办法？研究者们把目光投向了扩散模型。
扩散模型大家可能更熟悉它在图像生成里的应用,从一张满是噪点的图开始,一步步去噪,最后变成清晰图片。这个"从模糊到清晰、多个位置同时修正"的过程，恰好跟视觉定位的需求对上了号：所有的物体坐标可以同时被"猜测"出来，然后根据图像证据一起修正，不需要排队。
但问题是，之前把扩散模型用在视觉理解上的工作,比如GUI界面定位、文档OCR,都是针对某一个具体任务做的，没有人做出一个通用的、能同时处理十几种视觉定位任务、而且精度不打折的扩散定位基础模型。GroundAnything想填的就是这个空白。
把定位任务看成"证据提取"而不是"文字接龙"
这篇论文最核心的一个观点转变，是重新定义了视觉定位这件事的本质。
传统做法里，模型输出坐标的过程被当成一种语言生成任务,图片加文字提示进去，一串带坐标的文字出来。既然是文字生成，那自然就沿用了语言模型的自回归套路。
但研究者提出了另一种理解：视觉定位的本质是"结构化视觉证据提取"。图里的每个物体、每个位置、每条空间关系，都是被图像本身和你的问题共同决定的，它们之间互相独立存在，不存在谁依赖谁的顺序关系。
这就好比你走进一个房间，环顾四周，看到了桌子、椅子、窗户、挂钟。你不需要先确认桌子存在才能看到椅子，这些信息是同时映入眼帘的。如果非要让你闭着眼睛，先摸索出桌子的精确位置，再摸索出椅子的位置，一个一个来，效率显然要低得多,而且如果桌子摸错了，后面摸椅子的判断可能都会跟着受影响，因为你是基于前一个结果在往下推。
这正是AR模式的隐患所在。如果前面生成的某个坐标出了偏差，后面所有基于这个前缀继续生成的内容都可能被带偏,这叫误差累积。而如果让所有物体的位置同时被猜测、同时被图像证据校验，误差就不会这样层层传递。
基于这个理解，GroundAnything采用了一种叫"块级掩码扩散"的生成机制。
**块级掩码扩散*：Blockwise Masked Diffusion，把要生成的内容切成一个个小块，块内部的token可以互相看到彼此、同时生成和修正(双向注意力)，但块与块之间保持先后顺序，前面的块生成完才能开始生成后面的块,图里的二十个物体，是一组一组地被并行定位出来的，而不是一个个排队。
一个模型，两套"大脑模式"共享身体
GroundAnything的架构设计里有个挺巧妙的地方：它不是重新训练了一个全新的扩散模型，而是从一个已经训练好的自回归模型GroundAnything-VLM直接"转化"过来的。
两者共用同一套视觉编码器、同一套语言模型骨架，甚至同一套参数,区别只在于推理时用哪种注意力模式。
这就好比一个人既会用正常语速说话（自回归式，一个字一个字往外说），又学会了一种"扫视式"的快速浏览能力（扩散式，一眼看到一片内容再修正细节）,这两种能力共用同一个大脑，只是调用方式不同。
**自回归转扩散*：AR-to-Diffusion Conversion，指保留预训练模型原有的网络结构和词表，只新增一个"掩码token"，然后用联合训练的方式，让同一套参数同时学会按顺序生成（AR）和整体填空式生成（扩散），从而把一个自回归模型改造成兼具扩散能力的模型。
具体怎么训练的？论文里的做法是这样：把要生成的文字序列切成32个token一组的小块，对每一块，用一个概率值决定要遮住多少比例的token。遮住的部分用掩码符号代替，模型需要同时学会两件事：一是像正常语言模型一样,根据前面的内容预测下一个词；二是像完形填空一样，根据周围没被遮住的内容猜出被遮住的部分是什么。这两种学习目标各占一半权重，一起训练。
这种设计的好处是显而易见的:如果从零开始专门训练一个纯扩散模型，不仅成本高，还可能丢失掉原本自回归模型已经学到的那些扎实的视觉理解能力。而"转化"的方式相当于站在巨人的肩膀上，直接复用已有的知识，再额外教会它并行生成的技巧。
自我投机解码：自己给自己当"校对员"
GroundAnything还有一个很有意思的推理技巧，叫"自我投机解码"。
**自我投机解码*：Self-Speculative Decoding，指同一个模型内部，先用扩散模式快速"打草稿"生成一批候选token，再用自回归模式对这批草稿做逐一校验，校验通过的部分直接采纳，第一个校验不通过的地方用自回归模式重新生成正确结果替换掉。
这个设计背后的逻辑是,扩散模式虽然快，但因为是并行猜测，偶尔会猜错；自回归模式虽然慢，但因为是严格按顺序生成，准确性有保障。那能不能让扩散模式负责"快速出草稿"，自回归模式负责"精确把关"，两者配合？
这就像写文章时先快速口述一段草稿，录下来，然后再逐句对照原意仔细校对，发现哪句话说错了就改哪句，而不是从头重新口述一遍。如果没有这个"先打草稿再校对"的机制，要么全程用自回归方式一字一句推敲（慢但准），要么全程用扩散方式一次成型（快但可能有瑕疵），自我投机解码恰好把两者的优点捏在了一起。
论文里测试了两种具体的校对节奏：线性模式，每轮用两次前向计算，分别负责打草稿和校验；二次模式，把打草稿和校验融合成一次前向计算完成，但查询的token量会随着块大小呈平方增长。实验发现，在块大小为32的设定下，线性模式实际跑起来反而更快,每秒能处理223.8个token，而二次模式只有49.9个token每秒,因为虽然二次模式省了前向调用次数，但单次计算量涨得更猛，相当于省了跑腿的趟数，但每趟要扛的东西重了好几倍，得不偿失。
最终的效果是，在COCO数据集上，自我投机解码能让吞吐量达到纯自回归模式的4.51倍，而精度只掉了0.74个百分点。这个精度损失小到什么程度？相当于一百次定位里，大概只有不到一次的结果会因为这种加速方式受到影响。
熵引导解码:让模型自己决定"什么时候该拍板"
除了自我投机解码，GroundAnything还支持一种更轻量的加速方式，叫熵引导解码。
**熵引导解码*：Entropy-Guided Decoding，指模型在每一步生成时，计算每个待填位置的概率分布的"不确定性"（信息熵），只有当某个位置的不确定性低于设定阈值时，才把这个位置的结果"定下来"，不确定性高的位置先保留，等后续信息更充分了再处理。
熵这个概念简单理解就是"模型对自己预测的把握程度"。如果模型觉得某个位置填"猫"的概率是99%，那这个位置的熵就很低，说明模型很有把握；如果模型觉得填"猫"和"狗"的概率都是50%，熵就很高，说明模型很纠结。
熵引导解码的逻辑是：只把那些模型很有把握的位置先定下来，模棱两可的位置先放着，等其他信息补充进来之后再处理。这个阈值能调，调高一点，模型会更激进地一次性确定更多位置，速度更快但可能更容易出错；调低一点，模型会更谨慎，速度慢一些但更稳妥。
论文的实验显示，这个阈值在0.8附近是一个甜蜜点,在COCO数据集上能拿到60.72的F1分数，同时吞吐量是自回归模式的2.56倍。但如果把阈值继续调高到1.0，分数反而会掉到54.06，说明"贪多嚼不烂"在这里同样适用,一旦放宽到让太多不确定的位置被同时拍板，错误就会开始累积。
这个可调节的阈值，某种程度上像是给用户提供了一个"思考力度"的旋钮，有点类似某些大语言模型里"推理强度"的设定,你可以选择让它想得更深入但慢一点，也可以选择让它反应更快但没那么周全。
数据从哪里来：一个会自我迭代的标注引擎
训练一个能处理十几种任务的视觉定位模型，光有模型架构不够，还得有海量且高质量的训练数据。这篇论文专门设计了一套数据生产流程，挺值得说道说道。
核心思路是"多教师融合加任务验证"。简单说，就是找多个已有的、各有所长的AI模型（论文里称为"教师模型"）分别对同一张图做标注，比如一个擅长识别类别，一个擅长精确定位坐标，一个擅长文字识别。然后把它们的标注结果在"字段"这个粒度上做融合,而不是整条标注一刀切地采纳或丢弃。
打个比方，如果教师A框出的物体位置很准但认错了类别，教师B认对了类别但框得有点歪，系统不会因为教师A"错了"就整条扔掉，而是把教师A的位置信息和教师B的类别信息拼在一起，各取所长。
**专家驱动数据引擎*：论文里描述的一套标注系统，通过多个教师模型在字段级别融合标注、分任务做有效性验证，再用通过验证的数据训练出一个"定位专家模型"，用这个专家模型继续迭代标注更多数据，形成一个越标越准的闭环。
这套系统还有一个细节值得一提：对于"某个类别在图里不存在"这种情况，系统不会简单地把"没检测到"当成"确实不存在"的证据。因为模型检测失败和物体真的不存在，是两回事,就像你在人群中没找到朋友，不代表朋友真的不在场，可能只是你没看到。系统要求必须有明确证据支持"确实不存在"这个判断，才会把它写进训练数据，否则这条标注会一直处于"待定"状态，直到有更多观察角度去确认。
三十个测试场景，GroundAnything表现如何
说了这么多方法设计，最终还是要看实际效果。论文在30个基准测试上对比了GroundAnything和44个竞品模型，涵盖了常规物体检测、密集小物体检测、指代性定位（根据一句描述找到对应物体）、GUI界面定位、OCR文字识别、文档版面分析等11大类能力。
结果显示，自回归版本的GroundAnything-VLM在同等规模模型中拿到了72.42%的综合得分，是新的最佳成绩，和当时最强的GPT-6 Astra（71.35%）基本打平甚至略胜一筹。而纯扩散版本的GroundAnything拿到61.75%，这个数字本身可能不算惊艳，但它的意义在于,这是第一个在相近规模下，用纯扩散方式超越此前最强自回归模型（LocateAnything的53.32%）的视觉定位模型。
具体拆开看几个有代表性的场景：
在密集物体检测的Dense200数据集上，GroundAnything-VLM拿到75.55分，远超GPT-6 Astra的65.04分，这说明这套方案在"一张图里塞满几十个物体"这种高密度场景下优势尤其明显，恰好对应了前面说的,并行生成在输出量越大的任务里越能发挥价值。
在指代性定位任务RefCOCOg上，GroundAnything（扩散版）反而比自回归版本表现更好，验证集91.61分对84.37分，这是个挺有意思的反差，说明扩散模式在处理需要综合全局语言和空间信息做判断的任务上，有自己的独特优势。
但也不是所有任务扩散模式都更强。在OCR和GUI点击定位上，自回归版本普遍领先，比如在SROIE收据识别任务上，自回归版本拿到71.15分，扩散版本只有43.64分，差了27.51个百分点。这提醒我们,不同任务对"并行"和"顺序"的依赖程度是不一样的，文字识别这种需要严格保持字符顺序的任务，可能天生更适合顺序生成的方式。
输出效率的隐藏优势：更短的"句子"
除了速度和精度，这篇论文还提到一个容易被忽略但很实际的优势,输出的token数量更少。
论文对比了GroundAnything和SEED1.5-VL在同一张图上生成检测结果需要用多少token。在COCO数据集上，SEED1.5-VL平均每个检测框要用148.8个token，而GroundAnything只需要7.6个,差了将近20倍。在物体更密集的Dense200数据集上，差距更夸张，74.5个token对5.1个token，差了14.6倍。
这背后是统一词表设计的功劳,把坐标压缩成1000个离散的"坐标token"（从<0>到<999>），而不是让模型用自然语言去描述一长串数字。这就好比记一个电话号码，直接写"13812345678"远比写成"一三八一二三四五六七八"要省空间,压缩表达方式本身就决定了传输效率的上限。
实际测算下来，当一张图要预测的物体框数量达到三四百个的时候，这种压缩效率体现得尤为明显,GroundAnything的生成时间远远低于自回归版本，而且物体越多，节省的绝对时间越可观。
写在后面
读完这篇论文，有几个地方让我反复琢磨。
第一个是关于"误差累积"这件事。自回归生成最大的隐患不是慢，而是一步错步步错。但扩散模型解决这个问题的方式也不是完全没有代价,论文里专门提到，在OCR和GUI点击定位上，扩散模式的精度明显落后于自回归模式，差距有时候达到二十多个百分点。这说明"并行"不是万能药，它更适合那些元素之间关系松散、互相独立的任务（比如密集物体检测），而不太适合那些需要严格保持局部顺序关系的任务（比如识别一个单词里字母的先后顺序）。这个边界值得继续探索。
第二个让我意外的细节是，论文花了大篇幅去讨论"不确定性门槛"（熵阈值）这个看似很小的超参数，但实验结果表明它直接决定了模型是"又快又准"还是"又快又糙"的分水岭。这让我想到，很多工程系统里真正决定效果好坏的，往往不是某个宏大的架构设计，而是这种藏在细节里的可调节旋钮,把它调好了，整个系统的表现曲线会完全不一样。
还有一点挺触动我的，是论文里反复强调的"数据验证不能靠空结果证明不存在"这个原则。这其实是个很朴素但容易被忽略的逻辑陷阱,没找到不等于不存在。这个原则放在机器学习数据标注之外的很多场景里也成立，比如科学实验里"没观测到效应"不能直接等同于"效应不存在"，背后需要的是更严格的验证链条，而不是简单的默认判断。
这篇论文留下的一个开放问题是，如果未来要做更大规模、更多任务的统一视觉模型，扩散和自回归这两种生成范式到底该怎么分工？是像这篇论文一样让同一套参数身兼两职，还是应该针对不同任务类型彻底拆分成专门的子系统？这个问题目前还没有定论，但它关系到下一代多模态AI系统到底会长成什么样子。
Q&A
Q1：GroundAnything是什么？
A：GroundAnything是一个40亿参数的视觉定位基础模型，它把图像定位任务当成"证据提取"而不是"文字接龙"，用扩散模型实现并行生成，能同时处理物体检测、OCR、GUI定位等十几种视觉任务，速度最高能达到自回归模式的4.51倍，精度只损失0.74个百分点。
Q2：GroundAnything和普通的自回归视觉模型有什么区别？
A：普通自回归模型生成坐标时要一个token一个token地排队输出，图里物体越多耗时越长。GroundAnything用块级掩码扩散技术，让多个物体的位置可以同时被猜测和修正，不需要排队，同时它还支持自我投机解码，用扩散模式快速打草稿、自回归模式做校验，兼顾速度和准确性。
Q3：GroundAnything在哪些任务上表现更好，哪些任务上表现较弱？
A：在密集物体检测（如Dense200数据集）和指代性定位任务上，GroundAnything的扩散版本表现突出甚至超过自回归版本。但在OCR文字识别和部分GUI点击定位任务上，自回归版本精度更高，差距有时达到二十多个百分点，说明并行生成更适合元素互相独立的任务，不太适合需要严格顺序的任务。
