Token导航 LogoToken导航

AI 资讯 · 科技行者

Intern Lumina U2统一理解与生成语言

更新 2026-11-19科技行者正文 8058字阅读约 26分钟

先说一件挺反直觉的事。

现在市面上大多数"既能看图又能画图"的AI模型,其实内心是分裂的。它们理解图片的时候用一套语言,生成图片的时候用另一套语言,就像一个人说中文的时候用一套逻辑思考,说英文的时候用另一套逻辑思考,两套系统各自为政,训练的时候还经常互相打架。这篇来自上海人工智能实验室等机构的论文,Intern Lumina U2,想解决的就是这个分裂问题:能不能让AI用同一套"大脑语言"去理解世界,也用这套语言去创造世界。

这事听起来简单,做起来却是过去几年这个领域一直没彻底解决的难题。

**统一多模态模型(能同时处理文字、图片、视频等多种信息,并且既能理解又能生成的AI模型)的架构早就统一了,但"统一"这个词有点被滥用了。

架构共享不等于真正的统一,因为理解任务和生成任务背后,可能还是两套完全不同的表示方式和训练目标,谁也不服谁。

核心问题:图片要怎么"翻译"成AI能懂的语言

要理解这篇论文在解决什么问题,得先搞懂一件事:AI处理图片,不是直接看像素的,得先把图片"翻译"成一串数字代码,这个翻译过程叫做"视觉分词"。

离散化的视觉分词器*:把图片切成一个个小格子,每个格子用一个或几个数字编号表示,这样图片就变成了一串像文字一样的"代码",方便AI像处理文字那样处理图片。

现有的翻译方案基本分三条路。第一条路是单码本离散方案,每个格子只用一个数字表示,优点是跟文字处理方式完全兼容,缺点是信息量太小,一个格子的细节全靠一个数字去扛,这就好比用一个词去描述一整幅油画里某一小块区域的颜色、纹理、光影,根本不够用。第二条路是连续空间方案,用一长串浮点数去描述每个格子,信息量是上去了,但这串浮点数和文字的"一个token一个token蹦出来"的离散方式格格不入,训练的时候文字走一套目标函数,图片走另一套目标函数,两边谁也不迁就谁,容易打架。第三条路是混合方案,理解的时候用离散的语义token,生成的时候甩给一个独立的连续扩散模型去画图,相当于理解和生成各自为政,用的还不是同一个画师。

现有的离散方案能撑到什么程度?论文里提到,像MMaDA、Lumina-DiMOO、Show-o这些单码本离散方案,视觉表现能力有限,既没法精细重建图片,也覆盖不了全部视觉任务需求。这就是这篇论文要突破的天花板。

多码本设计:一个格子,八个数字一起上

Intern Lumina U2的解法是:既然一个数字不够描述一个格子,那就用八个数字一起描述。

多码本视觉分词(Multi-codebook tokenization)*:每个视觉位置不再只用一个编号表示,而是用K=8个相互独立的编号(来自8个不同的码本)组合表示,相当于从八个不同角度同时给这个位置打标签,信息量大大增加。

这个设计用的是AToken这个视觉分词器,它用有限标量量化(FSQ)技术,在8个码本上各给出一个编号,每个码本有4096个可选项。这样一个视觉位置就带着8个数字的"身份证",比起单个数字的"身份证",信息密度直接翻了好几倍。

这里有个生活化的类比,想象你要形容一个人,如果只能用一个词,你可能只会说"高"或者"瘦",信息量很有限。但如果允许你同时用八个维度去描述,比如身高、体型、发色、肤色、穿着风格、表情、姿态、气质,那这个人的画像就立体多了。如果不这样做,只用一个维度去形容每个人,结果就是很多本来长得完全不一样的人,在你的描述里变成了一样的"高个子",细节全部丢失了。这正是单码本方案的困境,论文里提到的"压缩的视觉信息不足以支撑精细重建"说的就是这个道理。

那么问题来了,八个数字要怎么塞进AI的大脑里,又要怎么从大脑里预测出来?这就是论文花了大篇幅讨论的输入输出接口设计。

输入端:每个码本都有自己的"专属词典"

论文比较了三种输入设计方案。第一种是让文字和视觉代码共用一个大词典,第二种是视觉代码单独用一个词典但靠索引偏移区分不同码本,第三种,也是论文最终采用的方案,是给每个码本都配一个独立的嵌入表。

嵌入表(Embedding table)*:一个查找表,把每个离散的编号转换成一串连续的向量,方便神经网络处理,类似于把一个单词转换成它的语义坐标。

独立嵌入表的好处是什么?每个码本有自己的专属词典,不需要跟文字词典共享空间,也不需要给8个码本的编号加偏移量来区分彼此。8个码本各自算出一个向量后,拼接在一起,再通过一个线性投影压缩成一个backbone token,塞进模型主干里。

这个设计在论文的消融实验里被验证得很扎实。实验对比了三种方案的"下一个代码预测准确率",结果显示独立嵌入表方案(论文里叫D3)比共享大词典方案(D1)和偏移共享方案(D2)都高出十个标准误差以上,而且越往后的码本,差距越明显。更关键的是,D1方案的分类器显存占用是D3的2.35倍,训练收敛还更慢。换句话说,独立嵌入表不仅效果好,还更省资源,这是双赢。

输出端:预测八个代码不能瞎猜,得按顺序来

光是输入搞定了还不够,输出端的设计更关键。八个码本的代码之间不是互相独立的,它们共同描述同一个视觉位置,彼此之间存在依赖关系。

比如说,第一个码本的代码可能大致决定了这个位置是"天空"还是"建筑",后面的码本可能在这个大类基础上继续细化颜色、纹理、光影。如果把这八个代码当成完全独立的八件事去预测,相当于八个人各自闭着眼睛填同一张拼图,互相不知道对方填了什么,拼出来的图大概率是乱的。

多码本自回归头(Multi-codebook AR head)*:一个轻量级的6层Transformer,专门负责在已知前面几个代码的情况下,按顺序预测后面的代码,让八个代码之间形成合理的依赖关系,而不是各自瞎猜。

这个自回归头的工作方式是,先用主干网络算出这个位置的隐藏状态,然后把这个状态作为起点,像击鼓传花一样,预测第一个代码,再把第一个代码的结果喂回去预测第二个,以此类推,直到八个代码全部预测完。整个过程主干网络的"扩散"是并行处理所有空间位置的,但在每个位置内部,八个代码是严格按顺序一个接一个生成的。

论文给出了严谨的数学论证:如果用理想的条件模型,考虑代码间依赖关系的自回归预测,交叉熵损失永远不会比假设代码独立的并行预测更高,只有在代码真正互相独立的极端情况下两者才相等。这不是拍脑袋的设计,是有理论保证的。

实验数据也验证了这个判断。在对比三种输出头设计的实验里,独立并行头在GenEval基准上只拿到68.94分,而多码本自回归头拿到82.78分,差了将近14分,差距主要体现在计数、位置关系、属性绑定这些需要精确配置多个物体属性的任务上。这说明忽略代码间的依赖关系,确实会实实在在地拖累生成质量,不是理论上的瑕疵而是看得见的后果。

再换个角度想这件事。如果你让八个画师同时给同一张画上色,但互相看不到对方在画什么,那这张画很可能色块之间完全不协调。而如果让这八个画师排队上色,后面的人能看到前面已经画好的部分,再决定自己怎么画,整体效果显然会协调得多。多码本自回归头做的就是后者,让后面的代码预测能"看到"前面代码已经敲定的结果。

一个模型,同时装下图片、视频、3D资产

这篇论文另一个值得说的地方是,它不止处理图片,还把视频理解和3D资产理解也统一了进来。

这背后靠的是AToken这个分词器本身的能力,它能把图片、视频、3D资产都编码进同一个4D隐空间里,相当于给这三种完全不同形态的视觉数据找到了一种共同语言。对于视频,用帧序号加空间坐标来组织代码;对于3D资产,用稀疏体素坐标来组织。不同模态之间只靠插入特殊的"分隔符token"来区分结构,而不需要专门设计新的位置编码方式。

论文作者特意强调了一个细节,他们保留了主干网络原生的一维旋转位置编码(1D RoPE),没有为视觉token额外设计二维或三维的位置编码方案。这个决定乍一看有点反直觉,图片明明是二维的,为什么不用二维位置编码?但论文的解释是,这样做能保留预训练阶段学到的位置先验,视觉输入的空间结构改用插入的分隔符token来标记,而不是靠位置编码本身去表达空间关系。

模型主干:站在巨人肩膀上

这套系统的主干网络不是从零训练的,而是基于LLaDA2.0-mini改造而来。LLaDA2.0-mini本身是一个160亿参数、每个token激活14亿参数的混合专家(Mixture of Experts,简称MoE,一种让模型在处理每个输入时只激活一部分"专家"子网络,从而在扩大总参数量的同时控制计算成本的架构)扩散语言模型,用的是分块扩散(block diffusion)方式生成文字,也就是把文字序列切成一个个块,每个块内部用掩码扩散并行去噪,块与块之间按顺序生成,同时复用之前块的key-value缓存,兼顾了并行效率和生成质量。

掩码扩散(Masked diffusion)*:一种和传统"从左到右蹦字"完全不同的生成方式,先把目标内容全部遮住(打上"掩码"标记),然后模型反复迭代,每一轮根据置信度最高的位置优先揭晓答案,直到所有内容都被填满。这种方式天然支持并行生成,还能让每个位置同时看到前后文的信息,不受单向顺序的限制。

Intern Lumina U2在这个主干基础上只做了两处改动:加上0.65B参数的视觉输入输出接口,以及把原来只针对文字设计的分块注意力掩码,替换成能同时处理文字条件、视觉条件、文字答案、视觉答案四种角色的"任务感知注意力掩码"。这个掩码机制挺复杂,核心规则是:噪声答案只能看到同一个答案内部的内容,视觉答案采用双向注意力(因为图片没有天然的生成顺序),文字答案延续分块扩散的规则。

这里有个值得琢磨的设计哲学。文字天生是有顺序的,一句话从头读到尾才有意义;但图片不一样,一幅画里天空和地面哪个"先画"根本无所谓,每个区域都同时依赖周围的局部信息和全局的整体结构。所以论文选择让文字按块顺序生成,图片全图并行迭代优化,这不是技术上的妥协,而是对两种模态本质差异的尊重。

如果反过来,强行让图片也按照从左上到右下的顺序一格一格生成,会发生什么?画面右下角的内容在生成时完全看不到还没画出来的左边内容,这就像让一个画家蒙着眼睛,只能凭记忆从左往右补完整幅画,画面的全局协调性会大打折扣。这也是为什么很多纯自回归的图片生成模型,画面经常出现局部合理但整体违和的问题。

训练怎么喂数据:五个阶段,层层加码

训练这个模型不是一步到位的,论文设计了五阶段课程式训练,分辨率和任务难度逐步升级。

第一阶段是视觉语言对齐,在256×256分辨率下,用文字、图片说明、文生图数据混合训练,目的是让随机初始化的视觉模块和预训练好的语言主干对上话。第二阶段把分辨率提到512×512,加入OCR、文档理解、图表理解这些更考验细节的任务。第三阶段把分辨率提到1024×1024,但这一步刻意不引入新模态,只是单纯让模型适应更高分辨率,论文里提到一个经验教训:如果同时提升分辨率又扩展模态覆盖,会导致已有能力严重退化。第四阶段才正式引入图片编辑、视频理解、3D理解这些新任务。第五阶段是指令微调,用精心筛选的高质量数据,让模型学会按照用户指令干活。

这种"先稳住一个变量,再加另一个变量"的训练节奏,其实是个很朴素但很容易被忽视的工程智慧。就像学做菜,你不会同时第一次尝试新菜谱、又第一次用新炉灶、还第一次招待挑剔的客人,这三件事叠在一起出错概率会飙升。论文作者显然是吃过亏才总结出这条经验,值得被记一笔。

值得一提的是,这套训练在1024块华为昇腾910B NPU上完成,同时还在NVIDIA平台上跑了一个参数规模相同、训练预算较小的参照版本,用来验证这套方法在不同硬件平台上的一致性。论文附录里详细记录了昇腾平台的适配细节,比如重新实现了融合的混合专家计算核、处理了注意力掩码在不同平台上极性相反的坑(有的平台把True当作"遮住",有的平台反过来),这些工程细节虽然枯燥,但对于想复现这套系统的团队来说是实打实的干货。

推理加速:图片生成速度提升4.45倍

训练好的模型跑起来也有讲究。图片生成的扩散采样过程本身就很耗算力,论文提出了一套叫做"平台光顿采样配合V校验"(Plateau-Halton sampling with V-verify,简称PHV)的加速策略。

这套策略解决的问题挺有意思。论文发现,视觉token的置信度和文字token完全不是一个量级的。在96步精修过程中,视觉置信度的中位数只从0.046涨到0.127,哪怕是90百分位数也始终低于0.32,而文字生成常用的置信度阈值大约在0.9左右。如果照搬文字那套"置信度超过某个固定阈值就提前敲定"的策略,视觉token永远也达不到那个门槛,加速策略根本用不上。

这就好比你习惯了用温度计量体温,正常体温在36到37度之间,发烧的判断标准是超过37.3度。但现在要测量的东西,它的"体温"从来不会超过3度,你还硬要套用37.3度的发烧标准,结果就是永远测不出"发烧",温度计完全失效。论文的解决办法是,不看绝对数值高低,而是看这个数值"变化趋不趋于稳定",也就是看置信度是否进入了一个平台期,哪怕这个平台期的绝对值很低。

具体做法是给每个位置维护一个指数滑动平均(EMA)的置信度估计,如果连续几步变化幅度都小于某个阈值,且平均置信度超过一个很低的下限,这个位置就被判定为"进入平台期",可以提前敲定,不用等到传统的置信度排序轮到它。同时还搭配了一个叫Halton序列的低差异排列方式,让提前敲定的位置均匀分布在整张图上,而不是扎堆出现在某个角落。

为了验证这个"平台期"判断到底靠不靠谱,论文还做了一个很扎实的离线验证实验。他们给每个被判定为"平台期"的位置找一个"对照位置",这个对照位置置信度水平差不多,但没有被判定为平台期,然后让两者都继续被遮住几步,看谁的预测结果变化更小。结果在200个测试样本中,被判定为平台期的位置有157个表现得比对照位置更稳定,平均的预测翻转率差异从保持2步时的-0.012,扩大到保持8步时的-0.048。这个数据说明平台期判断确实抓住了某种"这个位置已经想明白了"的信号,不是瞎蒙的。

最终效果是什么?在1024×1024的文生图任务上,单纯叠加缓存复用、classifier-free guidance批处理这些系统优化,延迟从159.9秒降到64.1秒,再加上PHV采样策略,延迟进一步压到35.9秒,整体提速4.45倍,而且GenEval评分不降反升,从86.6涨到89.3。这意味着加速不是靠牺牲质量换来的,反而因为更聪明的采样顺序,质量还提升了。

效果验证:各项基准测试里的表现

说了这么多设计,效果到底怎么样?论文在图片理解、视频理解、3D理解、文生图、图片编辑等多个方向做了详尽评测。

在图片理解和推理方面,这个模型只用了14亿激活参数,却在十个基准测试里的六个拿到了第一(和BAGEL在MME-C上并列),在CharXiv、HallusionBench、MathVision、DynaMath这几个基准上领先优势尤其明显。特别值得一提的是和LLaDA2.0-Uni的对比,这两个模型用的是同一个语言主干,唯一的区别是LLaDA2.0-Uni用的是纯语义的视觉接口,而Intern Lumina U2用的是多码本视觉接口。结果Intern Lumina U2在十个基准里的八个都超过了LLaDA2.0-Uni,而且领先幅度最大的正是那些需要精细视觉细节的任务。这个对比几乎是在做一个纯净的消融实验:排除了主干差异,单纯比较视觉表示能力的差异,结果非常直接地证明了多码本设计的价值。

视频理解方面,这个模型在Video-MME、MLVU、MVBench三个基准上全部拿到第一,超过了专门做视频理解的LLaDA-V和VideoLLaMA2。3D理解方面,在MM-Vet基准上超过了专门的3D模型ShapeLLM和PointLLM。论文特别指出,目前几乎没有其他统一模型能在同一个模型里同时支持视频和3D理解加上图片生成,这个全模态覆盖本身就是一个独特之处。

文生图方面,在GenEval、DPG-Bench、UniGenBench、TIIF-Bench这些基准上,Intern Lumina U2在统一模型里基本都拿到最好成绩,甚至超过了专门做图片生成的FLUX.1模型,接近激活参数量是自己14倍的Qwen-Image。在UniGenBench上,优势最明显的维度是逻辑推理和语法,这两个维度恰恰是最考验"理解能力如何反哺生成能力"的地方,统一表示空间的好处在这里体现得很直接。

科学图表生成这个方向也值得一提。在GenExam物理学科子集和VeriphyT2IBench这两个专门检验科学图表"物理正确性"的基准上,Intern Lumina U2作为一个通用模型,表现超过了同为通用模型的SenseNova-U1和BAGEL,在局部属性准确率上甚至超过了专门针对物理图表做了结构化监督训练的Princigram-DiMOO变体。这说明多码本表示带来的细节能力,确实能延伸到科学图示这种对精确性要求极高的场景。

局限与未来方向

论文也诚实地列出了几个局限。多码本自回归头虽然效果好,但确实带来了额外的解码开销,高分辨率生成时视觉序列会变得很长。另外目前这套系统只覆盖了图片生成和编辑,视频生成和3D生成还没有纳入进来。作者表示未来计划把生成能力扩展到视频和3D资产,探索更紧密的多模态生成交织方式,还打算尝试强化学习后训练和扩大主干规模。

写在后面

读完这篇论文,最触动我的不是某个具体的分数提升了几个百分点,而是论文反复强调的一句话:离散masked diffusion提供了一个让所有任务共享同一个目标函数的自然基础。

这句话背后其实藏着一个更大的问题:我们现在训练AI的方式,是不是总在给不同的能力分别开小灶?理解用一个损失函数,生成用另一个,图片用一套接口,视频用另一套接口。这种"分而治之"看似稳妥,但论文用实验数据告诉我们,当你真正把它们塞进同一个优化空间,用同一套规则去训练,反而能在理解任务上取得更好的效果,尤其是那些需要精细视觉细节的任务。这不是巧合,这说明理解和生成之间本来就该是互相滋养的,分开训练反而是在浪费这种潜在的协同效应。

还有一个细节让我印象很深,就是论文在消融实验里那组关于"是否建模代码间依赖关系"的对比。14分的差距,发生在计数、位置、属性绑定这些任务上,这其实揭示了一个很朴素的道理:当你把一个复杂的描述拆成多个部分去处理时,如果这些部分之间的关联被忽略了,最终拼出来的东西大概率是七零八落的。这让我联想到团队协作里常见的问题,如果一个项目被拆成几个互不通气的模块分别去做,哪怕每个模块单独看都没问题,组合起来经常出现莫名其妙的冲突,道理是相通的。

这篇论文留下的一个开放问题是,当生成能力真的扩展到视频和3D之后,这套多码本离散表示的计算开销能不能控制住。毕竟视频天然就是长序列,再叠加每个位置8个代码的自回归预测,推理成本会不会成为新的瓶颈,这值得继续追问。

Q&A

Q1:Intern Lumina U2是什么?

A:Intern Lumina U2是上海人工智能实验室等机构推出的一个统一多模态扩散语言模型,它首次用完全离散的多码本视觉表示,把图片、视频、3D资产的理解和图片生成、编辑统一在同一个模型里训练。

Q2:多码本视觉分词和单码本有什么区别?

A:单码本每个视觉位置只用一个数字编号表示,信息量有限;多码本用8个相互独立的编号组合表示同一个位置,相当于从多个维度同时描述这个位置,表达能力大大增强。

Q3:Intern Lumina U2的图片生成速度是怎么提升4.45倍的?

A:论文提出了一种叫PHV的采样策略,通过判断每个视觉位置的置信度是否进入稳定平台期来提前敲定结果,配合缓存复用等系统优化,在不降低生成质量的前提下把延迟从159.9秒降到35.9秒。

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。