你有没有想过一件事：现在的AI画图模型，在生成一张图的时候，是不是把力气花得很均匀？
答案是，太均匀了，均匀到有点浪费。一张512乘512的图片，天上飘着大片白云和晴空，地上站着一面国旗。现在主流的像素空间扩散模型会把这张图切成整整齐齐的小方块,每个方块16乘16像素，一共1024块,然后对每一块都投入同样的计算资源去处理。问题是,那片天空几乎没有任何信息量,一千多个方块里有一大半都在重复计算"这里是均匀的蓝色"这件事。
这就是本文要解决的核心矛盾:现在的像素空间扩散模型用的是一种"一刀切"式分词方法,不管图片内容是简单还是复杂,都按照同样大小的网格切割,投入同样多的计算。这篇论文把这套系统命名为BudgetPix,意思是"预算可调的像素生成"。它想做的事情说起来简单:让模型自己判断哪里该多花力气,哪里可以偷懒,而且这种偷懒的程度,还能在生成图片的那一刻由用户临时决定。
像素空间扩散模型:一种直接在原始像素上做生成和去噪的AI绘图模型,和常见的"先压缩到隐空间再生成"的模型不同,它不需要额外训练一个独立的压缩器,少了一层信息损失的天花板。
这篇论文出自伊利诺伊大学香槟分校和谷歌的联合团队,发表于2026年,针对的是当下几个很有代表性的像素空间扩散架构,包括JiT、MiniT2I、PixelDiT,还有一步生成的MeanFlow。
为什么"一刀切"是个问题
先说清楚现在的技术格局。
像素空间扩散模型和隐空间扩散模型是两条路。隐空间路线,比如大家熟悉的Stable Diffusion,先用一个预训练好的自编码器把图片压缩成一个小小的潜在表示,再在这个压缩空间里做扩散生成,最后再解压回图片。这条路的问题是,压缩这一步会丢信息,相当于给整个生成质量设了个天花板,而且需要两段式训练,流程更复杂。
于是最近两年,JiT和PixelDiT这类直接在像素空间上操作的模型冒出来了,它们跳过压缩这一步,直接拿原始像素训练一个朴素的Transformer架构,配上窄窄的分块嵌入器,效果能追平隐空间模型,还省了一层训练流程。
这本该是个好消息,但它带来了一个新麻烦:自注意力机制的计算量会随着分块数量的增加呈平方级增长,而分块的网格分辨率在训练时就被写死了。
自注意力机制:Transformer架构里让每个信息片段都能"看到"其他所有片段并判断关联度的计算方式,片段数量翻倍,计算量会变成四倍,这是它的代价。
这意味着什么?意味着一个部署好的模型,没法根据当前设备的算力情况临时调整自己的开销。你想在手机上跑得快一点,想在服务器上追求极致画质,想根据用户愿意等待的时间长短灵活调整,对不起,除非你重新训练一个模型,否则做不到。这就像买了一台空调,只有一个固定的制冷功率,不管房间大小、天气冷热,它都按同一个功率运转,想省电或者想更凉快都没办法,因为出厂设置就是死的。
这篇论文想解决的,就是把这个"死设置"变成"活设置"。
论文举了两个很直观的例子。第一个是前面提到的国旗和天空的图,用标准的MiniT2I模型需要1024个token才能画出来,而用BudgetPix的自适应方案,只用307个token就能几乎完美重建整个场景。
token:可以理解为模型处理图像时切出来的一个"信息单元",传统做法是固定大小的像素块,这里讨论的创新点是让这些单元的大小可以随内容变化。
第二个例子更有意思,是一个纹理极其复杂、几乎每个像素都有变化的菠萝蜜,这种图在标准JiT模型里必须用满满256个token才能处理好,因为传统观点认为复杂纹理必须用密集网格覆盖。但BudgetPix证明,即便是这种边缘到边缘都是细节的图,只用一半的token,也就是127个,依然能达到同样的视觉质量。这有点反直觉,一般人会觉得复杂的东西就该用更密的网格去抠细节,但论文展示的是,通过更聪明地分配这些token(不是简单地减少数量,而是让局部的精细化处理和粗粒度的全局结构互相配合),复杂纹理区域反而可以用更少但更聪明的token去覆盖。
三大核心组件:熵引导编码器、尺度感知解码器、弹性训练调度
BudgetPix这套系统由三个核心部件组成,一个熵引导的编码器、一个尺度感知的解码器、还有一套灵活的训练和推理调度机制。它不是从零造一个新模型,而是像一层外壳一样,把已有的像素空间扩散Transformer包裹起来,让它们"学会"处理变长的token序列。
这里有个很关键的技术难题,论文说得很直白:判别式模型和生成式模型面对的是完全不同的处境。像图像分类这类判别式任务,模型拿到的是一张已经存在的完整图片,可以先看清楚图片里哪里信息密、哪里信息稀,再决定怎么分配算力。但生成式的去噪模型不一样,它在生成的过程中,图片内容是逐步"浮现"出来的,一开始根本没有图可看。这就是论文说的"鸡生蛋蛋生鸡"的困境:模型需要先判断图像的空间复杂度,才能决定怎么分配token,但图像内容本身还没有完全生成出来。
BudgetPix给出的解法是,在正式生成之前先跑几步"热身"去噪,拿一个粗略的预测图出来,再根据这个预测图去估算哪里复杂、哪里简单,动态构建出一套非均匀的分块布局。
非均匀布局的构建逻辑基于图像局部的信息熵。简单说,熵越高,代表这片区域的像素值变化越剧烈、越杂乱、信息量越大,熵越低,说明这片区域越平坦、越单调。具体做法是从最粗的尺度开始,比如把图片切成一个个大方块,每个大方块里统计像素强度的直方图,算出香农熵。
香农熵:衡量信息混乱程度的一个数学指标,一片纯色区域熵接近零,一片纹理杂乱的区域熵会很高,这是信息论里最基础的度量方式之一。
如果某个大方块的熵低于设定的阈值,就保留它作为一个token,不再细分。如果熵超过阈值,就把它拆成四个更小的方块,继续在更细的尺度上重复这个判断过程,直到达到最精细的分辨率。这其实就是一种"四叉树"结构,论文称之为熵引导的四叉树。
这里可以打个比方。假如你是一个画廊讲解员,带着一群游客快速浏览一面墙。墙上有大片空白留白,也有一幅细节极其丰富的油画。如果你对着每一平方米墙面都讲解同样时长,那游客在空白墙前会被迫听你讲五分钟"这里什么都没有",而站在油画前只能听到同样五分钟,远远不够看清笔触细节。一个懂得分配讲解时间的导游,会在空白处一带而过,把省下来的时间全部砸在油画细节上。熵引导的分块逻辑干的就是这件事,它先快速扫一眼整面墙的"信息密度",再决定讲解时间该怎么分配,而不是机械地按面积平均分配。
编码器拿到这套非均匀的分块布局之后,还有个麻烦事:不同大小的分块,怎么统一映射成同样维度的token向量?
论文设计了一个双路径架构。细粒度路径处理最小尺寸的分块,直接复用原模型自带的分块嵌入器。粗粒度路径处理更大的分块,先把大分块双线性缩小到基础尺寸,过一遍同样的嵌入器,拿到一个"宏观语义"的主干表示。但这样会丢失大分块内部原本存在的高频细节,于是论文又加了一条补充支路,叫做补丁聚合器,它把大分块拆成若干子块,逐一嵌入,加上相对位置编码,再通过一个由卷积层加MLP组成的尺度混合器,把这些局部信息融合成一个修正向量,叠加回主干表示上。
MLP:多层感知机,是最基础的一种神经网络结构,由若干层线性变换和非线性激活函数堆叠而成。
这个设计思路其实很像快递打包。大件货物打包时,你不能只用一张照片记录它的外观就完事,因为照片会丢失材质、重量分布这些细节信息,所以聪明的打包员会额外附上一张详细清单,把包裹内部每个小件的信息都记录下来,这样收货人展开包裹的时候,既能快速了解整体,又不会漏掉局部细节。补丁聚合器扮演的就是这张清单的角色,它确保大块token被压缩成一个向量的同时,内部的细节信息不会完全蒸发。
解码器这边做的是反向的事情。中央的扩散Transformer处理完所有token之后,解码器要把这些token还原成像素空间里对应尺度的图像块,再拼接起来。细粒度路径直接用原模型自带的解码头,把token还原成小方块像素。粗粒度路径则是把解码出来的小方块双线性放大到目标尺寸,但这样放大出来的图像会显得过度平滑,缺少应有的高频纹理,所以论文又设计了一个补丁精修器,专门负责把这些丢失的细节找补回来。
补丁精修器是个轻量级的局部Transformer,它只在一个粗粒度token对应的局部范围内工作,把放大后的图像块拆成4乘4的小子块,加上局部位置编码,过两层自注意力,并且用自适应层归一化把这个token的全局语境信息也带入到局部细节的修复过程中。最后输出一个残差,叠加到放大后的图像上。
自适应层归一化:简称AdaLN,是一种让网络中间层的归一化参数根据条件信息动态调整的技术,常用于扩散模型里让噪声步数、类别标签这类条件信号影响生成过程。
因为这个精修器只在局部短序列上运行,它的计算开销不会随着图像分辨率的提升而线性增长,整体只多占大约百分之一的参数量。
这套编码解码器设计解决的根本问题是,如果没有这两个配套模块,单纯地让模型处理变长token,大块区域要么丢失细节(没有补丁聚合器和精修器的情况下),要么根本没法和原模型的权重兼容(因为原模型从来没见过不同尺寸的输入)。论文的做法相当于给原本只会处理统一尺寸砖块的建筑工人,额外配了一套工具,让他既能快速砌大面积的平墙,又能精细雕刻复杂的装饰部位,而且整套工具不需要推倒重建整栋楼的施工流程。
训练技巧:三种布局轮换着教模型
光有编码解码器还不够,因为模型得在训练阶段真正学会处理各种不同的token数量组合,不然推理时临时给它一套没见过的布局,它大概率会懵。
论文的解法是在训练时给每张图片随机分配三种布局类型中的一种。
第一种是均匀布局,也就是原模型本来就用的那套密集网格,占比大约百分之十五,目的是防止模型在微调过程中偏离原本学到的分布,相当于一个锚点,让训练过程不至于跑偏太远。
第二种是随机布局,占比大约百分之十,它不是按照图像真实的熵分布来切分,而是给每个格子随机赋一个熵值,强迫粗粒度的token有时候要去"扛"一些本应是高细节区域的内容。这个设计是故意反直觉的,它在教模型一件事:不要想当然地以为"大块token就一定对应简单背景",因为在低预算推理时,模型可能被迫把真正复杂的区域也塞进一个大token里,如果训练阶段没有遇到过这种情况,模型推理时会手足无措。
第三种才是真正的内容自适应布局,占剩下的大约百分之七十五,用的就是前面说的熵引导四叉树,按图像真实的视觉复杂度去分配token。
这里还有一个细节值得展开讲:全局偏移量δ在随机布局和内容自适应布局里都是每张图片随机采样的。这个偏移量相当于一个旋钮,调节阈值的松紧,偏移量越大,越多区域会被判定为"低熵可合并",整体token数就越少。通过随机采样这个偏移量,模型在训练阶段就见过了从百分之二十五到百分之百token数的连续区间,这样推理时不管用户想要哪个预算档位,模型都不会觉得陌生。
推理阶段的流程则是,先跑几步热身,固定用密集网格,让模型把图像的整体构图确定下来,之后每隔几步就重新读取当前的预测图,算出新的熵引导布局,并根据用户设定的预算,通过类似二分查找的方式去调整偏移量,让实际token数量精确控制在预算范围内,这个过程论文称为"预算模式"。
这整套训练调度的设计,本质上是在解决一个信任问题。如果你让一个从没练过雨天开车的司机,突然在暴雨天上路,他大概率会手忙脚乱。三种布局轮换训练,就像是让这个司机在驾校阶段就经历过晴天、雨天、还有突然窜出行人的紧急状况,这样真正上路遇到各种天气和突发情况时,他才不会慌。
实验结果:低预算下依然稳,对手直接崩了
说了这么多设计,效果到底怎么样?
论文在从256乘256到1024乘1024的多个分辨率上,针对类别条件生成和文本生成两类任务做了测试。对比的基线方法除了原始模型本身,还有三种token削减方案:ToMe(一种基于特征相似度合并token的方法)、FeatSim(类似思路但合并时机不同)、以及RTI(一种用LoRA适配冻结模型去消费区域token的并行工作)。
LoRA:一种参数高效微调技术,只训练少量新增的小参数矩阵,而不是整个大模型,常用于用较低成本让预训练模型适应新任务。
先看类别条件生成的结果。在JiT-L/32这个512分辨率的模型上,随着预算从百分之百往下降,BudgetPix的FID分数(数值越低越好,代表生成图像和真实图像分布的差异)起点和原始模型差不多,但下降得非常缓慢。而原始模型和两种合并类基线,一旦预算降到百分之五十到六十区间,FID就会飙升,是BudgetPix的好几倍。ToMe和FeatSim在这个区间的表现甚至比什么都不做的原始模型还要差。这说明简单粗暴地合并相似特征,在低预算场景下反而会帮倒忙。
再看文本生成的结果,更能说明问题。在MiniT2I-L这个模型上,用GenEval这个专门评估文字描述和生成图像是否对应的指标来衡量,原始模型在预算降到百分之四十以下时,分数会从0.88一路跌到0.04,几乎可以说是生成废了。而BudgetPix在同样的预算下依然能保持0.87左右,几乎没有损失。在PixelDiT这个1024分辨率的模型上,BudgetPix甚至做到了预算砍到百分之二十五时,GenEval分数反而从原本的0.721提升到了0.725,比满预算的原模型还略好一点。这个提升可能来自于,合理分配token本身也是一种对模型注意力的正则化,让模型不必在无意义的平坦区域上分散精力。
更极端的场景出现在一步生成的MeanFlow模型上。这类模型只用一步就要完成整个去噪过程,没有多步迭代去逐渐修正,意味着模型没有机会像多步模型那样"边走边看边调整"。论文测试发现,原始MeanFlow模型的权重一旦预算降到百分之八十,直接就崩溃了,FID从2.54飙升到上百,生成的图像基本是噪点。而BudgetPix通过给每张训练图片预先计算好的熵布局进行微调,依然能在预算降到百分之五十时,把FID控制在4以下。
人类评委和AI评委都说好
光看数字容易让人产生距离感,论文还做了两组更贴近人类直觉的评测,一组是真人用户调研,一组是让视觉语言模型(VLM)当裁判。
视觉语言模型:简称VLM,是能同时理解图像和文字的AI模型,可以用来替代部分人工评估任务,成本更低、速度更快。
第一组测试问的是"预算能砍到多少,人才会察觉出明显差异"。结果显示,对于BudgetPix,人类评委平均能容忍百分之五十二的预算被砍掉而不察觉差异,相比之下表现最好的基线方法也只能容忍百分之三十八。AI评委那边更严格一些,对BudgetPix的容忍度是百分之三十六,对其他方法最高只有百分之二十一。
第二组测试是让评委直接对比两张在同一预算下生成的图,哪张更忠实于满预算的原图。结果是,人类评委在所有四个测试的预算档位下,都认为BudgetPix比RTI更忠实,AI评委在预算低于百分之八十的所有情况下也同样偏向BudgetPix。
这两组测试其实是在回答一个很实际的问题:就算数字指标好看,普通人真的会察觉不出差别吗?答案是确实如此,而且差距还不小。
组件拆解:聚合器和精修器各自的功劳
论文还做了一个很细致的消融实验,专门拆解编码器里的补丁聚合器和解码器里的补丁精修器各自贡献了多少。
在JiT-B模型上,原始基线在预算降到百分之二十五时FID会飙到190左右,基本是生成失败的水平。只加上补丁聚合器之后,同样的预算下FID降到25左右,这说明让粗粒度token携带所在区域的真实内容信息,是提升质量最关键的一步。在这基础上再加上补丁精修器,FID进一步降到16.71,而且精修器带来的提升幅度会随着预算越低而越明显,因为预算越低,粗粒度区域占比越大,精修器需要修复的细节也越多。
论文自己也坦率承认了这套方法的局限。布局是根据模型的中间预测来估算的,这意味着如果模型在早期预测阶段还没"想清楚"某个区域该长什么样,布局估算就可能出错,错过那里原本该有的细节。另外,像PixelDiT这类模型自带一个独立的像素级解码阶段,这个阶段不管预算多少都要逐像素处理,这就给整体的加速效果设了个硬性上限。论文最后提出,未来一个自然的方向是让模型自己学习该把token放在哪里,而不是依赖手工设计的熵指标去决定。
写在后面
读完这篇论文,最让我意外的一点其实不是加速效果本身,而是那个关于随机布局训练的小设计。
一般人设计训练策略,第一反应都是"让模型多见真实场景",但这篇论文偏偏加了一道故意制造的"错误场景",让粗粒度token有时候必须硬扛本不该归它管的复杂细节。这个反常识的训练技巧,其实是在为推理阶段那个不可避免的信息滞后做准备,因为推理时模型永远是在"半成品"图像上估算布局,布局估算出错是常态而不是意外。提前让模型适应这种"出错的分配",比单纯追求布局准确率更务实。
还有一点让我印象深刻,是PixelDiT在砍掉百分之七十五预算后GenEval分数反而小幅提升那个细节。直觉上我们会觉得砍预算就该是质量和效率的权衡取舍,但这个小小的反例提示我们,也许传统的均匀分块本身就包含了一定程度的浪费,这种浪费不只是算力上的,也体现在模型的注意力被无意义地稀释了。合理的token分配某种程度上也是一种去噪,帮模型把注意力集中在真正有信息量的地方。
这篇论文没有解决的问题,或许比它解决的更有意思:如果有一天,模型不再需要先跑几步热身去"偷看"图像的大致轮廓,而是在生成之初就能预判接下来哪里会变得复杂,那会是什么样子?这听起来有点像人在下棋时的"直觉布局",还没落子,心里已经大致有了哪里该重兵把守、哪里可以放任自流的判断。目前的BudgetPix还做不到这一点,它依赖热身步骤这根拐杖。但拐杖总有一天是要扔掉的。
Q&A
Q1：BudgetPix是什么？
A：BudgetPix是一种让像素空间图像扩散模型能够根据计算预算动态调整分词方式的框架,通过熵引导编码器、尺度感知解码器和弹性训练调度三个核心组件,让同一个模型checkpoint可以在不同算力限制下灵活运行,且画质下降很平缓。
Q2：BudgetPix能节省多少计算量？
A：在文本生成任务中,BudgetPix只用百分之二十五的token预算就能达到MiniT2I-L在512分辨率和PixelDiT在1024分辨率下满预算的生成质量,在类别条件生成中用百分之六十的预算也能做到FID几乎不下降。
Q3：BudgetPix和其他token压缩方法相比优势在哪？
A：相比ToMe、FeatSim等基于特征相似度合并token的方法,BudgetPix在低预算区间表现更稳定,不会出现突然崩溃的情况,人类评测和AI评测都显示它在忠实度和可容忍预算削减幅度上明显优于这些基线方法。
