你有没有想过，一张图片里的信息其实很不均匀？
天空是一大片蓝色，草地是一大片绿色，但照片中央那只猫的胡须、瞳孔的反光、毛发的纹理,这些才是真正"费脑子"的地方。人眼看一张照片的时候，其实也在做这种选择性关注,天空扫一眼就过去了，脸部细节会多看两眼。
但让AI处理图片的时候，大多数系统还没学会这种"偷懒的智慧"。
这就是MixTok这篇论文想要解决的问题。它来自浙江大学、香港科技大学和阿德莱德大学的研究团队,一个听起来挺技术化的标题,背后其实藏着一个挺朴素的想法:能不能让AI也学会"该细看的地方细看，该跳过的地方跳过"。
**图像编码器的两难选择**
要理解MixTok在解决什么问题，得先说说AI是怎么"看懂"图片的。
视觉Tokenizer*：一种把图片压缩成一串数字（称为token，也就是"令牌"或"词元"）的编码器，这串数字既能用来重建图片，也能作为后续AI生成模型的输入
这几年主流的视觉Tokenizer分成两派。
一派叫2D网格式，它把图片切成一个个小方格,比如16×16的网格,每个方格对应一个token。这种方式的好处是，每个token都知道自己在图片的哪个位置，局部细节保留得很好。但问题是，它对每个方格一视同仁,天空的方格和猫眼睛的方格，分到的"笔墨"是一样多的。这就好比写一篇作文，无论是开场白还是高潮部分，每段都严格限制在100字，结果该展开的地方展不开，该一笔带过的地方又啰嗦。
另一派叫1D序列式，代表作是TiTok。它不再按空间网格分配token，而是用一小串（比如32个）全局token去"概括"整张图片的信息。这样做的好处是极致压缩,32个token就能代表一张256×256的图片，比2D网格的256个token省了8倍。但代价也很明显：这32个token里，每一个都不再对应图片的某个具体位置，它们是对全局信息的抽象总结。
这就像让你用一句话总结一整部电影。你能说出"这是一部关于爱与牺牲的科幻片"，但电影里某个演员眼角那颗泪痣，那种具体到像素级的细节，一句话是装不下的。
论文里提到一个关键数据对比：在ImageNet数据集上，TiTok S-128用128个token重建图片时，rFID（reconstruction FID，一种衡量重建图片和原图差距的指标，数值越低说明重建得越好）是1.7222；而专门做2D局部细节优化的DetailFlow-16，同样用128个token，rFID能做到1.1370。
rFID*：全称Reconstruction Fréchet Inception Distance，用来衡量AI重建出来的图片和原始真实图片在统计分布上的差距，数值越小代表重建质量越高
这个差距告诉我们，1D压缩确实省token，但细节上是吃亏的。那能不能两者兼得？
这就是MixTok的出发点：**用一小撮1D token打好全局的底子，再用省着花的2D token去补那些真正需要补的细节**。
**哪里需要补，补多少，谁来决定**
MixTok的核心设计可以拆成两层问题。
第一层是"哪里需要补"。论文设计了一个叫Grid Scorer（网格打分器）的小模块，专门去判断图片的16×16网格里，每一个格子"值不值得"用2D token去精细刻画。
Grid Scorer*：一个小型卷积神经网络，输入1D重建的粗糙结果和2D编码器提取的精细特征，输出每个空间位置的"优先级分数"，分数越高说明这个位置越需要2D细化
它是怎么学会打分的？论文给出了一个很巧妙的监督信号：先用纯1D token重建一次图片，再用完整的2D token重建一次图片，比较这两次重建在每个局部区域的误差差距。如果某个区域用2D token重建明显比用1D token重建更准确，这个区域就该拿高分。换句话说，打分器学的不是"这里复杂不复杂"，而是"这里补上细节之后，提升到底大不大"。
这个设计思路其实很接地气。想象你是个编辑，手上有篇稿子要精简，你不会按"这段话用词难不难"来删减，而是按"删掉这段话读者会不会看不懂"来判断。信息密度高不等于值得保留，真正重要的是"去掉它之后损失有多大"。如果Grid Scorer只按视觉复杂度（比如纹理多不多）打分，很可能会把一些视觉上花哨但对整体重建意义不大的区域也标记为高优先级，浪费本该用在刀刃上的token预算。
第二层问题是"补多少"。这里论文引入了一个叫Budget Controller（预算控制器）的机制，用的是自然语言处理里常见的top-p采样思路。
Budget Controller*：根据Grid Scorer给出的分数分布，动态决定每张图片具体要用多少个2D token进行细化，而不是给所有图片固定同样数量
具体做法是，把所有候选位置的分数做一次softmax归一化，排序后从高到低累加概率，一旦累加的概率达到设定阈值p（比如0.91），就停止，前面选中的这些位置就是要细化的地方。这意味着，如果一张图片的"信息"高度集中在少数几个区域（比如背景干净、主体突出的照片），需要的2D token就少；如果整张图片到处都是细节（比如密密麻麻的纹理图案），需要的2D token就多。
这就好比一个编辑在审稿时，有的稿子只有一两处需要大改，有的稿子几乎每段都要调整。如果不管稿子本身情况，硬性规定"每篇稿子最多改10处"，那信息集中的稿子可能改多了浪费精力，信息分散的稿子又改不透。**让预算跟着内容走，而不是让内容迁就固定预算，这才是自适应真正的意义所在**。
论文的消融实验很直接地验证了这一点。固定每张图都用96个2D token时，rFID是1.2052；而用top-p动态分配、平均也是约96个token时，rFID降到1.1950。更有说服力的是打乱实验：把top-p算出来的预算数字随机打乱，分配给不同图片（这样平均预算和分布完全不变，只是预算和图片内容对不上了），rFID反而恶化到1.2236。这说明真正起作用的不是"预算数字分布得合不合理"，而是"预算有没有对准图片真正需要的地方"。
**把两种token缝合在一起**
光有"哪里补、补多少"还不够，MixTok还得解决一个工程问题：1D token和2D token是两种完全不同的表示方式，怎么把它们拼到一起喂给解码器？
论文的做法是先把1D的那串全局token通过一个叫做"空间扩展"（spatial expansion）的模块，重新映射回16×16的空间网格上，变成一个"底图"。这个底图虽然每个位置都有值，但本质上它们都是从同一组全局token里"摊"出来的，细节上比较模糊。
然后，在Grid Scorer和Budget Controller选中的那些高优先级位置，直接用2D编码器提取出来的精细特征，把底图上对应位置的值替换掉。论文里的公式写得很直白：被选中的位置用2D特征，没被选中的位置保留1D衍生出来的底图特征。
这个操作有点像修图软件里的"局部修复"功能。你有一张整体曝光正常但某几个区域发虚的照片，不需要把整张图重新拍一遍，只要把发虚的那几块用高清素材"贴"上去就行。最终这张合成图，由一个共享的解码器统一处理，生成最后的重建图像。
共享解码器*：一个统一的神经网络模块，接收混合了1D底图特征和2D精细特征的完整网格，输出最终的重建图片，不需要区分哪部分来自哪个分支
这里有个细节值得琢磨：为什么要用共享解码器，而不是分别训练两个解码器再拼接结果？如果真那么做，1D生成的部分和2D生成的部分很可能在风格、色调、噪声水平上产生割裂感，就像一张拼接的照片里能看出明显的接缝。而共享解码器在训练过程中会学会"消化"这种混合输入，让两部分特征在同一个解码空间里协调一致，最终输出看起来是浑然一体的。
**图像生成也要分两步走**
MixTok不仅能做图像重建，还能用于图像生成,也就是从无到有，根据一个类别标签（比如"柯基犬"）生成一张全新的图片。
这里论文采用了MaskGIT的生成范式。
MaskGIT*：一种并行化的图像生成方法，不像传统自回归模型那样一个token一个token地按顺序生成，而是通过多轮"遮盖-预测-揭晓"的方式并行生成多个token，速度更快
MixTok把生成过程拆成了两个阶段。第一阶段，先用一个预训练好的1D MaskGIT生成32个全局token，建立起图片的大致轮廓。第二阶段，再根据这个轮廓，用一个叫Generation Grid Scorer（生成阶段打分器）的模块判断哪些位置需要细化，然后用一个专门微调过的2D生成器（基于Halton-MaskGIT）去补全这些位置的细节token。
这里有个很现实的技术难题：在重建阶段，Grid Scorer可以同时看到1D特征和2D特征来打分，因为原图是已知的，2D特征可以直接从原图提取。但在生成阶段，2D的真实特征根本不存在,你是在凭空生成一张新图，哪来的"真实2D特征"可以参考？
论文的解法是用"蒸馏"的方式训练一个新的打分器，让它只凭1D生成的底图特征，就能预测出跟原来那个"开挂"版打分器（能看到2D真实特征）差不多的判断结果。
知识蒸馏*：一种训练技巧，让信息更少的"学生模型"去模仿信息更多的"教师模型"的输出，从而在缺少某些输入的情况下也能做出接近的判断
这就像一个经验丰富的老中医，仅凭看舌苔、把脉这些有限的信息,摸不到患者体内具体的病灶影像,却能大致判断出病因在哪里，该重点关注哪个部位。Generation Grid Scorer要学的，就是这种"管中窥豹"的能力。
论文的实验数据也证实了这套蒸馏方案是有效的：Generation Grid Scorer（只用1D特征）达到的rFID是1.3479，虽然比不上能直接看到2D真实特征的Reconstruction Grid Scorer（1.1950），但明显超过了随机选择（1.5460）、均匀分布选择（1.6604）和基于梯度熵的传统启发式方法（1.4012）。这说明即使信息打了折扣，学出来的判断力依然管用。
**数字说话：效果到底怎么样**
说了这么多设计思路，最终还是要看实打实的数据。
在ImageNet 256×256这个标准测试集上，MixTok用平均约128个token做重建，达到的rFID是1.1950，PSNR（峰值信噪比，另一个衡量图像质量的指标，越高越好）是19.51dB。
PSNR*：Peak Signal-to-Noise Ratio，峰值信噪比，常用来衡量重建图像和原图之间像素级的差异程度，数值越高说明重建图像和原图越接近
把这个结果放进整张对比表里看：TiTok S-128用同样128个token，rFID是1.7222；TiTok BL-128 VQ是1.5063；One-D-Piece L-256是1.4406。MixTok全部超过了它们。而和专门做细节优化的FlexTok（1.1422）、DetailFlow-16（1.1370）相比，MixTok虽然没有拿到最低分，但差距很小，而且考虑到MixTok同时兼顾了压缩效率和跨模型迁移能力，这个成绩相当有竞争力。
生成任务上的数据更有说服力。MixTok在平均约131个token、总共8+8轮采样的设置下，gFID（generation FID，衡量生成图片质量的指标）达到1.9511，比TiTok-S-128（gFID 2.00，但需要128个token和64轮采样）更好，同时采样轮数大幅减少。在单张图片的生成延迟上，MixTok是270.1毫秒，而TiTok-S-128要1018.4毫秒，快了3.77倍。
gFID*：Generation Fréchet Inception Distance，评估AI生成图片的整体质量和多样性，数值越低越好
还有一组对照实验特别能说明2D细化的价值：仅用1D生成的底图（没有任何2D细化）重建出来的图片，gFID高达4.3346；加上2D细化之后，gFID直接降到1.9511,也就是说，仅仅多花8轮采样做局部补充，图片质量的提升是跨越式的。
论文还做了个"移植实验"，把MixTok的思路套用到另一组完全不同的tokenizer组合上,ALIT（1D）配VQGAN（2D）。在同样128个token的预算下，原始的ALIT-128模型rFID是2.9453，而加上MixTok机制后的MixTok-ALIT降到了2.4720。这说明这套"1D打底、2D精修"的思路不是只对TiTok和LlamaGen这一对组合管用，换一套骨架依然能复现效果，具备不错的通用性。
**这个设计解决了什么真正的矛盾**
回到最开始的问题：为什么要这么折腾，直接用2D网格或者直接用1D序列不行吗？
答案藏在一个根本性的矛盾里：**压缩率和保真度本来就是一对天然的对立面，而图片内容的复杂度又是不均匀分布的**。如果用固定token数处理所有图片，无论预算高低，都会出现"该省的地方没省，该花的地方没花够"的问题。
如果不做内容自适应，会怎样？论文的消融实验已经给出了答案:固定预算的rFID是1.2052，不如动态预算的1.1950；打乱预算分配的rFID是1.2236，比正确分配差了近0.03。这些数字看起来差距不大，但在图像重建这种精细任务上，每一点提升都意味着更少的伪影、更清晰的边缘、更真实的纹理。
MixTok没有试图发明一种全新的编码范式，它更像是在"全局压缩"和"局部保真"这两条已经存在的技术路线之间，搭了一座可以按需调配资源的桥。这种思路本身，比具体的网络结构设计更值得记住。
**后续的技术延伸**
这篇论文发表于2026年，但它站在的这条技术脉络上，已经有不少后续动作值得追溯。
比如同样关注"1D token丢失局部细节"这个问题的SelfBootTok，采用的思路是让模型自己学习从全局token预测局部细节，试图用一种自监督的方式弥补信息损失，但论文里也坦承，当图片的局部内容确实无法从全局信息里推断出来时，这种预测方式会遇到瓶颈,这恰恰反过来印证了MixTok选择"直接保留部分真实2D信息"而不是"预测局部细节"的合理性。
另一条值得关注的延伸是DQ-VAE和GPSToken这类工作，它们关注的是"token的空间分布该怎么自适应"，比如用参数化的2D高斯分布去表示图片区域，让token的位置和覆盖范围本身就能贴合图像内容。但这类方法往往没有同时解决"每张图片整体该用多少token"这个问题。MixTok试图把"空间上哪里要精细"和"整张图片层面该给多少预算"这两件事放在同一个框架里联动解决，这算是它和这条支线最大的区别。
Q&A
Q1：MixTok是什么？
A：MixTok是浙江大学等机构提出的一种视觉编码方法，它把压缩的1D全局token和稀疏的2D局部token结合起来，通过内容自适应的打分和预算分配机制，在保持token数量较少的同时提升图像重建和生成的细节质量。
Q2：MixTok和传统的1D或2D图像编码器相比有什么优势？
A：在ImageNet上用约128个token时，MixTok的rFID达到1.1950，优于同等token数的TiTok、One-D-Piece等1D方法；生成任务上gFID为1.95，比TiTok-S-128更好且采样速度快3.77倍，同时每张图片使用的token数量会根据内容复杂度自动调整。
Q3：MixTok是怎么决定给每张图片分配多少个2D细化token的？
A：MixTok用一个叫Grid Scorer的模块给图片每个区域打"是否需要细化"的分数，再通过top-p的预算控制机制，累加概率超过设定阈值就停止选择，信息集中的简单图片分配较少token，细节复杂的图片自动获得更多token。
