2026年初，SperidLabs团队做了一件挺较真的事。
他们花了大量算力训练了一个30亿参数的图像生成模型，叫Iris-3B，完全在像素空间里工作，不经过任何压缩编码。这本身不算新鲜，但他们接下来做的事才是重点：拿这个模型去做深度估计和图像修复这两个对细节极度敏感的任务，然后和传统的潜空间模型掰手腕。
结果呢？
打平，甚至还输了一点。
这个结果听起来有点扫兴，但恰恰是这种"不符合预期"的诚实汇报，让这篇论文值得细看。因为它戳破了一个在生成式AI圈子里流传已久、几乎没人认真质疑过的假设：像素空间生成天然更适合做需要精细纹理的下游任务。
这个假设哪里来的
要理解这个假设，得先搞清楚现在主流的图像生成模型是怎么工作的。
你现在看到的绝大多数文生图模型，比如Stable Diffusion系列、FLUX系列，都不是直接在像素上折腾的。它们先用一个叫VAE的东西，把一张1024×1024的图片压缩成一个小得多的"潜空间"表示，所有的生成、去噪过程都在这个压缩后的小空间里完成，最后再用VAE把结果解压回真实像素。
VAE：变分自编码器（Variational Autoencoder），一种能把高维数据（比如图片）压缩成低维表示、又能从低维表示还原回原始数据的神经网络。这里的"压缩"和"还原"都是有损的，就像你把一张照片存成JPEG，画质会打折扣。
这套"潜空间扩散"的玩法效率奇高，因为在小空间里计算比在百万像素的大图上计算便宜太多了。但代价也很明显：VAE是单独训练的，它的压缩误差没法和后面的生成器一起优化，编码器丢掉的细节，生成器永远也找不回来。
这就好比你让一个翻译先把一本英文小说压缩成一页纲要，再让另一个人根据这页纲要写一本新小说。纲要里漏掉的那些微妙的语气、伏笔、双关语，第二个人无论写作水平多高，都补不回来了。如果不压缩，直接让人逐字逐句翻译，虽然慢，但至少不会丢东西。这就是像素空间生成模型想要解决的问题：跳过那个"写纲要"的环节，直接在原始像素上训练和生成。
近两年，这条路线确实跑通了。有工作证明单个transformer就能在像素空间里生成高质量图片，甚至能做到和潜空间模型差不多的文生图效果。既然像素空间不丢细节，那拿它去做深度估计、图像修复这种"抠细节"的任务，岂不是正中下怀？
这个推理听起来非常顺，顺到几乎没人去实测它。SperidLabs的这篇报告，就是去实测的那批人之一。
从零训练一个30亿参数的像素模型
要测试这个假设，第一步得先有一个靠谱的像素空间生成模型。团队把这个模型命名为Iris-3B，意思是"虹膜"，呼应它直接"看"像素而不经过编码压缩的特性。
在正式训练3B参数的大模型之前，他们先在一个13亿参数的小号模型上，用256×256的低分辨率做了一轮系统的消融实验，目的是确定两个关键问题：模型应该预测什么、要不要借助额外的"视觉老师"来加速学习。
第一个问题是预测目标的选择。扩散模型训练时，通常不是直接生成图片，而是学习"去噪"：给图片加上不同程度的噪声，让模型学会把噪声去掉。这里有两种主流做法，一种叫x-prediction，直接预测干净的原图；另一种叫v-prediction，预测一个叫"速度"的中间量。
此前有研究认为，当每个像素块（patch）变得很大、维度很高时，预测噪声这件事会变得不稳定，直接预测干净图像更靠谱。但SperidLabs的实验结果恰恰相反：在他们的设置下，v-prediction训练更稳定，在三项指标上都不输甚至略胜x-prediction。不过作者也诚实地说明了，这个对比并不完全公平，因为参照的x-prediction方案还顺带换了噪声采样的时间步分布，这让这组对比没法完全归因到预测目标本身。这种"我们发现了反直觉的结果，但也说明了为什么这个结果可能不纯粹"的态度，贯穿了整篇报告。
第二个问题更有意思，叫表征对齐。
REPA：表征对齐（Representation Alignment），一种训练技巧，让生成模型内部的特征向一个已经训练好的、擅长"理解图像"的视觉编码器（比如DINOv2）看齐，目的是让生成模型更快学会图像里有意义的结构，而不只是像素统计规律。
团队对比了四种做法：用DINOv2做老师的标准REPA、改良版的iREPA、换成更新的DINOv3做老师、以及完全不依赖外部老师、自己监督自己的Self-Flow。结果很清楚：标准的REPA配DINOv2老师是最强的，几乎在所有指标上都领先或持平。换成DINOv3这个理论上更先进的编码器反而效果变差了，这说明"更新的模型"不等于"更合适的老师"。而完全抛弃外部指导的Self-Flow，表现明显落后，虽然训练越久差距越小，但始终没追上来。
这个发现挺有意思，它提示一件事：生成模型想学好，光靠自己瞎琢磨是不够的，借一双"懂行"的眼睛来校准方向，效果立竿见影，但这双眼睛具体是谁家的产品，还真不是越新越好。
确定了训练配方之后，团队把模型规模扩到30亿参数，并设计了一套从256像素到512再到1024像素的渐进式训练课程，分辨率越来越高，图像也越来越逼真。
Iris-3B的架构值得多说两句。它把图像切成16×16的小方块，这个尺寸不是随便选的。
团队提到一个细节：如果用32×32这种更大的方块切分，哪怕看过的图片数量多四倍，最终的训练效果反而更差。这其实很符合直觉，方块切得越大，模型能利用的局部细节信息就越粗糙，就像你用更大的马赛克去拼一幅画，哪怕拼图的数量翻倍，画面的精细度也上不去。
模型主干沿用了FLUX系列的混合结构，前半段是"双流"设计，让文字和图像的信息各自保留独立的处理通道，后半段再合并成"单流"处理。这里有个取舍很有意思，叫共享偏置的adaLN。
adaLN：自适应层归一化（Adaptive Layer Normalization），扩散模型里常用的一种机制，让每一层网络能根据当前的时间步（也就是去噪进行到哪一步）动态调整自己的处理方式，相当于给每一层装了一个可以根据情况微调的旋钮。
传统做法是每一层都有一套独立的旋钮，而Iris-3B让所有层共享同一套主旋钮，只给每层留一点点微调的余地。这个设计在同等计算量下，省掉了28%的参数。这就像一个公司，与其让每个部门都单独配一套管理制度，不如整个公司用一套统一规则，各部门只保留少量根据自身情况微调的权限。参数是省了，但代价是灵活性打了折扣，好在实测下来，这个折扣没有伤到效果。
真正把图像从"模型内部表示"还原成实际像素的，是一个叫PiT的像素级transformer头，来自此前的PixelDiT工作。它每个模块都会单独调制每个像素，再做一次像素级别的运算。这部分设计不是SperidLabs自己首创的，但他们证明了它能撑起30亿参数的规模。
训练数据方面，团队混合了真实照片、AI生成的合成图像，以及专门强化文字渲染能力的带文字图片，整个训练过程分四个阶段完成，从最初的256像素一路爬到1024像素，外加一轮针对性的精调。
最终，Iris-3B在官方评测集上的表现相当能打。在GenEval这个考察"图文是否匹配"的基准上拿到0.798分，DPG-Bench拿到86.52分，和Qwen-Image这种知名的潜空间大模型打了个平手，明显超过了FLUX.1-dev。这说明像素空间预训练这条路，确实是能走通的，不是实验室里的玩具。
把潜空间模型硬生生"掰"成像素模型
除了从零训练，团队还试了另一条路：把一个已经训练好的潜空间模型，FLUX.2 Klein base（40亿参数），直接改造成像素空间模型。
这个思路的吸引力很明显，从头训练一个大模型太贵了，如果能把别人训练好的"半成品"拿过来稍微改造一下就能用，省下来的算力是天文数字。此前已经有工作证明这条路可行，据称能用很小的代价让转换后的模型接近原始模型的质量。
但SperidLabs团队在实操中发现，这事没有想象中顺利。
他们完全照搬已发表的转换方法，结果训练了1000步之后，模型吐出来的还是一堆跟输入文字毫不相关的、带着方块网格状纹理的噪声图。要达到他们后来方案1000步就能到达的损失水平，原方案得多训练十倍以上的步数。
问题出在哪？团队顺藤摸瓜，找到了症结：输入接口不兼容。
原来的潜空间模型，它的"大脑"主干部分，是在VAE压缩后的潜空间向量上训练出来的，突然把输入换成原始像素块，相当于给这个大脑塞进了一种它从没见过的语言。团队测算发现，哪怕用最好的线性映射，从像素块直接推算出原本的潜空间向量，也只能解释14%的方差，剩下86%的信息完全对不上。
这就像一个只会说中文的翻译，你现在突然让他去读法语原文，哪怕给他一本词典，他也只能连蒙带猜地拼凑大意，大部分细微的语义都会丢失。如果不给这个翻译配一本靠谱的词典，直接让他硬啃，那他就只能像实验里那样，产出一堆语无伦次的乱码（也就是那些噪声图）。
团队设计了两个补丁来解决这个问题。第一个叫"增益匹配的岭回归初始化"，简单说就是先做一次统计拟合，找到一个从像素块到原模型潜空间向量的线性映射，但调整这个映射的"强度"，让它传递噪声的幅度和原本的潜空间通路保持一致，而不是一味追求统计意义上的拟合精度。第二个补丁是调整主干网络的学习率，因为FLUX模型的主干权重本身数值偏小，同样大小的优化步伐，对它造成的相对扰动会比对参照模型大得多，所以需要把学习率按比例调小，大概缩到十分之一左右。
单独用任何一个补丁，损失都能下降一半左右，但生成的图像依然不成样子。两个补丁一起上，1000步之内就能把噪声变成逼真、和文字提示对得上的图片。这个结果挺能说明问题：有时候看似独立的两个技术问题，其实是同一个病根的两个症状，必须同时治才行。
用这套改良配方，团队成功把FLUX.2 Klein转换成了两种不同像素头的版本，图像质量看起来都不错，短文字也能正确渲染出来。但团队也坦诚地说明了一个局限：他们没有测这个转换后的模型在GenEval、DPG这类标准基准上到底能打多少分，所以没法准确判断它离原始潜空间模型的差距有多大。
真正的较量：深度估计和图像修复
铺垫了这么多，终于到了最关键的部分。团队手里现在有三个"选手"：从零训练的像素模型Iris-3B、潜空间模型FLUX.2 Klein、以及转换版的像素模型FLUX.2 Klein Pixel。拿它们去做两件对细节要求极高的任务。
为什么选这两个任务？
深度估计要求模型精确判断画面里每个物体到底有多远，细小的物体边缘、薄片状的结构，稍微判断错位就会很明显。图像修复/超分辨率，则是要求模型把被压缩、模糊的低质量图片，恢复出原本应该有的高频纹理细节，比如皮毛的毛发、织物的纹理。这两个任务恰恰是VAE压缩最容易出问题的地方，8倍下采样的VAE，对高频细节的损伤是最严重的。如果像素空间生成模型真的在细节上更有优势，应该在这两个任务上表现出来。
深度估计的做法是，让模型只走一次前向推理（不做多步去噪），直接从RGB图片回归出一张深度图。三个模型用完全相同的训练配方、数据和步数（1万步）进行微调，然后在五个标准测试集上打分：NYUv2、KITTI、ETH3D、ScanNet和DIODE。
结果是：Iris-3B和潜空间版的FLUX.2 Klein打了个平手，五项指标平均下来几乎没有差距，各有胜负。但转换版的像素模型，在几乎所有基准上都落后于潜空间版本。
这个结果值得细品。它说明"像素空间"这个属性本身，并没有带来预期中的优势。而转换版落后的原因，团队推测很可能不是像素空间这个表示方式的问题，而是这个模型本身的底子就比较薄，它只经过了一轮短暂的转换训练，而潜空间版本是经过完整预训练的成熟模型，两者的"生成先验"强弱本来就不在一个量级，这场比较从一开始就不够公平。
更有意思的发现藏在细节里。团队专门去量化了一个叫"块状网格伪影"的现象。
像素空间生成模型普遍把图片切成互不重叠的小方块分别处理，这就导致相邻方块的边界处理起来容易出现不连贯，形成肉眼勉强可见的网格状纹理。团队专门设计了一个指标去衡量这种网格的严重程度：计算方块边界附近像素的曲率异常程度，和方块内部区域的曲率做比值，数值越接近1说明网格越不明显。
结果显示，潜空间模型的这个比值接近1，基本没有网格问题，因为VAE的解码器是有重叠感受野的，天然就会在方块之间做平滑过渡。而两个像素空间模型都出现了明显的网格，Iris-3B的网格问题甚至比转换版还严重，在某些基准上比值高达2.25，意味着边界附近的曲率异常是正常区域的两倍多。
这其实是像素空间路线自身的一个结构性代价。你把处理原始图像不丢细节的能力换来了，但同时也引入了"拼接感"这个新问题，这两者某种程度上是硬币的两面。
图像修复的实验设计更严谨一些，因为FLUX.2 Klein的潜空间版和转换版用的是完全相同的数据、损失函数和训练计划，这是全文唯一一组真正"干净"的对照实验。结果是，转换版的像素模型在大多数指标上都不如潜空间版，尤其是SSIM（结构相似性）和NIQE（无参考图像质量指标），差距比较明显。
Iris-3B也参与了修复任务的测试，但它用的训练配方、数据规模、训练步数都和另外两个模型不完全一致，所以这组对比本身存在天然的不可比性。即便如此，Iris-3B在保真度相关指标上略逊于另外两个FLUX.2 Klein版本，但在MUSIQ这个无参考美学质量指标上，反而是所有参测方法里最高的。和其他公开的修复方法（比如HYPIR、OSEDiff等）相比，三个自家模型整体处于中等偏上的水平，谈不上碾压，但也算站得住脚。
一个没有被验证的假设，和它留下的问题
整篇报告读到最后，最打动人的不是任何一个正面结果，而是团队处理负面结果的态度。
他们没有把"像素空间没有带来预期优势"这个结论藏起来，也没有强行找补说"其实还是有一点点用的"。他们反而花了大量篇幅去列举这个结论里有哪些没解决的"混杂因素"：Iris-3B没有一个用完全相同配方、数据、算力训练出来的潜空间"双胞胎"，所以它和FLUX.2 Klein的对比天然就夹杂着模型规模、预训练数据差异等一堆变量；转换版模型的训练时长太短，可能根本没把潜能力完全转移过来；每个实验都只跑了一次，没有做显著性检验；修复任务里Iris-3B用的配方和另外两个模型也对不齐。
这种"诚实地把问题摊开来说"的做法，在当下这个追求"更强更快更惊艳"的生成式AI圈子里，其实挺少见的。
团队也提出了接下来想做的方向：想办法去掉那个块状网格伪影，PixelUMM这项同期工作已经证明，用带重叠感受野的卷积式输出头能有效缓解这个问题；还想试试把这套像素空间的思路用到图像编辑任务上，因为编辑任务要求模型精确保留图片里没被修改的部分，这恰恰是VAE最容易出纰漏的场景，如果真有VAE拖后腿的地方，编辑任务应该比深度估计和修复更能暴露出来。
写在后面
这篇报告最让我意外的地方，其实不是任何一个具体的技术细节，而是它选择发表"没有找到预期优势"这件事本身。
现在太多论文的套路是，预设一个讨喜的结论，然后倒着去找能支撑这个结论的实验设置。SperidLabs这篇报告反着来，他们带着一个看起来很合理的假设出发，认真做了实验，发现假设站不住脚，然后把过程和负面结果原原本本地公布出来，连自己实验设计里的漏洞都主动列出来。这种研究态度，比论文本身的技术贡献更值得记一笔。
另一个让我反复琢磨的细节是那个块状网格伪影。研究深度估计的人常年盯着AbsRel、δ1这些宏观精度指标，很少有人会专门去量化"网格感"这种看起来上不了台面的视觉瑕疵。但恰恰是这种容易被忽略的细节，揭示了像素空间路线真正的代价所在：你解决了VAE压缩丢细节的问题，却引入了方块拼接不连贯的新问题，细节没有真正变得更完整，只是换了一种残缺的方式。
如果像素空间生成真的要在下游任务上证明自己的价值，可能不是在深度估计和图像修复这种"模型已经擅长"的领域里较劲，而是在图像编辑这种对"保真度"要求极致、VAE压缩损伤最致命的场景里，才能真正分出高下。这个问题，SperidLabs团队自己也承认还没答案。
Q&A
Q1：Iris-3B是什么？
A：Iris-3B是SperidLabs团队从零训练的30亿参数像素空间文生图模型，不经过VAE压缩，直接在原始像素上做生成，在GenEval和DPG-Bench等官方评测上能与Qwen-Image等主流潜空间模型打平。
Q2：像素空间生成模型真的比潜空间模型更擅长处理细节任务吗？
A：根据这篇报告的实验，答案是没有明显优势。在深度估计任务上Iris-3B和潜空间版FLUX.2 Klein打平，转换版像素模型反而落后；在图像修复任务上转换版像素模型也略逊于潜空间版本。
Q3：把潜空间模型转换成像素空间模型容易吗？
A：没有想象中容易。直接替换VAE后模型会输出大量噪声，根本原因是输入接口不兼容。团队用增益匹配的岭回归初始化加上调整主干学习率这两个办法，才让模型在1000步内学会生成清晰图像。
