你有没有想过一件事：市面上那么多AI图像生成模型，SD3、FLUX.1、Qwen-Image，它们各自画出来的图都挺不错，可它们之间能不能"合作"？
比如让一个模型先打个草稿，另一个模型来精修，就像两个画家接力完成一幅画。
听起来很美好，但现实很骨感。这些模型内部用的"语言"完全不同，有的用128维的隐藏空间，有的用256维，参数化方式也五花八门。强行让它们对话，就像让一个只会说四川话的人和一个只会说粤语的人直接聊天，表面上都是"中文"，实际上鸡同鸭讲。
过去大家要么放弃治疗，让每个模型都是孤岛，要么针对每一对模型单独训练一个翻译器。但如果市面上有十个模型，两两配对就要训练45个翻译器，这事根本做不完。
这篇来自复旦大学和上海人工智能实验室的论文，就是想解决这个"翻译器爆炸"的问题。他们给出的方案叫InstantFusion，核心思路是搭一个公共广场，让所有模型都先把自己的"方言"翻译成普通话,再从普通话翻译回对方的"方言"。这样不管有多少个模型,只需要N个翻译器,而不是N?个。
一个意外的发现:AI模型们其实长得挺像
在正式讲方法之前,论文里有个观察特别有意思,也是整个研究的起点。
研究者们把Qwen-Image、SD3、FLUX.1这几个独立训练出来的模型拿来对比,发现一件怪事:尽管它们的隐藏表示维度不一样(Qwen-Image是[1,16,1,128,128],SD3和FLUX.1是[1,16,128,128]),但把这些隐藏状态的空间自相似性画出来看,图案居然长得差不多。
潜在空间*:也叫latent space,是AI模型在生成图像过程中用来表示"半成品图像"的一种压缩编码,不是人眼能直接看懂的图片,而是一堆数字矩阵。
这就好比几个从未见过面、用不同语言写日记的人,写出来的日记在情感起伏的曲线图上却高度相似。他们没有商量过,但因为都在记录"人类生活"这件事,内在的节奏其实是相通的。
研究者还做了个更大胆的实验:让SD3跑到一半时突然停下,把半成品直接硬塞给SD3.5或者FLUX.1,让后者接着画完。结果同系列模型之间(SD3到SD3.5)交接得很顺畅,画面毫无违和感;跨系列交接(SD3到FLUX.1)虽然出现了局部的噪点和瑕疵,但神奇的是,图片中间那个杯子的主体轮廓和大致布局竟然被完整保留了下来。
如果没有这次草率的"直接硬塞"实验,研究者可能根本不会意识到跨模型的语义结构是部分共享的。正是因为这个"半成品"的直接移交没有彻底崩坏,才让团队确信这条路走得通,值得投入去建一个正式的翻译接口。
这个发现直接点燃了整篇论文的研究方向:既然粗糙的结构能幸存,那就该有办法把这种"部分兼容"精细化,变成一个真正可用的工具。
LAE:给每个模型配一个随身翻译官
InstantFusion的核心组件叫做LAE(Latent AutoEncoder,潜在自编码器)。
LAE*:每个生成模型配备一个专属的轻量级编码解码器,负责把该模型的中间状态"翻译"成共享空间里的通用表示,再从共享表示"翻译"回该模型能理解的格式。
你可以把LAE想象成联合国会议上坐在每个代表身边的同声传译员。每个国家代表(生成模型)只需要说自己的母语,传译员负责把话翻译成一种中立的"会议通用语"(共享潜在空间),其他国家的传译员再把这句通用语翻译成自己代表能听懂的语言。
如果没有这套同声传译系统会怎样?那就只能让懂四国语言的人亲自上场,一对一地互相翻译,也就是前面说的"翻译器爆炸"问题。而现在,每个代表只需要配一个翻译员,新来一个国家代表,也只需要再配一个翻译员,不需要把已有的翻译员全部换掉或重新培训。
这套系统要训练成功,光靠"对齐"是不够的。论文里提到一个很关键的坑:如果只要求不同模型翻译出来的表示在数值上接近,模型完全可以偷懒,直接把所有输入都翻译成同一个无意义的常数,这样"对齐"的目标轻松达成,但信息全丢了。
为了防这个坑,研究者加了一个重建损失,要求翻译过去再翻译回来的结果,必须和原始输入基本一致。这就像要求翻译员不仅要让两边代表的发言"听起来差不多",还得保证经过一轮翻译的内容,翻回原文时不能面目全非。只有同时满足"互相能懂"和"不丢失信息"这两个条件,这套翻译系统才真正可用。
此外还有一个归一化正则项,用来确保不同模型翻译出来的表示在"音量大小"上也差不多,避免有的模型声音震耳欲聋,有的细若蚊蝇,导致合并到共享空间里时失衡。
光对齐"长相"不够,还得对齐"脾气"
这是论文里我觉得最值得单独拎出来说的一个细节。
团队一开始只对齐了不同模型在某个时刻的中间状态(也就是"长什么样"),结果发现一个问题:用UMAP降维可视化之后,不同模型的状态点确实聚在了一起,但代表"下一步往哪里走"的去噪速度向量,却散得乱七八糟。
去噪速度*:扩散/流模型在生成图像的每一步,都会计算一个向量,指示当前的"半成品"应该朝哪个方向、以多大幅度调整,才能更接近最终的清晰图像,这个向量就叫去噪速度或者denoising velocity。
这就好比两个人站在地图上同一个坐标点,但一个人手里拿着指南针指向东北,另一个人的指南针指向西南。表面上看他们"在同一个地方",但只要往前走一步,立刻就会分道扬镳。
状态对齐只保证了"此刻的位置一样",却没保证"下一步的方向一样"。而生成图像恰恰是一个连续走很多步的过程,如果每一步的方向都对不上,那交接几步之后,画面肯定就跑偏了。
所以研究者又加了一个动态对齐损失,专门去约束不同模型在共享空间里的"一步位移"要保持一致。做完这个调整之后,论文里的可视化图显示,原本散乱的速度向量变得整齐聚拢了很多,余弦相似度也明显提高。
如果没有这个动态对齐,会发生什么?论文的消融实验给出了答案:在后面要讲的跨架构知识蒸馏实验里,去掉这个约束会直接导致训练发散,哪怕隐藏状态已经对齐了也没用。这说明"长得像"和"走得稳"是两件完全不同的事,必须分别处理。
什么时候交接最合适?让模型自己说了算
既然有了翻译接口,下一个问题是:两个模型接力画图,到底在哪一步交接比较好?
太早交接不行,因为去噪刚开始的时候,图像还是一团噪声,根本没有稳定的结构可言,这时候硬塞给另一个模型,等于什么信息都没传递。那交接太晚呢?又失去了"用快模型加速"的意义。
这就好比接力跑,如果交接棒的时机选在起跑后半秒,接棒的人根本还没进入状态,棒子传过去也等于白传;但如果拖到最后十米才交棒,前面那个人基本已经把比赛跑完了,换人也没什么加速效果。
论文给出的方案是自适应交接策略:实时监测发送方模型对"最终清晰图像"的预测,看它在连续两步之间的变化幅度是不是已经趋于稳定。一旦这个预测稳定下来,说明画面的核心结构已经确定了,这时候就是交接的最佳时机。
清晰状态预测*:在扩散/流模型的每一步,虽然还没有真正生成完整图像,但可以根据当前的噪声状态和速度场,反推出一个"假如现在就停止去噪,最终图像大概长什么样"的估计值。
论文里给出的可视化证据很直观:在自适应算法选中的交接点上,预测出来的"大概长什么样"的图像,已经和最终成品在整体布局上高度相似了。这说明这套自动判断机制确实抓住了"结构已经稳定"这个信号。
四个应用场景:接口搭好了,能干什么
光有一个翻译接口还不够,论文花了大篇幅去验证这个接口到底有什么用。总共展示了四个方向。
第一个是生成加速。把Qwen-Image这种效果好但慢的模型,和Z-Image-Turbo、FLUX.2-Klein这种快但效果一般的模型拼起来,用快模型先跑,跑到结构稳定了,再交给慢模型精修。实测下来,Qwen-Image单独生成一张图要18.84秒,接上Z-Image-Turbo之后降到4.373秒,接上FLUX.2-Klein降到2.545秒,速度提升了3到7倍不止,而且GenEval-v2(一个评测图像是否符合文字描述的指标)分数没有崩,分别是33.34和27.19。
对比之下,论文里提到的另一种加速方法T-Stitch,因为假设参与的模型共享同一个潜在空间,在跨架构场景下GenEval-v2分数直接跌到7.762,画面质量明显崩坏。这组对比数据很说明问题:如果没有专门针对"潜在空间不同"这件事做处理,硬接的代价是生成质量的大幅滑坡。
第二个应用是跨架构的在线策略蒸馏(简称OPD)。
在线策略蒸馏*:让一个水平更高的"教师模型"实时指导一个"学生模型"学习,教师不是提前把答案写好扔给学生,而是跟着学生自己走的路径,边走边纠正。
过去做OPD通常要求师生模型架构相近,但InstantFusion打通了这层壁垒,让强大的Qwen-Image可以直接指导架构完全不同的SD3。实验显示,SD3原本的HPSv2(一个衡量人类审美偏好的评分)平均分是26.27,经过跨架构蒸馏后提升到26.46。
第三个应用是多偏好组合。现实中经常有不同的"专才"模型,一个擅长让画面更符合文字描述,一个擅长让画面更符合人类审美。以前想要两者兼顾,要么从头联合训练一个全能模型,要么拿两个模型的参数直接做加权平均。InstantFusion提供了第三条路:让两个专才模型在生成过程中按照各自的节奏实时交棒。实测下来,组合GenEval-v2专家和HPSv2专家后,综合得分30.97和30.68,效果逼近专门联合训练出来的多奖励模型,但完全不需要额外的联合训练成本。
第四个是跨模型组合,简单说就是让强模型带弱模型一把。用Qwen-Image指导SD3和FLUX.1,结果SD3的GenEval-v2从22.14直接跳到35.06,提升了接近13分;FLUX.1从22.86提升到36.54,提升超过13.6分。这组数字相当惊人,相当于一个中等水平的模型,借了一下"大哥"的力,直接跨入了优等生行列。
架构设计里一个容易被忽略的细节
论文还做了个小实验,挺能说明问题。他们把LAE里的"时间条件化残差块"替换成普通的卷积层,结果Qwen-Image和SD3组合的GenEval-v2分数从35.06掉到27.86,降了7.2分;和FLUX.1组合的分数从36.54掉到17.37,降了超过19分。
时间条件化*:在去噪过程的不同阶段,图像的噪声程度不一样,模型需要知道"现在是哪个阶段",才能做出合适的调整。时间条件化就是把当前的噪声水平信息,以某种方式"喂"给网络,让网络的处理方式随着阶段变化而变化。
这说明光靠一个简单的卷积层去做跨模型翻译是不够的,翻译器本身也得"知道"当前处于去噪的哪个阶段,才能给出准确的翻译。这就像同一句话,在正式会议开场时翻译成外交辞令,在会议快结束时翻译成具体执行细节,如果翻译员不清楚当前是哪个阶段,翻出来的话很容易文不对题。
稳定性验证:换着顺序接力也不崩
最后团队还验证了一件事:如果让SD3、FLUX.1、Qwen-Image三个模型随便排列组合,轮流接力画一张图,会不会因为顺序不同导致结果天差地别?
结果显示,六种排列顺序下GenEval-v2分数在19.99到33.13之间波动,HPSv2平均分则相对稳定在22.95到25.86之间。虽然谁先谁后确实会影响最终效果(比如Qwen先画打底,后面FLUX.1接棒,分数明显更高),但整体没有出现某种排列直接崩盘的情况。这说明这套共享空间机制本身是稳健的,不会因为换了接棒顺序就彻底失效。
局限性:共享的前提是什么
这套方法不是万能的。论文里坦承,目前的方案依赖所有参与模型使用同一个图像压缩编码器(VAE),以及兼容的时间参数化方式。如果两个模型连最底层的图像压缩方式都完全不同,这套接口暂时还没法直接打通。
此外,同时运行多个冻结的大模型,内存和存储开销自然水涨船高,这是目前多模型协作普遍要面对的代价。
写在后面
读完这篇论文,最打动我的其实不是那些提分的表格,而是开头那个"直接硬塞半成品"的粗暴实验。研究者没有先假设跨模型一定不兼容就放弃,而是真的去试了一下最笨的办法,然后从那个不算完美但也没彻底崩坏的结果里,看出了一丝可能性。
这让我想起一件事:很多时候我们默认"不同的系统之间天然不兼容",是因为懒得去验证,而不是真的验证过它们不兼容。论文里那张UMAP图特别有意思,它告诉我们"看起来一样"和"走起来一样"是两回事,很多工程问题的坑,恰恰就藏在这种看似微小的区别里。
还有一点让我挺触动的,多偏好组合那部分实验显示,InstantFusion不需要联合训练就能达到接近联合训练的效果。这意味着以后我们积累的那些针对单一目标训练好的专才模型,也许不用被扔掉重新来过,而是可以被重新组织、重新调用。这种"不浪费已有投入"的思路,或许比单纯的性能提升更有长远价值。
如果以后有一百个风格各异的生成模型同时存在,它们之间会不会真的形成一个互相借力的生态,而不是互相隔绝的一百座孤岛?
Q&A
Q1：InstantFusion是什么？
A：InstantFusion是上海人工智能实验室等机构提出的一种轻量级共享潜在接口，能让不同架构的AI图像生成模型（如SD3、FLUX.1、Qwen-Image）在去噪过程中互相接力，无需为每对模型单独训练翻译器。
Q2：InstantFusion能带来多大的生成加速？
A：论文实验显示，把Qwen-Image和Z-Image-Turbo或FLUX.2-Klein组合后，推理时间从18.84秒分别降至4.373秒和2.545秒，速度提升1.8到3.3倍以上，且图像质量没有明显下降。
Q3：InstantFusion为什么要同时对齐状态和去噪速度？
A：因为实验发现只对齐中间状态会导致不同模型的去噪方向不一致，就像站在同一位置却指南针方向不同，必须额外对齐去噪速度向量，否则后续生成会跑偏，跨架构蒸馏甚至会直接训练发散。
