论文中的一道菜单题，看起来只需要做一次简单加法：一张 Funghi 披萨 6.90 欧元，一张 Prosciutto 披萨 7.90 欧元，总价是多少？
LLaVA-1.5 不仅读错了价格，还凭空加入一份没有点过的 calzone，最终给出 26.40 欧元；DGP 则读出两个正确价格，算得 14.80 欧元。
问题或许不只出在「推理」环节。模型在开始计算之前，可能就没有拿到与问题匹配、足够可靠的视觉证据。
当前许多多模态大模型只取视觉 Transformer（ViT）最后一层或倒数第二层的特征，经投影后一次性送入大语言模型（LLM）。之后，无论语言模型有多少层，都要从这份固定的视觉表示出发：识别小字、判断颜色、理解动作和分析整幅画作，共用同一个视觉入口。
但同一张图面对不同问题，需要的视觉粒度并不相同。读菜单价格依赖局部纹理与文字细节，理解一幅画的历史意义则更依赖高层语义。既然 ViT 的不同层本就编码了不同粒度的信息，为什么要在进入 LLM 前只保留其中一层？
西北工业大学与香港科技大学的研究团队据此提出 DGP（Dynamic Gated Pathways，动态门控路径）：让每一个 LLM 层都能访问全部 ViT 层，再根据当前图像—问题上下文与该语言层的语义状态，为不同视觉层动态分配融合权重。
一句话概括：DGP 不是把更多视觉层简单平均，而是把「哪一层视觉信息，应该连接到哪一层语言模型」变成一个可学习、随语言层、任务和样本动态变化的路由问题。
在 LLaVA-1.5-7B 上，DGP 在论文报告的 11 项指标中全部超过基线，其中 SQA-I 提升 4.2 分、MM-Vet 提升 3.3 分，VizWiz 与 LLaVA-Wild 均提升 3.1 分。该方法在 Qwen3-VL-2B 与 LLaVA-NeXT 上同样取得一致增益。
论文标题：Where to Connect? Boosting MLLMs via Dynamic Gated Pathways across ALL ViT and LLM Layers
研究团队：西北工业大学、香港科技大学
论文链接：https://arxiv.org/abs/2611.06844
代码仓库：https://github.com/YingyingYan1/DGP
核心贡献：
DGP 改的不是视觉编码器，
而是视觉信息的「接线方式」
这项工作的核心贡献可以概括为三点。
第一，从「选哪个 ViT 层」推进到「ViT 层应该连接哪个 LLM 层」。
过去的讨论通常聚焦于使用最后一层、多个中间层，还是把多层特征提前融合。DGP 将问题重新表述为 where to connect：视觉表征有层级，语言表征同样有层级，真正需要设计的是两套层级之间的连接关系。
第二，把预先指定的连接，扩展为覆盖全部 ViT–LLM 层对的动态路由。
DGP 将所有视觉层与所有语言层都纳入候选连接空间。每个 LLM 层不再被固定绑定到某个视觉层，而是根据自身当前的多模态语义状态，为全部 ViT 层分配不同权重。这里的 all-to-all 指全部「层对」都可参与连接；实际路由采用 Softmax 软加权，并非在视觉 token 之间建立两两连接，也不是只保留少数层的硬路由。
第三，不只验证「能提分」，还分析「模型究竟怎样选层」。
消融实验表明，在当前设置下，直接平均全部视觉层反而会明显掉点，学习到的动态权重是收益的重要来源。进一步的可视化显示，路由会随 LLM 深度、任务类型、具体样本乃至同一图像上的不同问题而变化，为性能提升提供了可解释证据。
1. 只在开头看一次图，为什么会成为瓶颈？
ViT 并不是在每一层重复编码同一种信息。论文对不同 ViT 层的注意力进行可视化后发现，浅层更分散地关注边缘、纹理和局部结构；随着网络加深，注意力逐步集中到更少的语义区域。
图 1：同一图像在 ViT 不同层中的注意力分布。
这种层级分工意味着，不同层各有价值：
浅层保留更多边缘、颜色、纹理等局部线索；
中间层更适合表达物体结构与局部—整体关系；
深层更偏向抽象语义和全局概念。
然而，主流 MLLM 往往只取一个固定 ViT 层，将其投影为视觉 token，并在 LLM 输入端注入一次。此后，视觉信息只能随着隐藏状态在语言模型中逐层传递。LLM 的不同层虽然承担着不同阶段的表征更新，却没有直接回到完整视觉层级、重新选择所需信息的通路。
已有多层视觉特征方法主要沿两条路线展开：
先融合、后输入：在视觉编码器一侧把多个 ViT 层压成一个表示，再送入 LLM。它增加了信息来源，却仍然让所有 LLM 层共享同一份融合结果。
预定义跨层连接：把若干视觉层连接到指定的语言层。它开始考虑两侧的层级结构，但连接位置或候选视觉层通常仍由人工预先确定。
DGP 的区别在于：不先替模型决定哪些层值得连接，而是开放全部 ViT–LLM 层对，再让模型根据当前语义状态学习连接强度。
图 2：从固定单层、编码器侧融合和预定义连接，到 DGP 的全层动态连接。
2. DGP 如何让每个 LLM 层按需「翻阅」视觉层级？
DGP 的整体流程可以拆成三个动作：先判断当前需要什么，再选择相应视觉层，最后把融合结果写回当前语言层。
图 3：DGP 框架。每个 LLM 层都对全部 ViT 层生成一组路由权重，并通过门控残差连接更新视觉 token。
2.1 用语言层的当前状态发起一次「视觉查询」
DGP 在图像和问题之后、首个答案 token 之前插入一个可学习的 glimpse token。由于自回归注意力的因果结构，这个位置能够看到此前的图像与文本上下文；而它在不同 LLM 层中的隐藏状态，又记录了该层已经形成的多模态语义。
因此，DGP 将每个语言层的 glimpse 隐藏状态作为查询信号。视觉侧则取各 ViT 层的 [CLS] 表示作为层级摘要，映射到 LLM 隐空间后充当键和值。
直观地说，glimpse token 表达的是「当前这个语言层想找什么」，各 ViT 层的 [CLS] 摘要表达的是「这一视觉层大致提供什么」。
2.2 为全部视觉层动态分配权重
查询与视觉层摘要先进入一个由所有 LLM 层共享的多头交叉注意力模块，得到跨模态路由特征；随后，每个 LLM 层使用各自独立的路由 MLP，经 Softmax 生成覆盖全部 ViT 层的权重。
这一设计同时保留了两种特性：
共享交叉注意力提供统一的视觉层比较接口；
层特定路由器允许不同 LLM 层形成不同的视觉偏好。
因此，即使面对同一张图，不同问题会产生不同的路由；即使图像和问题都相同，不同 LLM 层也可以选择不同的视觉层组合。这里的「动态」是指权重会随图像—问题样本及 LLM 层而变化；论文当前的实现并不会在答案生成的每个新 token 上重新计算路由。
2.3 在相同空间位置融合，并以门控残差写回
得到路由权重后，DGP 在相同 patch 位置上对各 ViT 层的特征做加权求和：
当前语言层的融合 patch = Σ（该语言层分配给第 k 个 ViT 层的权重 × 第 k 层对应位置的 patch）
这样既能组合不同语义粒度，又不会破坏 patch 之间的空间对应关系。融合结果随后经过当前 LLM 层专属的投影器，并通过一个可学习的标量门控，以残差方式写回该层的视觉 token。
完整过程可以概括为：
语言层状态生成查询 → 对全部视觉层动态加权 → 按位置融合 patch → 门控注入当前 LLM 层
视觉信息由此不再只在输入端出现一次，而是持续参与 LLM 的逐层表示更新。
2.4 用熵正则防止路由过早「只认一层」
开放全部候选连接，不等于模型会自动利用它们。如果训练初期的路由迅速集中到少数视觉层，DGP 仍可能退化成近似固定连接。
为此，论文在预训练阶段加入熵正则，最大化每个 LLM 层在一个 batch 上的平均路由分布熵，鼓励不同视觉层都得到探索。这里约束的是 batch 平均分布，并不是强迫每个样本都均匀使用所有层，因此单个问题仍能形成明确偏好。
预训练阶段的正则系数设为 0.01；进入指令微调后将其关闭，让路由进一步专门化到具体任务所需的视觉粒度。
3. LLaVA-1.5-7B 的 11 项指标均提升，
并在两种额外框架上复现增益
研究团队首先基于 LLaVA-1.5，在 Vicuna-7B 与 Vicuna-13B 两种规模上进行实验。评测覆盖 GQA、SQA-I、VQAv2、VizWiz、SEED、LLaVA-Wild、MM-Vet、MMBench 和 POPE 等任务，涉及通用视觉问答、细粒度感知、指令跟随与幻觉评估。
表 1：DGP 与主流 MLLM 及多层视觉特征利用方法的对比。
在 7B 配置下，DGP 相对 LLaVA-1.5 在表中的 11 项指标上全部提升：
SQA-I：66.8 → 71.0，提升 4.2 分；
MM-Vet：30.5 → 33.8，提升 3.3 分；
VizWiz：50.0 → 53.1，提升 3.1 分；
LLaVA-Wild：63.4 → 66.5，提升 3.1 分。
与同表中的 7B 多层视觉特征方法相比，DGP 在 GQA、SQA-I、SEED、LLaVA-Wild、MM-Vet 和 MMBench-CN 六项指标上取得最高的已报告分数。
在 13B 配置下，DGP 在 11 项指标中的 10 项超过 LLaVA-1.5 基线。其中 VizWiz 提升 3.8 分，MMBench 提升 2.4 分，GQA 提升 2.2 分。
换掉视觉编码器、语言骨干和分辨率策略，DGP 仍然有效
为了检验 DGP 是否只适用于 LLaVA-1.5，研究团队又将它接入两个差异较大的框架：
Qwen3-VL-2B：SigLIP2-L + Qwen3-1.7B；
LLaVA-NeXT：CLIP-L + Vicuna-7B，并使用 AnyRes 高分辨率切片。
表 2：DGP 在 Qwen3-VL-2B 与 LLaVA-NeXT 上的结果。
两个框架报告的四项指标均获得提升。例如，Qwen3-VL-2B 的 SQA-I 从 85.3 提升到 86.9；LLaVA-NeXT 的 SQA-I 从 69.5 提升到 72.3，MMBench 从 66.5 提升到 68.7。在论文测试的三种配置中，DGP 在不同视觉编码器、语言骨干及 AnyRes 分辨率方案下均带来增益，初步显示出跨架构可迁移性。
多看这么多层，代价有多大？
表 3：batch size 为 1 时的参数量、生成 FLOPs 与峰值显存。
在 7B 模型上，DGP 增加 5.29% 参数和 4.07% FLOPs，峰值显存基本不变；在 13B 模型上，参数增加 4.27%，FLOPs 测量值基本持平，峰值显存增加 4.13%。它并非零成本模块，但额外开销保持在相对有限的范围内。
从分数回到具体回答：先看清，才有可能答对
图 4：数学题、OCR 与细粒度理解中的案例对比。
在论文展示的案例中，LLaVA-1.5 会漏读菜单价格、编造不存在的餐品，或无法把图中文字、动作和表情与问题正确关联。DGP 则更准确地恢复了相关视觉证据：
在菜单题中读出 6.90 与 7.90 欧元，得到正确总价 14.80 欧元；
在多步动作图中识别出「打响指后单脚跳」；
在经典猫咪表情包中，更完整地解释人物情绪与猫的神态所形成的反差。
这些例子不能单独证明所有错误都来自视觉连接方式，但它们直观展示了一个关键链条：更可靠的问题相关视觉证据，可以减少后续推理从错误前提出发的机会。
4. 关键消融：更多视觉层不等于更多有效信息
DGP 的收益究竟来自动态路由，还是仅仅因为模型看到了更多 ViT 层？
研究团队设置了一个直接对照：不学习路由权重，而是把全部 24 个 ViT 层均匀平均。结果不仅没有提升，反而在多数指标上明显低于单层基线。
表 4：平均融合、动态门控路由与熵正则的组件消融。
MM-Vet 从基线的 30.5 降至 25.3；
MMBench 从 64.3 降至 57.6；
LLaVA-Wild 从 63.4 降至 56.3。
原因并不难理解：浅层、中层与深层特征处在不同语义粒度上，无差别叠加可能把互补信息混成噪声。
加入动态门控路由后，MM-Vet 与 MMBench 分别回升到 32.4 和 65.6；再加入熵正则后，进一步达到 33.8 和 66.7，SQA-I 也从 70.5 提升至 71.0。
这一组消融给出了比「使用更多层所以更强」更有力的解释：
在当前 LLaVA-1.5-7B 设置下，单纯增加或平均视觉层并不足以提升性能；学习到的层级权重是收益的重要来源。
5. 路由可视化：同一张图，
问题一变，模型选择的视觉层也会变
如果 DGP 确实在按需路由，那么学到的权重不应始终集中在最后一个 ViT 层，也不应退化为均匀平均。
图 5：不同 LLM 层、评测任务与样本对应的路由权重。
可视化结果与这一预期一致：
不同 LLM 层偏好不同。中间 ViT 层整体更常被激活，但浅层和深层也会被特定语言层选中。代表性曲线通常具有多个峰，说明模型会组合多种视觉粒度，而不是只押注单层。
不同任务偏好不同。固定观察第 21 个 LLM 层，LLaVA-Wild、VizWiz 与 SQA-I 会形成不同的视觉层权重分布。
同一任务中的不同样本也不同。路由差异并不只停留在数据集层面，而是进一步细化到单个输入。
更直观的证据来自「固定图像、只换问题」的对照实验。
图 6：同一张图像面对不同问题时，DGP 会改变视觉层权重。
当问题询问颜色、属性或小区域细节时，路由更偏向保留纹理与局部结构的浅层或浅中层特征；当问题转向画作身份、历史意义、场景含义或动作理解时，权重会移向中深层或深层。面对「详细描述图像」这类同时需要局部细节与整体语义的问题，权重分布则覆盖更多视觉层级。
路由差异最终也反映在融合后的空间特征上。
图 7：固定使用 CLIP 第 23 层、平均全部 24 层，以及 DGP 在不同 LLM 层生成的融合特征。
固定单层的空间响应较粗，背景中存在较多干扰；均匀平均虽然加入了多层信息，响应仍较分散。相比之下，论文展示的 DGP 特征具有更清晰的主体轮廓，并更好地保留勺子边缘、建筑边界等局部结构。LLM 第 1、18 和 28 层的融合结果也不相同，进一步说明路由没有塌缩成一套固定模板。
6. 适用边界：这是一个有前景
的连接原则，但还不是最终答案
DGP 当前的主要验证仍集中在 LLaVA-1.5 的 7B/13B 配置，并扩展到 Qwen3-VL-2B 与 LLaVA-NeXT。对于 30B 以上语言模型、更广泛的视觉编码器和更大规模多模态语料，论文尚未完成系统验证。
此外，全层动态连接会引入额外参数与计算量。现有实验中的增量相对有限，但随着模型层数和视觉分辨率继续增长，其扩展效率仍值得进一步研究。
因此，更准确的结论不是「DGP 已解决多模态视觉瓶颈」，而是：论文通过跨架构实验、消融和路由分析提供了证据——在已经测试的模型与数据设置中，视觉—语言连接方式会明显影响多项基准表现，是一个值得继续验证的设计维度。
结语
过去，多模态模型常把视觉编码器当作一次性的信息入口：选定一个层，生成一组视觉 token，然后把后续理解全部交给 LLM。DGP 则把视觉—语言连接从一根固定管道，改造成了一组由语言层状态控制的动态路径。
如果把 ViT 的多层特征看作一座按抽象程度排列的资料库，传统方法更像是在进入 LLM 前复印其中一页，让所有语言层反复阅读；DGP 则允许每个语言层根据当前问题，回到资料库中选择自己需要的页面。
这项工作的启示也因此不止于一个新模块：多模态模型的瓶颈，未必总是视觉编码器不够强、数据不够多或语言模型不够大，也可能来自两种模态之间过于僵硬的「接线方式」。
真正重要的不是让模型无差别地看得更多，而是让它在合适的语言层，用合适的视觉粒度，看见与当前问题真正相关的信息。
