Token导航 LogoToken导航

AI 资讯 · 科技行者

AI知识增强方式对比:浅层注入与深层修改

更新 2026-11-18科技行者正文 4743字阅读约 15分钟

你有没有玩过那种猜图游戏,图片上是一群人围坐桌边喝酒,问题却是"在加拿大,做这件事要满多少岁才合法"?

光看图片,你根本答不出来。你得知道一个额外的事实:加拿大的法定饮酒年龄。这就是知识型视觉问答要解决的问题,一个需要图片之外信息的提问方式。2019年提出的OK-VQA基准测试,专门收集了这类"看图也白搭"的问题,目的就是戳破当时视觉问答模型的一个假象:它们看起来很聪明,其实只是把图片里明摆着的东西念出来而已。

这几年大家想到了一个办法,把大语言模型当成知识外挂接进视觉问答系统里。Llama、GPT-3这些模型脑子里装了海量常识和事实,让它们来帮视觉模型"补课",听起来顺理成章。可是这里藏着一个没人认真问过的问题:这个知识到底应该怎么接进去?是浅浅地碰一下就行,还是要深入到模型内部动筋动骨?

几乎所有人默认的答案是,接得越深越好。本文要讲的这项研究,却用实验结果给了一个让人意外的回答。

**先说说这件事到底难在哪**

在这篇论文之前,领域内大致分成两条路。第一条路是把大语言模型当成外部顾问,每次要回答问题就临时问它一句,比如PICa这类方法让GPT-3根据图片说明文字和几个范例直接给出答案,效果确实惊艳,用十六个示例就超过了当时专门训练的监督模型。第二条路更进一步,想办法把知识真正"焊"进一个可训练的架构里,KAT把GPT-3的隐性知识和维基数据的显性知识一起塞进编码器解码器结构,MAIL构建场景图和概念图做深度融合,最新的KV-KBVQA甚至说此前的方法注意力机制太"简单粗暴",得用更复杂的跨模态注意力才行。

你发现没有,第二条路上的所有工作有一个共同的隐藏假设:越复杂越好,越深入越对。这篇论文的作者们觉得这事没那么简单。他们注意到一个旁证,在RGB-D物体识别这个完全不同的领域里,有研究发现视觉transformer做晚期融合反而比大多数早期融合方案效果更好。这说明融合深度这件事,可能跟数据量、跟预训练模型的质量都有关系,不是越深越稳。

于是他们干了一件事:用Llama 3.3 70B给OK-VQA的每张图片每个问题生成结构化的推理指导,然后分别用"浅融合"和"深融合"两种方式把这些指导接入一个统一的视觉语言模型,在完全相同的条件下比一场。

**这套"知识外挂"长什么样**

研究团队先让BLIP模型给每张图生成一句文字说明

*BLIP:一种图像描述生成模型,能看图写话,把图片内容转成一句自然语言描述。*

然后把这句描述和问题一起丢给Llama 3.3 70B,让它输出一个结构化的JSON,里面包含三样东西:应该重点关注的视觉元素、应该忽略的干扰项、以及回答这个问题需要的外部知识。还是拿饮酒那张图举例,模型会输出"男人、女人、酒"这类该关注的东西,"派对装饰"这种该忽略的干扰,以及"加拿大法定饮酒年龄"这条关键知识。

这个生成过程只在训练前离线跑一次,结果缓存下来,训练和推理时都不用再调用那个700亿参数的大模型。这个设计其实挺重要的,如果每次回答问题都要现场调用一次大模型,响应速度和成本都是灾难。提前生成好、缓存起来,相当于把大模型的"答疑"浓缩成一份笔记,用的时候直接翻笔记就行。

这就好比你准备一场考试,如果每道题都要打电话问老师,考试根本没法进行。但如果你提前把老师可能讲的重点整理成一张纸条带进考场,既省时间又不违反规则。这张纸条,就是研究里说的"结构化指导"。

*OK-VQA:一个专门测试知识型视觉问答能力的基准数据集,收录了约1.4万个图片问题对,特点是答案无法单纯从图片内容推断出来,必须借助外部常识或事实知识。*

光有原始数据还不够用。研究团队发现,筛选出现频率最高的500个答案类别后,只剩3144个训练样本,平均每个类别才6个样本左右,这是极度缺数据的状态。为了解决这个问题,他们又用同一个大模型对问题做了一轮"改写":图片不变,答案不变,只把问题的措辞换一种说法,比如把"在加拿大做这件事要多大年纪"改写成"加拿大法定饮酒年龄是多少"。这套流水线把训练数据从3144条扩充到了约3.6万条,扩了十倍还多。

这个思路其实不新鲜,此前已经有研究证明用大模型改写文本能帮低资源的分类任务,这里只是把同样的原理搬到了视觉问答的问题句上。

**两种接入方式,一浅一深**

接下来是整篇论文最核心的部分:怎么把那份"结构化笔记"接进视觉语言模型里。

研究团队搭了一个统一的底座,图像用预训练好的ViT编码,拿它的全局特征向量作为图片的整体表示;问题用FLAN-T5处理;那份结构化指导则用CLIP的文本编码器转成向量,再经过一层可训练的投影,变成跟图片特征同维度的"指导向量"。

*ViT:全称Vision Transformer,一种把图片切成小块像处理文字一样送进transformer模型的图像编码方式。*

*CLIP:一个通过图文对比学习训练出来的模型,它的文本编码器能把一句话转成一个语义向量。*

*FLAN-T5:谷歌开发的一种文本到文本的生成模型,适合做问答这类输入输出都是文字的任务。*

在这个共享底座之上,研究团队搭了三个版本做对比。

第一个是不给任何知识指导的基线版本,图片特征直接压缩成一个前缀token,拼在问题前面送进解码器,相当于什么都不改,就看模型单靠图片和问题本身能答对多少。

第二个叫"晚期融合",也是整篇论文真正的主角。它的做法特别克制:把图片的全局特征和那份指导向量简单拼接起来,经过一层线性变换,生成一个融合后的前缀token,再送进解码器。整个过程完全不碰视觉编码器内部的任何计算,ViT该怎么处理图片还怎么处理,指导信息只在最后拍板的那一刻才介入。

第三个叫"注意力矩阵注入",这是深度融合的代表。它直接伸手进ViT最后六层的自注意力机制里,把指导向量变换后加到每个图像块的查询和键向量上,相当于强行改变模型"看图片的方式",让每个图像区域的关注度都被这份指导信号重新加权。这些被改动的层还要解冻参与训练,意味着模型要重新学习怎么用带着指导信号的方式看图。

这两种策略的差别,有点像给一个厨师做菜的时候,你是在最后装盘前跟他说"这道菜要配一碟醋",还是跑进厨房里一把抓住他切菜的手说"你每一刀都要往左偏两度"。前者尊重厨师已经练了很多年的手艺,只在最后一步加一点提示;后者直接干预他最熟练的动作,结果厨师手忙脚乱,反而把本来能做好的菜切坏了。如果不做后面这种深度干预,厨师还是能按自己的节奏把菜做好;但一旦你强行改动他最基础的动作,而练习时间又不够,手艺很可能不升反降。

**实验结果,浅的反而赢了**

论文的数据表格很干脆地给出了答案。

在扩充后的OK-VQA验证集上,不给任何知识指导的基线模型,精确匹配率是29.44%。晚期融合这个浅层策略直接冲到了39.44%,相比基线提升了10个百分点,token F1值也从30.97提升到41.34,语义相似度指标BERTScore同样是三者中最高的92.14。而深度的注意力注入版本,精确匹配率只有31.80%,只比基线高了2.4个百分点,BERTScore甚至比基线还低了0.2,说明这种深层改造并没能把语义指导真正转化成更准的答案。

按问题类型细分之后,差距看得更清楚。晚期融合在"What is"这类问题、颜色类问题、以及归为"其他"的杂项问题上提升最明显,这些恰好是最依赖外部背景知识才能消歧的问题类型。注意力注入在"Where"类问题上表现最好,达到35.3%,是三者里最高的,但在"Who"类问题上直接崩掉,只有10.0%,连基线的25.4%都不如;是非题也从基线的65.2%跌到45.6%。研究者分析,这是因为那个指导向量其实是一个全局方向,把它统一地加到每个图像块的查询和键上,没法指定"这个概念对应图片里哪个区域",结果是粗暴地整体偏移了注意力分布,帮了一些类型的问题,却伤了另一些需要精细定位人物或做是非判断的问题。至于数字计数类问题,三个版本全都只有6%左右的准确率,这不难理解,指导内容里本来就没有数字信息,给了也白给。

错误分布的统计进一步印证了这个结论。基线模型完全答错的比例是63.1%,晚期融合把这个比例压到53.2%,注意力注入只压到60.5%,改善幅度明显小得多。论文里还给了几个具体例子,比如问斑马身上的花纹是什么,基线答成了"斑马"本身,而两个加了指导的版本都准确答出"条纹";问房间里用什么东西制冷,基线答成"柳条",加了指导的版本答对了"冰箱"。这类错误有个共同特点:基线模型倾向于把图片里最显眼的物体名字念出来,而不是真正回答问题问的属性或功能,指导信息恰好补上了这块短板。

**为什么浅的反而更稳**

研究者给出了三点解释,细想下来都挺有道理。

第一点是预训练表示的保留问题。晚期融合完全不碰ViT的内部计算,而注意力注入改动了十二层里的六层并且解冻重新训练,模型得靠不到三万条训练样本重新稳定自己的视觉表示,这点数据量根本不够它恢复到预训练时的最优状态,更别说超越了。这跟此前一项关于视觉定位的研究发现不谋而合,那项研究直接监督注意力机制,结果发现强行干预注意力并不能带来直接的任务提升。

第二点是粒度不匹配。那份指导向量本质上是所有概念的平均值,是一个笼统的全局方向,但注意力注入却把它广播到图片里的每一个小块上,没法表达"这个知识点具体对应哪块区域"。这就好比你想告诉一个人"注意看左上角那只猫",结果你说的话却同时传到了他的每一寸视野里,他没法判断到底该往哪看,只能整体地、笼统地调整自己的关注方式,自然有得有失。晚期融合则老老实实地把这个向量当成一个全局摘要来用,只在全局表示层面融合,没有试图冒充它拥有局部定位能力。

第三点是优化负担。注意力注入引入了每层单独的投影矩阵、门控机制、缩放因子,这些都要跟解冻后的ViT层一起联合训练;晚期融合只训练一层线性变换。在平均每类只有六个样本的极度缺数据情况下,参数更少、假设空间更小的那个方案更容易学好,这跟RGB-D物体识别领域里关于融合深度的发现是一致的。

这里有个细节值得多说一句。研究者特意强调,这些结果不代表深度融合天生就不如浅层融合,而是说融合深度必须跟数据量匹配。换句话说,如果训练数据足够多,深度融合或许能发挥出它本该有的优势,只是在这篇论文设定的数据稀缺场景下,它的潜力还没来得及施展就先栽在了优化难度上。

这项研究之后,领域内已经有一些工作开始沿着类似的思路继续往前走。比如有研究尝试给深度融合加入带空间对应关系的概念级指导,而不是一个笼统的全局向量,想办法让"深融合"也能知道该往哪个区域看;也有研究把这类系统融合的比较扩展到更大规模的数据集上,想摸清楚到底数据量涨到什么程度,深融合才能真正反超浅融合,这个交叉点目前还没有定论。

Q&A

Q1:OK-VQA基准测试是什么,为什么需要它?

A:OK-VQA是一个专门测试知识型视觉问答能力的数据集,收录约1.4万个图片问题对,特点是问题的答案无法单纯从图片内容里看出来,必须借助法律常识、文化背景等外部知识才能回答,用来戳破那些只会"看图念字"的视觉问答模型。

Q2:为什么浅层的晚期融合反而比深层的注意力注入效果更好?

A:原因主要有三点,深层改造打乱了预训练好的视觉表示而训练数据不够它恢复;指导信息本身是一个笼统的全局方向,强行注入每个图像块反而削弱了精细定位能力;深层方案参数更多、优化更难,在数据稀缺情况下更容易学不好。

Q3:这篇研究用了什么方法扩充训练数据?

A:研究团队用Llama 3.3 70B对原始问题做改写,保持图片和答案不变,只改变问题的措辞表达,把原本3144条训练样本扩充到约3.6万条,解决了平均每类答案只有6个样本的极度缺数据问题。

文章标签学术研究

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。