你有没有想过，一台松下的传感器坏了，维修工人翻出的那本厚厚的技术手册,到底能不能让AI帮忙读懂？
答案是不太行。倒不是AI笨,而是这类文档天生就不是给AI设计的。工业技术报告里挤满了密密麻麻的文字、规格参数表格、还有各种图表,格式混乱得像是几十年前不同部门各自为战留下的产物。传统的检索和问答系统碰到这种东西,基本上是抓瞎的。
更麻烦的是,这个领域几乎没有公开的训练数据集。你想让一个AI模型学会读懂工业文档,却找不到教材,这就好比想教一个孩子读古文,但市面上一本古文课本都没有。
来自哈马丹理工大学和安特卫普大学的研究团队盯上了这个空白。他们拿松下公司公开的906份产品文档、总共7525页的内容做实验,搭建了一整套从原始PDF到可训练数据集的完整流水线,最终产出了一个名叫Industrial-Instruction的数据集。这篇论文讲的就是这套流水线是怎么造出来的,以及它到底管不管用。
表格里的知识,比你想象的更重要
先说一个容易被忽略的事实：工业文档里,表格占的分量比想象中大得多。
论文里提到一个数据,在信息通信技术相关的语料里,表格里的文字大约占到全部字数的18%。换算成具体数字,一个6GB的数据集里,表格贡献了1.78亿个词。这些表格不是随便填的,是专家一格一格编出来的,里面藏着设备的技术参数、故障对照表、性能指标这些硬核信息。
问题是,现有的很多信息抽取方法处理表格时会"拍扁"它,把行列结构直接压成一坨文本,结构信息全丢了。这就像是把一张Excel报表打印出来又剪碎重新粘贴,数字还在,但哪个数字对应哪个字段,已经分不清了。如果放任这种损失发生,AI读到的表格信息基本等于噪音,它没法知道"额定电流"这一列和"耐温范围"那一列之间到底是什么关系。
这也是为什么这篇论文一开始就把"如何正确抽取表格"当作头等大事来解决,而不是随便找个PDF转文字工具糊弄过去。
PDF转文字这件事,远比看起来复杂
PDF这个格式有个天生的毛病：它本质上只记录"在哪个坐标画一个字符",不记录段落的逻辑结构。这就导致直接从PDF里抠文字,经常会把一段话拆得七零八落,顺序也可能是乱的。
> 规则式方法(rule-based methods)：靠人写死的算法规则去识别文档里的各种元素,比如PyMuPDF、Camelot这些工具。优点是快、好实现,缺点是碰到复杂嵌套表格基本就废了,而且没法理解语义,容易把文字切碎。
> 学习式方法(learning-based methods)：用深度神经网络,尤其是Transformer架构去理解文档版面和内容,代表工具有Nougat、Table Transformer、Dots.OCR等。这类方法能同时理解"这是什么类型的区域"和"这个区域写了什么内容",输出的Markdown格式也更适合喂给语言模型。
研究团队最终选定了Dots.OCR这个模型来做文字抽取。选它是有数据支撑的：在OmniDocBench这个英文文档解析基准上,Dots.OCR的OverallEdit得分是0.125,比MinerU的0.150和Mathpix的0.191都要低（这个指标越低越好,代表编辑距离误差越小）。在另一个叫XDocParse的基准上,Dots.OCR得分0.177,同样领先于参数量大得多的Gemini-2.5-pro(0.251)。有意思的是,Dots.OCR本身只有30亿参数,却打赢了体量更大的对手,这说明模型设计得好,不一定非要靠堆参数。
不过Dots.OCR也不是完美的。它偶尔会出现幻觉,尤其是碰到密密麻麻全是表格的页面时,容易把单元格的结构和相互关系搞错。论文里给出了具体统计：906份文档、7525页中,有291页出现了抽取问题,平均下来大约3.8%的页面翻车,其中光是表格相关的问题就占了236页,是所有问题类型里最大的一块。
这个细节其实挺重要的。它告诉我们,即便用了当下最先进的OCR模型,表格依然是最难啃的骨头。你可以理解成,表格对AI来说就像是密码本,规则式方法读不懂密码本的语法,学习式方法能读懂大部分语法但偶尔会翻译错一两个词,而如果放任这些翻译错误流入训练数据,下游模型学到的就是带毒的知识。
建一个能"搜到东西"的知识库
抽取完文字之后,下一步是把这些内容变成一个能被检索的知识库。
研究团队用EmbeddingGemma这个嵌入模型配合FAISS检索引擎搭了这套系统。
> EmbeddingGemma：一个从Gemma3衍生出来的嵌入模型,只有3亿参数,却能把文本压缩成向量表示,支持从768维降到128维还不明显掉性能。
> FAISS：Facebook开源的向量检索库,专门用来在海量向量里快速找出最相似的那几个,是做语义搜索的标配工具。
在预处理阶段,团队还删掉了那些空白、内容过少或者重复的页面,总共清掉370页。剩下的内容里,大多数页面的token数集中在500左右,少数长文档能达到2500个token。这个分布图挺直观地说明了工业文档的特点：大部分内容是简短的产品说明或参数表,少部分是详细的技术规格书。
这一步看似简单,实际上决定了后续检索质量的下限。如果知识库里混进大量空页或者重复内容,检索系统迟早会返回一堆废话,就像图书馆里塞满了破损的书页,你查资料时翻到的可能是同一页内容的三个残缺版本。
五种场景：教AI学会"什么时候该信,什么时候不该信"
这是整篇论文里我觉得设计得最巧妙的地方。
研究团队没有简单粗暴地做"检索一段文字,生成一个问答"这种最基础的操作。他们意识到,现实世界里用户提问和检索到的文档之间,存在五种截然不同的关系,而AI必须学会区分这五种情况,才能真正在实际场景里靠谱地干活。
这五种场景分别是：
第一种叫无用文档(r0)。检索到的文档跟问题压根不相关,或者虽然主题沾边但完全帮不上忙。设计这个场景的目的很直接：训练AI在看到不相关材料时别瞎编。
第二种叫单文档支持(r1)。一份文档提供了线索,但没有直接给出答案,AI得自己综合这些线索组织出一个完整回答。
第三种叫多文档支持(r2)。好几份文档各自提供一些零散线索,AI需要把这些碎片拼起来,做多步推理才能得出结论。
第四种叫单文档答案(r3)。这是最简单的情况,一份文档里就直接写着完整答案,AI只需要准确提取出来。
第五种叫多文档答案(r4)。答案分散在多份文档里,AI必须做跨文档的信息整合才能拼出完整答案。
这五种场景加起来,其实是在模拟一个真实的检索增强生成系统会遇到的所有情况。你可以把它想象成给一个新入职的客服培训。如果你只教他"顾客问什么,你从手册里抄什么",那他碰到手册没写清楚的问题时就会瞎编乱答;但如果你专门训练他识别"这份资料其实帮不上你"、"这份资料只是线索需要你自己判断"、"这几份资料合起来才是完整答案"这几种情况,他处理起复杂问题来就会靠谱得多。如果不做这种场景区分,直接把所有检索结果和问题一股脑丢给模型训练,模型学到的很可能只是"看到检索结果就无脑往里套答案"这种懒惰策略,遇到检索噪音时立刻现出原形。
用大模型自己生成训练数据
有了知识库和五种场景设计,下一步就是真正把问答对生成出来。
研究团队用的是Qwen3-30B-A3B-Instruct这个开源模型来批量生成题目。选它不是随便拍脑袋,论文里给出了几组对比数据：在IFEval指令遵循基准上,Qwen3-30B-A3B-Instruct得分84.7,比GPT-4o的83.9还高一点;在Arena-Hard-V2上得69分,GPT-4o只有61.9;在WritingBench上更是85.5对75.5,差距不小。
> 指令遵循能力(instruction-following)：指模型能不能严格按照给定的格式要求、逻辑约束去生成内容,这对批量制造结构化数据集至关重要,因为如果模型总是"跑题"或者格式对不上,后面就得花大量精力清洗。
为了让生成的问题不至于千篇一律,团队还用了一种叫"指令模拟"的技巧,每次生成新题目时随机提供一个参考样例,让Qwen照着样例的风格和难度去写新题,同时保证内容不能照抄。这些参考样例来自IBM发布的FailureSensorIQ数据集,里面有5334道跟传感器故障相关的选择题。
整个流程走下来,总共生成了23910条问答对。这个数字看起来不小,但后面的清洗过程会告诉你,原始产出的质量参差不齐是常态。
清洗数据：从24000条砍到13500条,几乎腰斩
生成完不代表能用。语言模型在批量生产内容时,经常会掉链子,比如JSON格式写错了、选项写得残缺不全、答案格式对不上。
研究团队设计了几道过滤关卡。第一道叫"有效答案选项检测",专门筛掉那些选项写得有头无尾的样本,比如只写了个字母"A"却没有后面的解释文字。第二道叫"选项嵌入检测",专门抓那些把选项内容直接塞进问题正文里、格式已经乱套的样本。
这两道关卡走完,原本23910条样本,超过一万条被淘汰,淘汰率高达43%。剩下的再经过答案格式核查,最终留下大约13600条高质量样本,其中12557条用作训练,1000条留作基准测试。
这个43%的淘汰率乍一看有点吓人,但换个角度想,这恰恰说明了让开源模型批量生产结构化数据这件事本身就充满不确定性。你没法指望它每次都精准地按你要的格式来,必须靠事后严格把关。这就像是工厂流水线上装了质检员,产品下线之后不是直接打包出厂,而是要挑出将近一半的次品扔掉,剩下的才算合格品。如果省掉这道质检工序,直接把原始生成的23910条数据拿去训练模型,那模型学到的可能不是"如何正确回答问题",而是"如何模仿一堆格式混乱、答案错位的垃圾"。
开源模型 vs 闭源模型：一场关于成本和质量的较量
这篇论文最有意思的实验设计,是他们不满足于只用Qwen生成一遍,还专门用Claude-Opus-4.6把整套流程重新跑了一遍,想看看用更强的闭源模型生成数据,到底能带来多大差别。
结果相当悬殊。Claude-Opus-4.6生成了26395条原始问答对,只有143条(0.5%)被过滤掉,跟Qwen那边43%的淘汰率完全不是一个量级。这说明Claude在遵守JSON格式、选项规范这些细节要求上,靠谱得多。
但代价也摆在那里。用Qwen3-30B-A3B-Instruct在本地硬件上跑完整个生成过程,总共花了1小时43分钟,成本约3.2美元;而用Claude-Opus-4.6走一遍API调用,成本高达330美元,足足是前者的一百倍出头。
这个对比很有意思。你可以把它想象成雇人抄写文件。找一个新手抄写员,便宜是便宜,但他抄错的概率高,你事后得花时间校对挑错;找一个经验丰富的资深抄写员,几乎不出错,但工时费是新手的一百倍。到底哪个划算,取决于你后续训练出来的模型效果差距有多大,以及你愿不愿意为这个差距买单。论文后面的实验结果会告诉我们答案,但先说结论：差距是有的,但没有大到能匹配一百倍的成本差异。
拿真实模型试刀：微调之后到底提升了多少
光有数据集不算完,得真刀真枪拿去训练模型看效果。
研究团队选了几个参数量在100亿以下的小模型来做实验,包括Qwen-4B-Instruct、Phi-3-mini-4k-Instruct,还有一个专门做检索增强生成的RAG-Instruct-Llama3-8B。之所以死磕小模型,论文里解释得很实在：大模型固然强,但小公司和研究团队根本负担不起动辄几百亿参数模型的部署成本,小模型才是真正能落地的选择。
先看基线表现。在松下工业数据集上测试,Qwen-4B-Instruct的Set-Match准确率是28.5%,F1分数46.65%;Phi-3-mini-4k-Instruct更差,准确率只有17.5%;而RAG-Instruct-Llama3-8B几乎是灾难级的,准确率仅0.7%。
> Set-Match准确率：一种专门针对多选题设计的评估指标,它把预测的答案集合和标准答案集合都当作无序集合来比较,只要选项内容对得上就算正确,不会因为顺序不同或者格式差异(比如空格)而误判为错误。
这个基线数字本身就说明了问题：现成的通用模型,哪怕是号称"指令跟随能力很强"的模型,一遇到真实工业文档,准确率也只能维持在二三成的水平,离能用还差得远。
接下来是微调实验。研究团队先试了LoRA这种参数高效微调方法,结果发现效果几乎没有提升,调了各种rank和alpha参数,准确率始终卡在28.5%左右纹丝不动。
> LoRA(Low-Rank Adaptation)：一种只更新模型一小部分参数的微调技术,通过给原始权重矩阵叠加低秩矩阵来近似完整的参数更新,好处是显存占用小、训练快,但代价是学习新知识的能力打了折扣。
这个结果其实也符合预期。LoRA更擅长调整模型已有的行为习惯,而不是灌注全新的领域知识。工业文档里那些专业术语、规格参数,对Qwen-4B来说是完全陌生的内容,靠LoRA这种"轻量微调"很难真正把这些新知识吃进去。这就好比你想让一个只会说中文的人临时学会德语,靠几节发音矫正课是远远不够的,你得让他系统地重新学一遍词汇和语法。
于是团队转向全参数微调,把模型的所有权重都拿去训练。这次效果立竿见影：Set-Match准确率从28.5%直接跳到42.0%,F1分数从46.6%涨到63.5%,Jaccard相似度也从41.6%提升到58%。而且不管是配合检索增强(RAG)还是不用RAG单独测试,这个提升幅度都保持一致。
用Claude-Opus-4.6生成的数据集重复同样的实验,结果更亮眼。Set-Match准确率从40.9%涨到56.4%,提升幅度约15.5个百分点,比Qwen数据集带来的13.5个百分点提升还要大一些。不过论文里也很坦诚地提醒读者,这两组实验用的是各自独立生成的测试集,基线分数本身就不一样(28.5% vs 40.9%),所以这个提升幅度的对比只能算参考,不能算是严格意义上的头对头比较。
遗忘的代价：微调之后,AI还记得多少"常识"
这里引出一个业内老生常谈但依然棘手的问题：灾难性遗忘。
> 灾难性遗忘(catastrophic forgetting)：指一个预训练模型在针对某个狭窄领域做微调后,反而丢失了它在预训练阶段学到的通用知识,这是微调领域最常见的副作用之一。
为了衡量这个问题,研究团队用了MMLU这个基准来测试模型微调前后的通用知识水平。
> MMLU(大规模多任务语言理解测试)：一个覆盖57个学科的综合性测试基准,涵盖STEM、人文学科、社会科学以及法律医学这类专业领域,题目难度从入门到专家级都有,是学术界用来衡量模型是否具备可泛化世界知识的标尺之一。
结果出现了明显分化。用Claude-Opus-4.6数据微调后的模型,MMLU总分从72.13%只掉到72.08%,几乎没有变化,几乎是把通用知识完整保留下来了。而用Qwen数据微调的模型,总分从72.13%掉到70.87%,跌了1.26分。
单看总分差距不算大,但把数据按学科拆解开来看,问题就暴露出来了。用Qwen数据微调的模型,在人文学科这个大类里出现了明显下滑,尤其是道德推理相关的题目(moral_scenarios),准确率从51.17%暴跌到40.45%,足足掉了10.72个百分点。而用Claude数据微调的模型,不但没有明显退步,反而在一些量化推理和法律相关学科上出现了小幅提升,比如college_mathematics从48%涨到55%,machine_learning从60.71%涨到66.07%,international_law从80.17%涨到83.47%。
这个对比挺发人深省的。它说明微调数据的质量,不只是决定了下游任务学得好不好,还悄悄影响着模型有没有在学习过程中"跑偏",把不该丢的东西也一起丢掉了。你可以把这个过程想象成一个学生集中突击备考某个专业考试。如果他复习资料编写得逻辑清晰、案例典型,他复习完专业课之后,原本掌握的通识知识大概率不受影响;但如果复习资料本身就写得东拼西凑、逻辑混乱,那这个学生在硬啃这些劣质材料的过程中,反而可能把原本清晰的思维方式搞乱,连带着影响他在其他方面的表现。如果放任劣质数据不做严格清洗直接拿去微调,代价可能不只是目标任务学不好,还会连累模型在其他领域的判断力。
一个没能解决的老大难问题：换个说法,AI就懵了
这篇论文最诚实的地方,在于它没有回避一个尴尬的结果。
在FailureSensorIQ这个基准上,有一个指标叫AccPerIBM,专门测试模型面对同一个问题的"改写版本"时表现如何,也就是把问题换个说法问一遍,看模型还认不认得出这其实是同一个问题。
结果无论是基础的Qwen3-4B-Instruct模型,还是经过Qwen数据微调、Claude数据微调的两个版本,这个指标全都是0%,一道都答不对。反倒是那个在松下基准上表现拉胯的RAG-Instruct-Llama3-8B,在这个指标上拿到了33%的分数。
这说明一个挺扎心的事实：不管你用多好的数据去微调,给这个4B参数量级的小模型灌再多领域知识,它依然没能学会"换个说法提问,我照样能认出你在问什么"这种基本的鲁棒性。这不是知识量的问题,是模型本身对措辞变化的抗干扰能力太弱。论文里也提到,这个现象其实在更大的模型上也观察到过,FailureSensorIQ原始论文里就报告过,问题改写能让准确率最多下降41个百分点,只是在4B这种小模型身上,这个问题被放大到了极致,从"打折"变成了"归零"。
研究团队也坦率地承认,这是当前这套数据生成流水线的一个明显短板。因为在生成训练数据时,他们并没有专门为每道题制造改写版本、对抗性措辞版本,自然也就没法教会模型应对这种情况。他们把这个列为未来最值得优先解决的方向之一。
写在后面
读完这篇论文,我印象最深的反而不是那些提升了多少个百分点的数字,而是那个43% vs 0.5%的过滤淘汰率对比。同一套流程,只是换了个生成模型,产出质量能差出这么悬殊的一个数量级,这提醒我,很多时候我们讨论"用大模型造数据"时,容易忽略生成模型本身的可靠性才是决定下游一切的地基。
另一个让我反复琢磨的细节,是那个"换个说法AI就懵"的现象。所有模型在这项指标上都是0%,包括两个精心微调过的版本。这说明知识灌注和鲁棒性训练根本是两码事,你以为多喂点专业知识模型就会变聪明,但它对措辞变化的敏感度可能压根没被触及。这让我想起考试作弊的学生,背下了标准答案,题目稍微换个问法就露馅了,说明他学到的不是理解,是死记硬背。
论文里那个道德推理类题目暴跌10.7个百分点的发现,值得单独拿出来想一想。这可能说明工业领域的数据训练,和涉及价值判断、伦理推理的能力之间,存在某种此消彼长的张力,而这种张力目前还没人说得清楚原因。
如果未来有人真的把"改写鲁棒性"训练进这套数据生成流程里,会不会连带解决这个道德推理下滑的问题?这两件事之间会不会有隐藏的联系,值得继续追问下去。
Q&A
Q1：Industrial-Instruction数据集是用什么文档做出来的？
A：研究团队用了906份松下公司公开的PDF技术文档,总共7525页,涵盖各类产品说明、技术规格和维护手册,通过自动化流水线抽取内容并生成问答对。
Q2：为什么用LoRA微调没有效果,全参数微调却提升明显？
A：LoRA只更新模型一小部分参数,更适合调整已有行为习惯,而工业领域的专业知识对模型来说完全陌生,LoRA很难真正学进去。全参数微调更新所有权重,才能把新知识扎实吸收,实验中Set-Match准确率从28.5%提升到了42.0%。
Q3：用Claude生成数据集比用Qwen贵多少,值不值？
A：Claude-Opus-4.6生成数据的成本约330美元,是Qwen3-30B-A3B-Instruct本地生成成本(约3.2美元)的一百倍左右。Claude生成的数据过滤淘汰率更低(0.5% vs 43%),下游微调效果也更好,但提升幅度并没有和成本差距成比例,开源模型依然是性价比更高的选择。
