Token导航 LogoToken导航

AI 资讯 · 科技行者

AI医生从被动看报告转向主动查病历

更新 2026-11-10科技行者正文 7315字阅读约 23分钟

你有没有遇到过这种医生。

你去看病,带着一堆检查报告,医生扫了一眼报告,直接给出诊断。这种医生看起来很厉害,但你心里总有点不踏实:如果我没带这份报告,他还能看出问题吗?如果真正的病因藏在三年前的一次检查里,他会主动去查吗?

现在的AI医疗模型,大概就是这种"看报告型医生"。

你把病人的化验单、CT片子、病史全部打包喂给它,它在这堆现成的材料里找答案。这件事本身没问题,但它掩盖了一个更关键的能力:面对一个真实病人,医生要自己决定去查哪些资料,对比哪几次检查,甚至要意识到"这份报告里的措辞有点含糊,我得再确认一下"。

这不是知识问题,这是侦查问题。

而现有的医疗AI评测,几乎全部在测知识,不测侦查。

来自杜伦大学、阿里达摩院等机构的研究者们,在一篇名为《CASE》的论文里,把这个问题摆上了桌面。他们做的事情说起来简单:别再把证据喂给AI了,让它自己去英国生物样本库的真实病历和影像数据里翻找。

**这篇论文想验证的核心问题是:一个不算庞大的AI模型,能不能通过学习"怎么找证据",最终比那些参数量大得多的顶尖大模型诊断得更准?**

答案是能,而且赢得不小。

一、问题到底难在哪:现有的医疗AI测的是什么

先说清楚现在的医疗问答测试长什么样。

PubMedQA、MedQA这些经典数据集,本质上是考试题。给你一段医学文献摘要,或者一张X光片,配上问题和选项,让AI选出正确答案。这种测试的信息是"喂到嘴边"的,AI不需要决定去哪里找证据,证据已经摆在题目里了。

静态问答基准

*:给定固定的文本或图像材料,让模型直接作答,不涉及主动获取信息的过程。

这类测试有个明显的盲点:现实中的医生看病不是这样的。真实的诊断过程中,证据分散在不同时间点的检查记录、不同模态的影像、甚至病人自己都没意识到重要的细节里。医生要先决定"该查什么",再去解读查到的东西。

那么,在CASE这篇论文发表之前,医疗AI领域处于什么状态?已经有一些"交互式"的尝试,比如让AI模拟接诊对话、按步骤申请检查项目。但这些尝试大多局限在单次就诊的场景里,很少涉及**跨越数年、对比多次随访影像**的纵向推理。换句话说,之前的进展解决了"要不要让AI主动查"的问题,但没解决"AI能不能看懂十年里病情是怎么变化的"这个更难的问题。

研究团队把这个缺口叫作"纵向多模态推理",听起来抽象,其实很好理解。

想象你是个慢性病患者,过去三年做了两次核磁共振检查。医生要判断你的病情是在好转还是恶化,靠的不是单张片子,而是对比两张片子里同一个器官的体积变化、形态变化。这种对比本身就是诊断的核心证据,而现有的医疗问答数据集,几乎没有真正做到让模型"自己去比较两次检查"。

**这正是CASE这篇论文要补上的那块拼图。**

二、让AI自己去查病历:一个50401题的纵向病历库

研究团队搭建了一个基于英国生物样本库(UK Biobank,一个长期追踪数万名参与者健康数据的大型队列研究项目)的测试环境。

英国生物样本库

*:英国的一个大型人群健康研究资源,长期收集参与者的医疗记录、影像检查、基因信息等,供科学研究使用。

具体规模是这样的:4739名真实参与者,总共衍生出50401道临床选择题,这些题目全部来自真实的医生诊断记录和国际疾病分类编码(ICD-10)。

每一道题背后,都挂着一个专属于这个病人的"证据环境":包含心脏、大脑、胰腺、肝脏、全身在内的五个器官区域的核磁共振影像,覆盖基线和随访两次检查,中位间隔2.26年。AI要做的事情,不是读一段现成的病例描述,而是像医生一样,自己决定去看哪次检查、看哪个器官、调哪种影像序列、甚至要不要调用专门的测量工具来算器官体积变化。

这里有个细节值得多说一句。研究者故意把成像资源做得"稀缺且异质":不是每个病人都有全部五种器官的影像,大多数人只覆盖两到三组。这个设计很关键,因为它逼着AI必须根据病人实际有什么资料来调整查找策略,而不是套用一个固定的查询模板。

如果所有病人都有完整齐全的五套影像,会发生什么?

AI很可能学会一套"标准动作":不管什么病例,都按同一个顺序把五种影像看一遍。这样它学到的不是"怎么判断该查什么",而是"怎么把固定流程走完"。就像一个只会按菜单顺序点菜的服务员,遇到今天某个菜卖完了,他就不知道该怎么办了。资料的稀缺性和异质性,恰恰逼着模型学会真正的决策能力。

这个环境里还装了三样工具。一是直接看影像的工具,可以调取基线和随访的核磁共振片子做对比;二是基于Vista3D(一个医学影像分割AI)生成的器官体积测量和可视化叠加图;三是基于MedGemma(谷歌的医疗大模型)生成的放射科报告草稿。

Vista3D

*:一个用于三维医学影像分割的基础模型,能自动识别影像中不同器官的边界并计算体积。

MedGemma

*:谷歌推出的医疗专用大模型,可以根据影像生成类似放射科医生写的诊断报告草稿。

值得注意的是,这些报告草稿里的ICD编码被研究者刻意删除了,否则AI可能直接从报告里"抄答案",而不是真正做推理判断。

三、三个"角色",一个大脑:CASE的智能体设计

CASE设计了三个角色化的智能体:解剖学家、放射科医生、顾问医生。

但这里有个容易误会的地方,这三个角色不是三个分别训练的模型,也不是开会投票的委员会。它们是同一个共享的视觉语言模型,通过不同的角色提示词和不同的工具权限,表现出三种不同的工作方式。

智能体

*:这里指能够自主决定调用哪些工具、读取哪些信息,并基于这些信息进行推理和回答的AI系统,区别于只能被动接受输入的传统模型。

解剖学家负责挑选解剖目标,用Vista3D的测量结果评估病情的纵向变化,最多调用4次工具。放射科医生负责查看基线和随访的影像,进行逐帧对比,最多调用6次工具。顾问医生权限最大,整合所有信息源,还能调用MedGemma报告,并具备一个独特的"技能记忆库",最多调用12次工具。

技能记忆库

*:一种专属于顾问医生角色的辅助机制,能把以往病例中学到的经验教训(例如"报告里措辞含糊不代表确诊")存起来,供处理新病例时参考。

这三个角色不是随意分配的,它们形成了一个证据获取复杂度的递进关系。论文里给出的数据很有意思:解剖学家的中位工具调用次数是3次,放射科医生是5次,顾问医生是7次。90%的解剖学家轨迹在4次调用以内结束,而顾问医生90%的轨迹要用到9次调用。

这个梯度本身就很说明问题。

想象你去医院看病,挂的是初诊台的分诊护士,还是科室主任的会诊。分诊护士做的判断相对简单,确认几个基本指标就能分流,这就像解剖学家只需要测量几个关键的体积数据。而科室主任的会诊,要翻看多次检查记录、对比影像、查阅报告草稿,还要凭经验判断哪些结论值得怀疑,这正对应着顾问医生要调用最多工具、整合最多信息源的复杂角色设定。

每个角色的最终回答都要遵循一个共同的五段式结构:计划、多源证据回顾、跨访视对比、核心洞见、最终答案。这个结构不是随意规定的输出格式,而是贯穿整个研究的证据到结论的推理骨架。

四、训练分两步:先学会"动作",再学会"思考"

这是整篇论文最核心的方法设计,值得仔细说清楚。

研究团队没有直接把一个空白模型扔进这个复杂环境里从零摸索,那样效率太低。他们分两步走。

**第一步叫监督微调,目的是让模型快速学会"怎么像个智能体一样行动"。**

具体做法是,先用一个更强大的模型(Qwen3.8-Max)记录下它在这个环境里完整的"侦查过程",包括每一步调用什么工具、得到什么观察结果、最后怎么总结出答案,一共录了14万7千多条轨迹。

监督微调

*:用已有的高质量示范数据,让模型通过模仿学习掌握某种行为模式的训练方式,这里简称SFT。

然后用一个筛选规则,把其中至少调用过一次工具、而且推理逻辑能被外部AI评审认可的轨迹挑出来,大约14万条,拿去训练一个相对小巧的8B参数模型(Qwen3-VL-8B)。

这一步解决的是"形式"问题:模型要学会怎么发起工具调用、怎么把返回的观察结果接到下一步决策里、怎么按照五段式结构收尾。但研究者非常明确地指出,这一步只是模仿,真正的推理能力提升发生在第二步。

**第二步叫智能体强化学习,这才是让小模型真正超越老师的关键。**

在这一步,模型不再模仿录好的轨迹,而是在自己生成的交互过程中学习。它自己决定调用哪个工具、看哪张影像、什么时候停下来给答案,然后根据最终答案对不对、推理逻辑是否扎实,获得奖励信号来调整自己。

这里有个设计上的巧思,叫"重放式环境"。研究者提前把Vista3D的分割结果和MedGemma的报告准备好,存成缓存。训练过程中,AI每次请求某个病人某种工具的某个参数组合,系统直接从缓存里"回放"对应的结果,而不是每次都重新跑一遍耗费GPU资源的大模型推理。

重放式环境

*:训练时用提前准备好的缓存数据模拟真实工具调用的结果,省去重复运行大模型的计算开销,但不改变AI自主决定该查什么的过程。

这个设计省下来的不是小钱。如果每次工具调用都要实时运行Vista3D和MedGemma,训练一次强化学习所需的GPU时间会暴涨。打个比方,这就像考驾照时用模拟器练习倒车入库,而不是每次都开真车去真实停车场练,模拟器里的路况和真车一样精确,但不用每次都真的加油、磨损轮胎。如果没有这个重放设计,整个强化学习训练过程可能会因为计算成本过高而根本跑不起来。

五、模型会"卡壳":一个意外发现和它的解决方案

训练过程中出现了一个很有意思的问题。

研究者发现,到了训练中后期,模型会突然开始"犯病":它会不停地重复之前已经说过的发现,反复用"然而""因此"这类连接词,却迟迟不给出最终结论。这种现象伴随着正确率的突然下降。

研究者的解释很直接:一个参数量不算大的模型,很容易先学会"解释的样子",却还没真正学会怎么稳定地得出正确答案。当它对答案不确定的时候,最省力的做法就是继续绕圈子,而不是冒险下结论。

**这背后的根本矛盾是:模型学会了模仿论证的腔调,但还没学会真正完成论证。**

为了解决这个问题,研究者设计了一个叫"特权式在线自蒸馏"的机制,简称OPSD。

在线自蒸馏

*:让模型用两种不同的"视角"给同一段推理打分,一种是正常视角,另一种是额外看到了参考答案的"特权视角",用两者的差异来引导模型,而不是直接告诉它答案。

具体怎么做的?对于模型自己生成的每一段推理过程,系统会用同一个模型快照,分别计算两种概率分布:一种是正常情况下,模型认为接下来该说什么词;另一种是额外给它看了参考答案提示之后,模型认为接下来该说什么词。

论文里给了一个具体的案例,很能说明问题。一名病人的推理过程卡在了"这些发现不足以诊断糖尿病,这些发现不足以诊断糖尿病……"的循环里。在正常视角下,模型给"这些""发现""不"这类词打了很高的概率。但如果额外给它看了答案提示,模型会把概率转向"因此""鉴于""选择"这类推动结论的词。

两种视角的分歧越大,说明模型越是在原地打转。系统把这种分歧量化成一个惩罚值,从奖励里扣掉。这不是直接告诉模型"答案是什么",而是让它意识到"我现在这个重复的说法,如果已经知道答案的人来看,根本不会这么说"。

这个机制为什么重要?

想象你在写一篇作文,写到一半不知道怎么收尾,于是开始反复重写同一句话的不同措辞,拖延真正下笔写结论的时刻。如果有个编辑在旁边,看了你已经写的内容和你本该得出的结论之后告诉你"你现在这样写,跟你该写的方向完全不是一个调调",你就会意识到自己在拖延,进而调整方向。这个编辑没有直接把结论写给你,他只是让你看到"按已知结论来写,这段话该是什么样子",差距本身就成了提醒。

如果没有这个机制会怎样?论文的实验数据给出了答案:只用规则反馈不用这个机制的版本,在训练后期出现了明显的奖励崩溃,正确率曲线在训练的最后三分之一时间段里剧烈下滑。而加上这个机制之后,这种崩溃完全没有出现。

六、让AI学会"自我怀疑":规则化反馈的作用

除了OPSD,CASE还引入了另一层反馈机制,来自一个外部的、没有参与训练的大语言模型评审(Kimi K2.6)。

这个评审会对模型给出的"核心洞见"打分,评分维度包括证据的具体程度、逻辑推进是否顺畅、是否真正支撑了最终答案、论证是否完整。

这里有个很巧妙的设计叫"关联奖励"。单纯的正确率奖励和规则打分奖励,各自都有漏洞:正确率奖励无法区分"蒙对了答案"和"真正推理出答案";规则打分奖励又可能被模型钻空子,写出流畅好看但逻辑上根本不支持答案的"洞见",骗过那个外部评审。

关联奖励的做法是:在同一道题的8次尝试里,挑出评分最高的两次,只有当这两次的答案同时也是正确的,才给额外加分;如果评分很高但答案错了,反而要扣分。

**这个设计堵住的是"写得好看但说得不对"这条捷径。**

这就像考试时,一个学生答题过程写得条理清晰、字迹工整,但最后算出来的答案是错的,老师不会因为过程好看就多给分,反而要指出"你这个过程看起来很顺,但推出的结论是错的,说明中间某个环节有问题"。只有过程扎实、结论又对,才值得真正的高分。

七、结果如何:8B小模型打败了多个顶尖大模型

说了这么多设计细节,最终效果到底怎样?

论文给出的核心对比数据相当亮眼。CASE训练出的8B参数模型,在整体准确率上达到76.1%(微平均)和75.1%(宏平均),而对比的几个顶尖大模型表现是:GPT-5.4只有65.3%,Claude Opus 4.8是68.6%,就连用来生成训练轨迹的"老师"模型Qwen3.8-Max也只有59.7%。

**换算成相对提升的话,CASE相对GPT-5.4提高了超过16%,相对Claude Opus 4.8提高了超过10%。**

这个数字意味着什么?意味着在这套需要主动查病历、对比多次检查的纵向推理任务里,一个8B参数的小模型,靠着专门针对"怎么查证据"训练出来的能力,打赢了参数量大得多、知识面广得多的通用大模型。这不是知识储备的胜利,这是侦查策略的胜利。

更值得注意的是,CASE达到这个成绩所付出的交互成本并不高。论文的效率对比显示,CASE完成一次完整问答的平均工具调用次数是5.1次,失败率只有2.6%,而对照组里,原始的Qwen3-VL-8B-Instruct模型(没有经过CASE训练)失败率高达21.4%。这说明CASE的高准确率不是靠无休止地调用工具、堆砌推理长度换来的,而是真正学会了高效地找对证据。

研究者还做了一组对照实验,专门验证AI是不是真的依赖它自己查到的证据,而不是靠先验猜测蒙答案。他们试了只给问题不给病历、只给初始病历不给工具、给一个固定的证据包不让自主选择这几种受限情况,结果每一种受限情况下准确率都明显下降。这证明了一件重要的事:AI的高分不是因为"这道题本身就有规律可循",而是真的要靠自己去把该查的证据查出来。

八、消融实验:每个组件到底贡献了多少

论文做了详细的组件拆解实验,把监督微调、强化学习基础、规则化反馈、特权自蒸馏四个要素逐一叠加,看每一步带来多少提升。

从只做监督微调(65.7%微平均),到加上基础强化学习(69.3%),再加上规则化反馈(70.6%)或特权自蒸馏(73.8%),最后把两者都加上,达到完整版CASE的76.1%。

这个数据序列讲了一个清晰的故事:**基础的模仿学习只是起点,真正的能力跃升来自让模型在自己的交互中反复试错和修正。**

而两个反馈机制单独使用都有效,但叠加在一起效果最好,这说明它们解决的是两个不同的问题,规则反馈推动模型往"写得好"的方向走,自蒸馏机制防止模型在这个过程中陷入重复的死循环,两者互补而不是重叠。

写在后面

读这篇论文的过程中,最触动我的其实不是最终的准确率数字,而是那个"模型卡壳重复"的意外发现。

这个现象很容易让人联想到人类自己拖延症发作时的样子:明知道该下结论了,却总想再多说一句"但是""然而",仿佛多绕几圈就能让自己更有把握。研究者没有简单粗暴地去惩罚"话太多",而是去思考这种重复背后的认知机制,一个还没学会可靠下结论的系统,会倾向于用重复来逃避不确定性。这个洞察本身比技术方案更有意思。

还有一个细节值得单独说说。论文里提到,他们故意让每个病人的影像资料"不完整",有的人只有肝脏影像,有的人缺了全身扫描。这种刻意制造的稀缺性,其实是在逼迫AI学会"看菜吃饭"的能力,而不是套用一个固定的检查流程。这让我想到,很多AI系统的"智能"假象,其实来自于训练数据本身的规整性,一旦条件变得真实、残缺、不对称,很多看起来聪明的系统立刻会露出马脚。CASE选择直面这种不完美,而不是回避它,这个态度本身值得记一笔。

这篇论文也留下了一些没有彻底解决的问题。比如那个用来打分的外部评审AI,本身也可能带有偏见或盲点,研究者承认了这一点,但没有给出根本解法。还有一个更根本的问题:这套系统学会的"查证据"策略,是不是真的对应人类医生的临床直觉,还是说它学到的只是一套在这个特定测试环境里有效的统计规律?这个问题可能需要更长时间、更真实的临床场景才能回答。

如果一个AI系统学会了"该去查什么",它离真正理解"为什么要查这个"还有多远?

Q&A

Q1:CASE是什么?

A:CASE是由杜伦大学、阿里达摩院等机构提出的医疗AI研究框架,核心是训练一个8B参数的小型视觉语言模型,让它学会在真实病历和纵向核磁共振影像中主动查找证据,而不是依赖预先给定的信息来回答临床问题。

Q2:CASE的8B小模型为什么能打败GPT-5.4和Claude Opus 4.8这样的大模型?

A:因为CASE专门训练模型学习如何自主选择要查看哪些检查、对比哪些访视记录,这种针对证据获取策略的强化学习训练,让它在需要主动调查的纵向医疗推理任务上,比知识面更广但不擅长主动查证的通用大模型表现更好,相对提升分别达到16%和10%以上。

Q3:CASE用的医疗数据从哪里来?

A:数据基于英国生物样本库(UK Biobank),包含4739名真实参与者的医生诊断记录和ICD-10编码,衍生出50401道临床选择题,每道题都关联着对应病人的基线和随访两次核磁共振影像。

文章标签大模型

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。