你有没有想过，当你去看医生，顺口跟护士聊了句"我邻居上周刚做了个心脏支架手术"，这句话会发生什么？
正常情况下，什么都不会发生。医生听完一笑，接着问你哪里不舒服。但如果给你看病的不是医生,而是一个正在悄悄把你们对话转成病历的AI呢？
2026年初，一组来自纽约大学朗格尼健康中心的研究者做了一件挺吓人的实验。他们把576段真实的医患对话,悄悄塞进去一句无关的闲聊,然后让市面上最强的几个大语言模型来写病历。结果呢?
**这些AI模型里,表现最差的那个,把这句闲聊写进了67.6%的病历里**。
更要命的是，有些模型不仅记下来了，还把这句闲聊当真,给病人安排了额外的筛查和检查建议。
这篇论文的名字叫《大语言模型在临床文档和推理中容易受到无关信息干扰》,听起来有点学术,但说的事情特别具体:AI听写病历这件事,比大家想象中更容易出岔子。
问题到底有多严重:从"写错"到"用错"
先说说背景。现在美国已经有29%的医生在用语音AI工具记录病历，这个数字来自Doximity在2025年底到2026年初做的一个调查。你可以理解成,医生看病的时候戴个耳机,AI在后台把你们的对话实时转成文字,再整理成规范的病历格式。这玩意儿省时间,医生不用自己打字,听起来是个好东西。
但研究者们盯上了一个大家没太关心的角落:临床对话里,除了病情本身,还夹杂着大量**无关信息**。
> 无关信息*：指对话中出现的,跟病人本次就诊的医疗问题毫无关系的内容,比如病人提到朋友做了个手术,或者随口说了句带医学词汇的玩笑话。
你去看病不会只谈病情,医生也不是机器人。"周末过得怎么样""最近天气真冷"这类闲聊很正常,甚至能帮助建立信任。问题是,如果这些闲聊里刚好带了医学词汇,比如"我表哥做了个阑尾手术",AI会不会把这句话误认为是你自己的病史?
研究者设计了两套测试体系,分别叫MedDistractNotes和MedDistractAudio。
> MedDistractNotes*：一套用来测试文字对话中插入闲聊后,AI生成的病历会不会被污染的评测体系。
> MedDistractAudio*：一套用来测试录音转文字过程中,背景杂音(比如隔壁诊室的声音)会不会混入病历的评测体系。
这两套体系加起来,构成了这篇论文的核心实验设计。接下来我们一步步看,AI到底是怎么被这些"无关信息"绕进去的。
实验一:往对话里塞一句闲聊,看AI会不会"抄错"
研究团队从两个公开的医患对话数据集里挑了576段真实场景,一个叫ACI-Bench(77段完整问诊),另一个叫MTS-Dialog(500段较短的片段)。
他们往这些对话里插入了两类"诱饵"句子。第一类叫**旁观者型**,内容是别人(不是病人自己)的某个病情或手术,比如"我同事上周做了心脏支架手术"。第二类叫**非字面型**,是把医学词汇用在了完全不相关的语境里,比如一家叫"谵妄"(delirium,一个精神科术语)的咖啡馆,或者一条叫"白内障"(cataract)的赛艇名字。
这里有个关键设计:每段对话都有一个"干净版"和一个"被插入版",两者除了这一句话,其他内容完全一样。这样一来,如果生成的病历出现了差异,那差异一定来自这句插入的话,不是别的原因造成的误差。
> 配对设计*：指同一段对话准备两个版本,一个加了干扰信息,一个没加,其余内容完全相同,用来做严格的对比实验。
这个配对设计很重要,打个比方。假设你想测试一种新肥料对植物生长有没有用，你肯定不会一盆用新肥料、阳光充足，另一盆不用肥料、放阴影里，那样根本看不出是肥料的功劳还是光照的功劳。你得保证两盆植物除了肥料这一个变量，其他条件完全一样。这篇论文的配对设计就是这个意思，如果不这样做，病历质量的变化到底是因为那句闲聊,还是因为模型本身生成的随机性,根本说不清楚。
研究者测试了8个模型,分成两组。一组是"前沿模型"，包括GPT-5.4、GPT-5.6 Sol、Claude Opus 5和Claude Fable 5.1，这些是目前最顶尖的商业大模型。另一组是"开源模型"，包括Llama-3.1-8B、Qwen2.5-7B、Mistral-7B和Gemma-2-9B,这些是公开可下载、规模较小的模型。
结果出来了。
**前沿模型组里,35%的病历把这句无关的闲聊写了进去,而开源模型组这个比例高达50.1%。**
分开看更有意思。前沿模型里,GPT-5.4表现最好,只有8.9%的病历被污染;而Claude Opus 5最差,高达67.6%。这中间差了近8倍。
为什么同样是顶尖模型,差距能有这么大?论文没有给出明确答案,但从结果上能看出,这不是模型能力强弱的问题,而是模型在"该不该把这句话写进病历"这件事上的判断逻辑差异巨大。
还有一个发现挺反直觉的:对话越短,污染率越高。在MTS-Dialog这种较短的对话片段里,插入的那句闲聊能占到整段文字的43%,前沿模型的污染率是40%;而在ACI-Bench这种完整问诊记录里,插入内容只占4%,污染率骤降到2.6%。
这个规律其实好理解,打个比方。如果你在一篇10万字的小说里插入一句无关的话,读者大概率会把它当成背景噪音直接跳过;但如果你在一条140字的微博里插入同样一句话，它占据的注意力比重完全不一样,读者几乎不可能忽略它。AI处理文本的逻辑类似，当无关信息占的"篇幅比例"越大，它被误当成重点的概率就越高。
实验二:AI不只是记错,还把闲聊当真用上了
记错是一回事，拿去做诊断又是另一回事。研究者进一步分析，发现了三种后果。
第一种，AI把这句话原样记下来了，但没拿去做任何判断，只是单纯地"写在那儿"。这种情况危害较小，顶多算记录冗余。
第二种，更麻烦，AI把这句话的内容**错误地归到了病人自己身上**。举个论文里的真实例子，一位医生随口说"我表哥摔自行车摔出轻微脑震荡,得休息一周别看屏幕",结果GPT-5.4生成的病历里，主诉变成了"轻微脑震荡,因骑自行车摔倒"，诊断也写成了同样的内容，还建议病人"继续避免看屏幕一周"。这完全是张冠李戴,把别人的病史安到了病人自己头上。
第三种最吓人,AI**正确识别出这是别人的事,但依然拿来做了临床判断**。比如一位病人提到朋友做了基底细胞癌手术,Claude Opus 5生成的病历里写道:"病人提及朋友的基底细胞癌可能反映了病人对自身皮肤癌风险的隐性担忧",并建议"探讨病人是否有皮肤方面的担忧,考虑进行皮肤检查或转诊皮肤科"。
你能感觉到这个逻辑有多荒谬吗?病人根本没说自己担心皮肤癌,AI却自己脑补出了一个"隐性担忧",然后基于这个凭空捏造的担忧给出了医疗建议。这种错误特别危险,因为它看起来**特别专业、特别周到**,实际上整个推理链条都建立在一个不存在的前提上。
还有个案例更离谱。病人提到"我老婆说我们玩游戏时我老是因为计时器而'恐慌'(panic)",这完全是开玩笑的说法,结果Claude Opus 5的病历里写道:"病人自述对游戏计时器的'恐慌',虽是玩笑性质提及,但焦虑症状尚未评估",并建议"如临床需要,可筛查焦虑症状"。一句玩笑话,硬是被包装成了精神健康的潜在信号。
统计数据显示，前沿模型组里，2%的病历出现了张冠李戴式的误归属，1.7%的病历则是正确识别了来源但依然拿来做了临床判断。听起来比例不高,但别忘了,这是在576段对话、8个模型、两种干扰类型的大规模测试中得出的结果，而且这些模型是目前医疗领域正在被实际考虑部署的顶尖产品。
开源模型组的问题模式完全不同。它们的主要问题不是"过度联想",而是**直接张冠李戴**,误归属率高达25.7%，是前沿模型组的十倍以上。最差的Mistral-7B误归属率达到33.1%。换句话说,开源模型更倾向于粗暴地把别人的信息当成病人自己的,而前沿模型更倾向于"精致地"把无关信息编织进一套看似合理的临床推理里。
哪种更危险？这个问题值得琢磨。前沿模型的错误更隐蔽，因为它包装得像真的，审核的医生更难察觉。
一般的"质量打分"根本抓不住这个问题
这是整篇论文里我觉得最值得警惕的一个发现。
研究者用另一个AI（GPT-5.4）给生成的病历打分，从临床正确性、完整性、简洁性和总体质量四个维度，用五分制评分。结果让人意外。
**尽管35%的前沿模型病历被污染了，但这些病历的质量评分几乎没有变化，五个维度里最大的变化也只有0.20分。**
临床正确性只下降了0.02分，完整性下降0.05分，简洁性和总体质量反而还略微上升了（分别+0.20和+0.08）。
这说明什么？说明目前常用的病历质量评估体系，根本检测不出这种"信息来源错误"的问题。一份病历可以写得完整、流畅、逻辑清晰，同时里面包含着一句被错误安在病人头上的别人的病史，而评分系统压根看不出异常。
> 幻觉检测*：指检查AI生成内容中是否包含原始材料里不存在的陈述，这是目前最常用的AI可靠性检测手段之一。
论文还测试了标准的幻觉检测方法，发现这类检测在70%的干净病历里都会触发警报（因为AI写病历总会适当发挥），而面对真正被污染的病历时，检测结果变化却不到0.07。换句话说，幻觉检测这把尺子，根本量不出这个问题，因为问题不在于AI凭空编造了什么，而在于AI把一句**真实存在**的话安错了位置。
这里有个值得多想一层的地方。我们一直在用"幻觉率""质量分"这些指标去衡量AI医疗工具靠不靠谱，这篇论文告诉我们，这些指标可能存在一个盲区：**它们能发现AI编造了什么，但发现不了AI把真实信息用错了地方**。这是两种完全不同性质的错误，前者是无中生有，后者是张冠李戴，而现有的评估体系基本只盯着前者。
实验三:连录音里的背景噪音都能污染病历
如果说文字对话里的闲聊还算"情理之中"（毕竟真人之间就这么聊天），那第二套实验就更让人意外了：**背景噪音**也能让AI写错病历。
研究者用了一个叫PriMock57的公开语料库，里面有57段模拟的初级医疗问诊录音。他们把另一段问诊的5到15秒录音片段，以不同音量混进当前这段问诊的录音里，模拟隔壁诊室或走廊里传来的说话声。
然后用Whisper（OpenAI开发的语音识别模型）把混音后的录音转成文字，再让四个开源模型据此生成病历。
> Whisper*：一款由OpenAI开发的开源语音识别模型，能把录音转换成文字稿，是目前应用非常广泛的语音转文字工具。
结果在预设的-10分贝背景音量下（这个音量大致相当于隔壁房间说话声能隐约传过来），**48.2%的转录文稿里混入了背景对话的内容词**，平均有14.5%的背景段落词汇渗透进了转录文本。
更关键的是，这种渗透不是停在转录阶段就结束了。在下游生成的病历里，5.3%出现了背景内容的污染，相比干净录音对照组的1.3%，差了3.9个百分点。而当背景音量提高到-5分贝时，这个差距进一步扩大到8.6个百分点。
这个结果其实提示了一个很现实的风险场景。想象一下，一个诊室隔音不太好的医院，医生正在用AI听写病历，隔壁诊室的病人声音隐约传过来。正常情况下，人耳能自动过滤掉这种干扰，专注在自己面前的病人身上。但AI做不到这种"选择性注意"，它只是机械地把能识别出的所有声音都往文字转化，然后不管来源地统统塞进病历生成的输入里。如果不做任何防护，这意味着**隔壁病人的隐私信息，有可能悄悄混进你的病历里**，这不仅是误诊风险，还牵扯到医疗信息隐私的问题。
为什么会这样:AI的"分心"和"推理"可能用的是同一套零件
读到这里，你可能会想，那干脆让AI学会"过滤无关信息"不就行了？研究团队确实往这个方向试过，但发现事情没那么简单。
他们提出了一个叫"双重编码假说"的机制性解释，并用医学考试题目做了一系列更深入的探测实验。
> 双重编码假说*：这篇论文提出的一个理论，认为模型里负责处理无关信息干扰的那部分组件，可能和负责正常临床推理的组件是同一批，而不是两套独立的系统。
具体怎么验证的？研究者用了一个叫MedDistractQA的医学选择题数据集，每道题都有干净版和被插入干扰句的版本。他们开发了一种叫**对比因果头门控**(CCHG)的技术，用来在模型内部定位出哪些"注意力头"（可以理解成模型内部负责"关注"输入中某些部分的小模块）对干扰信息特别敏感。
> 注意力头*：大语言模型内部的一种基础组件，负责决定模型在处理某个词时，应该重点"看"输入里的哪些其他部分。一个模型通常有成百上千个这样的小模块。
找到这些"敏感头"之后，研究者做了两个对照实验。第一个实验，把这些头在"干净输入"下的激活状态，强行"移植"到"被干扰输入"的处理过程里，结果在八种模型加干扰类型的组合里,七种的准确率提升了6.3到16.5个百分点。这说明,只要把这些关键模块的状态恢复成"没被干扰时的样子",模型的推理表现就能明显改善。
第二个实验更关键:如果反过来,把这些头**压制住**(哪怕是在完全干净、没有任何干扰的题目上),模型的准确率反而暴跌了24.4到37.8个百分点。
这个结果说明一件很重要的事:**这些对干扰信息敏感的模块,同时也是支撑正常临床推理能力的核心模块**。你没法简单粗暴地把它们关掉来防止分心，因为关掉之后，模型连正常思考的能力也丢了一大半。
这里有个类比能帮助理解这个两难处境。想象一个保安,他的工作是辨认进出小区的人,既要认出常住居民放行,也要留意陌生人加以询问。如果你为了防止保安被"假扮熟人"的骗子忽悠进去,干脆剥夺他观察、辨认陌生面孔的能力,那他确实不会再被骗子忽悠了,但他同样也认不出任何一个真正的居民了,整个小区的正常出入都会乱掉。注意力头的问题也是类似的,它们负责"留意"输入里有没有特别的信息,这种能力既能让它们被闲聊牵着跑偏,也是它们理解复杂病情、做出合理推断的基础。切掉这个能力,代价是连基本推理都做不好了。
论文还测试了另外两种更简单直接的"防呆"办法。一种是直接在提示词里加一句"请忽略无关信息",另一种是加一段思维链式的推理引导。结果呢？**这两种办法都没能稳定地提升准确率**。换句话说,靠简单的提示词调教,没法真正解决这个问题，因为问题根植在模型内部结构里,不是靠一句话嘱咐就能绕过去的。
这篇论文留下的几个问题
这项研究有几个局限性，论文作者自己也坦率地写了出来。
实验用的干扰句都是人工精心设计插入的,现实中的闲聊远比这复杂得多，可能夹杂方言、口音、打断、重复，这些论文都没覆盖到。而且研究团队发现,干扰内容在短对话里污染率特别高，这意味着他们测出来的整体污染率，可能比真实世界里完整问诊场景下的实际情况要高一些。
另外，所有的"污染"和"归属错误"判断，都是由另一个AI模型来打分的，没有真正的医生参与验证。这意味着这些数字本身，可能也带有AI判断的某种偏差，需要后续有真正的临床专家介入复核。
最后，整个研究测的是AI**生成**错误的概率,而不是这些错误最终**造成的实际伤害**。换句话说,一份病历里混进了错误信息，不代表这份病历一定会被原样签字确认、进入正式病历系统、影响后续治疗。医生在审核病历时能不能发现这些问题？这是一个还没有答案的问题，需要更贴近真实临床场景的后续研究。
Q&A
Q1：MedDistractNotes和MedDistractAudio具体测试了什么？
A：MedDistractNotes测试文字对话中插入无关闲聊后，AI生成病历是否会被污染或误用；MedDistractAudio测试录音转文字过程中，背景噪音是否会混入转录文稿和下游生成的病历中。两者分别对应文字和语音两条污染路径。
Q2：为什么病历质量评分系统没能发现这些错误？
A：因为常见的质量评分只衡量病历是否完整、流畅、逻辑合理，而不检查信息来源是否正确。即使AI把别人的病史错误安在病人身上，病历读起来依然很专业，评分系统因此几乎检测不出变化，前沿模型的评分最多只变化0.20分。
Q3：开源模型和前沿模型谁出错更多？
A：开源模型整体污染率更高（50.1%对35%），且主要错误是直接把别人的病史张冠李戴到病人身上（误归属率25.7%）。前沿模型污染率更低，但错误更隐蔽，比如Claude Opus 5会把闲聊包装成"隐性担忧"写进临床建议，误归属率2.0%但危害性更隐蔽。
