请 AI 查资料，它能很快给出一段条理清楚的回答，还附上三条参考文献，作者、标题、期刊，样样齐全。你觉得挺靠谱，直接用了。等到有人提醒，再去检索才发现：三条依据，一条都找不到。
许多人使用 AI 时，都遇到过类似情况：它编出一篇不存在的论文，给出一个没有出处的精确数字，或把一句名言安到错误的人物身上。
更让人困惑的是，明明答错了，它为什么还能说得那么有把握？
近日，科大讯飞安全产品总监包千千，在2026科普中国说“安而不忘危，AI时代的智慧与安全”专场活动为大家带来演讲《AI 为什么会“一本正经地胡说”？》
无法避免的“AI幻觉”
我们先来看几个 AI “一本正经地胡说”的典型场景：
第一种，编参考文献。作者、标题、期刊、页码，甚至论文编号都齐了，看着像是图书馆里就能查到。可格式齐全，不代表这篇文章真的存在。
第二种，编数据。请 AI 总结一场社区读书活动，它能写出“87% 的老人每月读一本书”。数字精确到这个份上，很像做过调查。
第三种，张冠李戴，最典型的就是把名人 A 的名言，胡乱安到完全不相干的人物身上。
这些回答有一个共同点：看起来像事实，实际上却缺少可靠依据。这种现象，就是“ AI 幻觉”。
遇到这种情况，大家可能会想：是不是这个 AI 不好用？换一个就好了？不同模型的表现确实有差别，但目前常见的大语言模型，都可能出现幻觉。它并不只是某一家产品的小毛病。
图片来源于包千千PPT
举这个例子，不是说人的视错觉和“ AI 幻觉”原理一样，而是想说明一件事：一个系统即使能力再强，也可能因为自身的工作方式，在某些地方稳定地犯错。
AI为什么能把一个错误答案，
也说得这么像真的？
想要更深入的理解“ AI 幻觉”，要从大语言模型生成文字的方式说起。
但这里有一个很重要的区别：生成答案，不等于查证答案。
它往下“接话”的时候，并不代表每说一句话，都会先到可靠的资料里查证一遍。当它遇到知识不够或者问题含糊的情况，它仍然可能接出一段很顺的话。但“像答案”，不等于“是答案”。
它天生就缺三样东西：没有一本随时能查的事实记忆库，没有分辨真假的能力，做的事情说到底就是把学到的语言规律拼在一起。它不知道对错，更在乎“像不像人话”。
图片来源于包千千PPT
到这里，我们大概解释了 AI 为什么可能“胡说”。但还有一个问题：为什么它不仅能把话说得很顺，还越来越会说我们爱听的话？
除了学会生成文字，很多大模型还要接受进一步训练，让它们给出的答案更让人类满意。其中一种常见方法，叫“基于人类反馈的强化学习”。同一个问题，模型给出几个回答，由人来比较哪个更好。研究人员再用这些评价训练一个评分模型，指导大模型调整回答。
好比一个新人练习讲解，听众觉得哪种讲法清楚、有帮助，他就逐渐往那个方向改。
这些评价里，当然也包括“说得对不对”。但做评价的人不可能什么都懂。如果一个回答条理清楚、语气肯定，里面藏着的错误没被发现，也可能得到好评价。
所以，前面的训练让它学会怎样生成文字，这一步让它更会说人想听的话。但我们要记住：让人满意，仍然不等于经过了事实核验。
有五类内容，AI 尤其容易胡说：
冷门知识，可靠材料可能少，最容易靠“编”；参考文献和书单，格式容易模仿，出处却需要逐条查；数字、日期、人名和事件细节，也很容易出错；最后是创作与脑洞类，编故事是 AI 的强项，千万但别当事实用。
怎样让 AI 少“胡说”？
讲到这里，大家也许会想：既然 AI 有这些局限，我们该怎么办呢？
这里面对的主要是两类人：开发 AI 产品的人，和使用 AI 的普通人。方向是一样的——不是追求“彻底消灭幻觉”，而是把出错的概率压到尽可能低。
在讲具体办法之前，我们先把一个问题讲透，后面的方法就好理解了。
当我们认真准备一场讲座，通常会先查材料、核对关键事实，再组织语言。但大模型直接作答时，却未必有这个查证环节，它可能凭训练中学到的内容就往下写了。
为什么？因为人类和 AI 表达的顺序根本不同。人类是先有事实，再组织语言。事实在前，语言在后。大模型是先说出通顺句子，事实是顺着文风带出的“副 AI 应用”，甚至没有。通顺在前，真实在后。
图片来源于包千千PPT
两个完全相反的路径，注定幻觉会一直在。不是学好就不会错，而是续写的天性里就带着错。所以改进 AI 产品，一个重要方向就是给它补上可靠资料和核验环节。
具体可以分成三个环节：回答之前，先找资料，让它有依据可用；回答的时候，明确要求，不清楚的地方别硬猜；回答之后，再把关键内容核对一遍。
这和我们做一份认真负责的报告很像。先收集材料，写的时候有分寸，交出去之前再检查。每一步都能减少风险，但任何一步都不能包办全部。
先看第一个环节。比如问：“ 2024 年诺贝尔物理学奖得主是谁？”
如果直接让 AI 回答，它可能答对，也可能受知识范围影响而出错。更稳妥的流程，是先查诺贝尔奖官方网站，再根据官方资料回答：约翰·霍普菲尔德和杰弗里·辛顿。
这里真正起作用的，是先有可靠材料，再让 AI 帮助整理表达。当然，资料本身也要选对，不能随便搜到一段话就当依据。
尤其要注意，回答里加了一句“根据某机构数据”，并不能证明它真的查过。礼貌、谨慎的口吻，也不会自动让数字变准确。我们需要的是有依据的回答。没有足够依据时，留一个空白，比填上一个看似精确的数字更有用。
第三个环节，也是我们自己能抓住的一道关：输出之后再检查一遍。比如让 AI 写经济增长预测，它把材料里的 5.2% 写成了 5.5% 。虽然只差一个数字，意思已经变了。核验时还要看清，这是哪一年、哪个机构的预测，还是已经公布的实际结果。
图片来源于包千千PPT
网上常有人分享一句“万能提示词”，说加上它，AI 就不再胡说了。像“不知道就说不知道”“不确定的地方请标明”，有效果吗？有，这些提示词能让模型更谨慎，减少部分胡说。但它改变的是“输出姿态”，不是“判断真伪的能力”。提示词可以帮忙降低风险。遇到重要信息，该查的原文、该核对的数字，还是要查。
AI 可以辅助表达、加速创作，但我们不能把判断权交出去。一旦交出去，我们就成了一个只会转发答案的人。知道什么时候需要查证、什么时候需要请教专业人士，这才是把工具用明白了。
策划制作
演讲人丨包千千 科大讯飞安全产品总监
责编丨杨雅萍
