幻觉:AI 为什么会一本正经地胡说八道
一句话结论:幻觉不是故障,是概率生成的必然产物
读之前建议先懂: LLM 是如何思考的?一切从"预测下一个词"开始
当前判断
- 它没有”我不知道”的开关,只有概率分布。
- 追问”你确定吗”不是核查手段,只会让它更流畅地坚持。
- 三层防线按可靠性排序:外挂检索 > 引用+抽查 > 交叉验证。
一句话结论
幻觉不是故障,是概率生成机制的必然产物:模型的目标是”说出最像答案的话”,而不是”说出真话”——当它不知道时,它依然会生成一个语言上完美、事实上错误的答案。
逻辑链
模型只学”什么话接什么话” → 训练数据里不存在”我不知道”的强信号 → 缺知识时,概率分布照样要求它输出 → 它按语言模式补全 → 补出来的话流畅、自信、但可能是编的 → 语言能力 ≠ 事实能力
展开
1. 为什么它不”承认不知道”
人类说”不知道”是知识状态的表达;模型没有知识状态的开关,只有概率分布。训练语料中,“被问到的几乎每个问题都有流畅的回答”,这种分布被学进去了。于是”编一个像的”在概率上是自然行为。
2. 幻觉高发的三个场景
下面这三个场景不是经验之谈——2023 年一篇被广泛引用的综述(Lei Huang et al., A Survey on Hallucination in Large Language Models, ACM TOIS)系统梳理了幻觉的分类与诱因,它们都在其覆盖范围内。
- 冷门事实(不常出现的人名/数字/引用)——训练中见得少,参数里没存牢
- 精确信息(论文标题、页码、价格、日期)——模型擅长语言模式,不擅长精确存储
- 追问细节——你说”确定吗?“,它为了维持连贯往往顺着编下去(所以追问”确定”不是核查手段)
3. 三层防线(按可靠性排序)
- 外挂检索(RAG):让它基于给定的资料作答,答非所料时能溯源(见 05-RAG)
- 要求引用 + 人工抽查:让它给出处,并真的点开验证——引用本身也可能是编的
- 交叉验证:重要事实用第二个独立来源(传统搜索引擎/官方文档)确认
本页自身的教训:本页初版曾把一篇真实论文的 arXiv 编号配上一个编造的作者名(“Vikrant et al.”)。编号是真的、格式是完美的、作者是假的——这正是第 2 条要防的东西。已于 2026-09-26 核验更正,正确的作者见下方出处表。凡引用必查证,不凭记忆写作者名。
决策规则
| 条件(IF) | 动作(THEN) |
|---|---|
| 内容含数字/日期/人名/论文/价格 | 一律走第二条独立来源,不直接发布 |
| 需要它只基于你的资料作答 | 在提示词里写死”只依据下列资料,资料里没有就说没有” |
| 它给了一条引用 | 点开验证——引用格式完美 ≠ 引用真实(本页已中过招,见上) |
| 涉及法律/医疗/财务决策 | 把 AI 当起草者,不当权威,最终必须人工签字 |
常见误区
- ❌ “模型越新幻觉越少,可以放心信” —— 减少 ≠ 消除;越是它”自信”的领域越危险,因为你也会放松警惕
- ❌ “AI 引用了文献,那就是真的” —— 引用格式完美的假文献是幻觉重灾区
- ❌ “问它’你确定吗’就能鉴别” —— 它不确定的感觉不存在,只会更流畅地坚持
现在就能做的事
- 建立个人规则:事实性内容不直接发布,数字/引用/日期必走第二条来源
- 涉及专业决策(法律/医疗/财务)把 AI 当”起草者”而不是”权威”
- 让 AI”只依据我粘贴的资料回答,资料里没有就说没有”——这是最廉价的防幻觉开关
相关页面
- 01-llm是如何思考的 — 幻觉的机制根源
- 05-RAG — 工程上的主解法
- 10-AI工具选型五步法 — 第 3 步”可信度”即幻觉控制能力
出处与置信度
| 引用点 | 出处 | 类型 | 核验 |
|---|---|---|---|
| 幻觉的定义、分类与成因综述 | Lei Huang, Weijiang Yu, Weitao Ma, et al. A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions. ACM TOIS(arXiv 预印本 2023). arXiv:2311.05232 · DOI:10.1145/3703155 | [论文] | ✅ 已核验 2026-09-26 |
| 幻觉源于概率生成、模型无”知识状态”开关 | 由 01-llm是如何思考的 预测机制推导 | [推导] | ✅ 机制稳定 |
| “引用格式完美的假文献是重灾区” | 本页自身实证——初版曾写出编造作者名,已更正 | [推导](本站实证) | ✅ 2026-09-26 |
延伸阅读:各厂商官方”使用政策 / 幻觉说明”文档(发布前建议实地访问补链接)。
本页是全站防幻觉的方法论页:10-AI工具选型五步法 第 3 步”可信度机制”直接引用本页;05-RAG 是本页第 1 层防线的工程实现。