幻觉:AI 为什么会一本正经地胡说八道

一句话结论:幻觉不是故障,是概率生成的必然产物

读之前建议先懂: LLM 是如何思考的?一切从"预测下一个词"开始

当前判断

  1. 它没有”我不知道”的开关,只有概率分布。
  2. 追问”你确定吗”不是核查手段,只会让它更流畅地坚持。
  3. 三层防线按可靠性排序:外挂检索 > 引用+抽查 > 交叉验证。

一句话结论

幻觉不是故障,是概率生成机制的必然产物:模型的目标是”说出最像答案的话”,而不是”说出真话”——当它不知道时,它依然会生成一个语言上完美、事实上错误的答案。

逻辑链

模型只学”什么话接什么话” → 训练数据里不存在”我不知道”的强信号 → 缺知识时,概率分布照样要求它输出 → 它按语言模式补全 → 补出来的话流畅、自信、但可能是编的 → 语言能力 ≠ 事实能力

展开

1. 为什么它不”承认不知道”

人类说”不知道”是知识状态的表达;模型没有知识状态的开关,只有概率分布。训练语料中,“被问到的几乎每个问题都有流畅的回答”,这种分布被学进去了。于是”编一个像的”在概率上是自然行为。

2. 幻觉高发的三个场景

下面这三个场景不是经验之谈——2023 年一篇被广泛引用的综述(Lei Huang et al., A Survey on Hallucination in Large Language Models, ACM TOIS)系统梳理了幻觉的分类与诱因,它们都在其覆盖范围内。

  1. 冷门事实(不常出现的人名/数字/引用)——训练中见得少,参数里没存牢
  2. 精确信息(论文标题、页码、价格、日期)——模型擅长语言模式,不擅长精确存储
  3. 追问细节——你说”确定吗?“,它为了维持连贯往往顺着编下去(所以追问”确定”不是核查手段)

3. 三层防线(按可靠性排序)

  1. 外挂检索(RAG):让它基于给定的资料作答,答非所料时能溯源(见 05-RAG)
  2. 要求引用 + 人工抽查:让它给出处,并真的点开验证——引用本身也可能是编的
  3. 交叉验证:重要事实用第二个独立来源(传统搜索引擎/官方文档)确认

本页自身的教训:本页初版曾把一篇真实论文的 arXiv 编号配上一个编造的作者名(“Vikrant et al.”)。编号是真的、格式是完美的、作者是假的——这正是第 2 条要防的东西。已于 2026-09-26 核验更正,正确的作者见下方出处表。凡引用必查证,不凭记忆写作者名。

决策规则

条件(IF)动作(THEN)
内容含数字/日期/人名/论文/价格一律走第二条独立来源,不直接发布
需要它只基于你的资料作答在提示词里写死”只依据下列资料,资料里没有就说没有”
它给了一条引用点开验证——引用格式完美 ≠ 引用真实(本页已中过招,见上)
涉及法律/医疗/财务决策把 AI 当起草者,不当权威,最终必须人工签字

常见误区

现在就能做的事

相关页面

出处与置信度

引用点出处类型核验
幻觉的定义、分类与成因综述Lei Huang, Weijiang Yu, Weitao Ma, et al. A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions. ACM TOIS(arXiv 预印本 2023). arXiv:2311.05232 · DOI:10.1145/3703155[论文]✅ 已核验 2026-09-26
幻觉源于概率生成、模型无”知识状态”开关由 01-llm是如何思考的 预测机制推导[推导]✅ 机制稳定
“引用格式完美的假文献是重灾区”本页自身实证——初版曾写出编造作者名,已更正[推导](本站实证)✅ 2026-09-26

延伸阅读:各厂商官方”使用政策 / 幻觉说明”文档(发布前建议实地访问补链接)。

本页是全站防幻觉的方法论页:10-AI工具选型五步法 第 3 步”可信度机制”直接引用本页;05-RAG 是本页第 1 层防线的工程实现。