为什么模型会胡说¶
AI 并不是一个“像人思考”的大脑，本质上是一个“超大规模的概率预测系统”，这也就是我们常常说到的“AI幻觉”
什么是 AI 幻觉¶
AI 幻觉是指 ———— AI 生成了“形式上像真的、逻辑上似乎通顺，但实际上错误、虚构、失真或不存在”的内容。这不仅仅是“回答错误”，更是模型在没有真实依据的情况下，依然生成了高度可信的内容。
AI 幻觉本身具有特殊性，因为当普通程序发生bug时： - 崩溃 - 报错 - 返回空值
而大语言模型： - 继续尝试生成看似逻辑正常的链条
AI 幻觉的本质是什么¶
本质上，AI 并不知道什么是“事实”。
现代大模型（LLM）的本质是“超大规模的概率语言生成器”，比如用户输入：
现在的天气如何？
AI 并不能直接观测你当前位置的天气，而是先通过你的定位，再将自身的训练集，与网上的公开信息查询整理，最后拟合出“最像真实答案的文本”，而不是“经过验证的事实”，也就是我们人类的直接观测，这是根本区别。
需要强调的一点是，“AI 幻觉”与人类的“撒谎”不同，因为 AI 的幻觉更像是在进行“错误补全”，而绝非“蓄意造假”，这可能是对话过长，或者数据投毒，又或者是模型本身的缺陷所致。
但为什么 AI 幻觉往往又“特别像真的”？正式因为模型学习的是“人类语言的统计结构”，所以 AI 在对特定文案进行拟合时，能够完整的虚构出一份时间，地点，人物，格式等和真实事件形式上特别相似的回答，AI 的结构注定了它可以掌握真正的专业内容通常长什么样，从而出现形式上与真实的新闻，学术论文，代码等高度相似的内容。
由此可见，AI 幻觉往往发生在长回答，与用户有意识或无意识的引导的对话中，而 AI 本身的训练过程又决定了继续输出通常比停止奖励更高，若模型总是回答“不知道”，从训练效果与用户体验上都会较差，也因此导致的 AI 的回答出现了“宁可编，也不断”的结果。
AI 幻觉最常见的几种类型¶
- 事实幻觉：编造历史事件，人物经历等
- 引用幻觉：凭空捏造论文，期刊等，且格式真实
- 代码幻觉：编造API，参数，函数等
- 推理幻觉：数学证明中步骤流畅，但逻辑发生错误，中间偷换概念等
- 记忆幻觉：虚构上下文，假装记住了使用者说过的话