从推荐40万韩元咖啡和石头到法律纠纷，深入了解“智能骗子”AI的方方面面。
- AI幻觉的根本原因
- AI幻觉对现实世界的严重风险
- 减少AI幻觉的最新技术趋势（RAG、STaR、领域专业化）
什么是AI幻觉？40万韩元咖啡和石头推荐事件
有一天下午，您在谷歌上查询星巴克新咖啡信息时，AI回答说：“新品价格是410美元（约合50万韩元），并享受60天退款政策”，您会怎么想？这个荒谬的回答是AI将咖啡的热量和价格混淆而发生的真实事件。甚至谷歌AI曾经发出过“为了健康，每天吃一小块石头”的危险建议。这些信息的来源是讽刺网站 The Onion。
像这样，人工智能将不实信息或无意义信息一本正经地制造出来的现象，被称为AI幻觉（Hallucination）。意思是AI就像看到幻觉一样，自信地给出脱离现实的说法。起初可以一笑置之，但当出现“在披萨里放胶水”这样的建议，或者在法庭上引用虚假判例时，问题就变得严重了。
AI幻觉仅仅是技术成长的阵痛，还是会造成严重危险的根本缺陷？本文将深入探讨AI幻觉的本质、真实案例，以及驯服这个“智能骗子”的最新技术。
AI幻觉为什么会发生？
AI之所以会犯离谱的错误，在于它的工作方式。生成式AI就像一个死记硬背了世界上所有书本，却从未体验过图书馆之外的现实世界的聪明学生。AI通过计算词语之间的统计关系，即哪个词后面接哪个词的概率更高，来生成句子。它可以在一秒钟内写出莎士比亚风格的句子，但却无法真正“理解”其含义。
这就是幻觉的根本原因。AI不是逻辑推理事实与虚假，而是更像一个基于给定数据预测最可能词语组合的**“概率鹦鹉（stochastic parrot）”**。因此，即使是带有虚假前提的问题，如“金门大桥是什么时候被搬到埃及的？”，它也能编造出看似合理的虚假答案。
一位开发者的实验清楚地说明了这一点。他故意给AI看了一份包含7个简单算式的错误列表。人类会立刻指出错误，但AI却未能识别出错误，反而生成了关于数字历史和“1+1”哲学意义的长篇大论。对AI来说，这些算式并非计算对象，而是用来编造故事的“文本模式”。AI幻觉并非简单的失误，而是源于AI无法理解意义、只模仿模式的根本局限。
AI幻觉的实际危险：介于笑与恐之间
当AI幻觉介入现实时，情况就从单纯的趣事变成了严重的威胁。谷歌AI曾堂而皇之地提供了“在披萨酱里加入无毒胶水以防酱汁流淌”或用汽油烹饪意大利面的危险信息。这些信息在作为网络迷因消费的同时，AI幻觉甚至引发了实际的法律纠纷。
核心案例：加拿大航空聊天机器人AI幻觉诉讼
2022年，杰克·莫法特（Jake Moffatt）为了参加葬礼，就加拿大航空网站上的AI聊天机器人询问“家属折扣”政策。聊天机器人自信地回答说：“购买机票后90天内申请，可以追溯享受折扣。”莫法特信以为真，以普通票价购买了机票。
然而，实际政策并非如此，加拿大航空拒绝退款。案件进入法庭后，加拿大航空提出了令人惊讶的主张：“聊天机器人是一个独立的法律实体，我们不承担责任。”法院驳回了这一主张，判决道：“聊天机器人是网站的一部分，加拿大航空对网站的所有信息负责。”
此判决为AI时代的 기업 责任树立了重要的先例。它明确指出，企业不能以“是AI做的”为由逃避AI造成的错误。此事件表明，AI幻觉是导致实际经济和法律责任的现实危险。
幻觉的危险谱系
AI幻觉的危险性从轻微的失误到致命的威胁不等。
| 类别 | 示例 | 潜在后果 |
|---|---|---|
| 荒谬有趣的失误 | 一杯星巴克拿铁50万韩元 | 传递错误信息，用户困惑，品牌形象受损 |
| 危险的“建议” | “在披萨里加胶水” | 身体伤害，中毒，潜在死亡风险 |
| 经济和法律风险 | 聊天机器人提供错误的退款政策 | 消费者经济损失，企业法律责任产生 |
| 高度专业的错误 | 引用不存在的法院判例 | 律师受到惩戒，诉讼败诉，司法系统公信力下降 |
| 致命的医疗风险 | “喝尿排出肾结石” | 严重健康恶化，延误恰当治疗，死亡 |
专家的困境：连律师都被骗的AI
幻觉的危险甚至延伸到专业领域。斯坦福大学以人为本AI研究所（Stanford HAI）的数据显示，通用AI模型在法律相关问题上的幻觉比例高达69%-88%。即使是为法律研究开发的高价专业AI工具，也有17%-33%的幻觉发生率。
这导致了律师因引用AI提供的虚假判例而被法院惩戒的实际案例，警示我们使用AI处理专业领域信息时需极其谨慎。
驯服AI幻觉的3种最新技术
幸运的是，世界各地的研究人员正努力驯服这个“智能骗子”。下面介绍三种提高AI可信度的关键策略。
策略1：RAG - 给AI一本聪明的参考书
**检索增强生成（Retrieval-Augmented Generation, RAG）**是一种让AI进行“开卷考试”的技术。这种方法不是让AI仅依赖自己的记忆，而是强制AI在生成答案前，先搜索包含最新信息的可靠数据库（参考书）。
这项技术在医疗领域取得了巨大成功，显著提高了诊断准确率。然而，RAG并非万能药。正如前面提到的斯坦福大学法律AI研究所示，基于RAG的工具仍然存在17%的幻觉，这表明了RAG的局限性。RAG是利用外部信息的强大辅助工具，但它并不能从根本上改变AI的内部推理能力。
策略2：STaR & SoS - 教AI自己思考
第二种策略是改善AI“思考方式”本身。它超越了外部参考书（RAG），是一种让AI自己思考和学习解决问题过程的训练方法。
- STaR (Self-Taught Reasoner): “错了也没关系，重新做吧” **自学推理（STaR）**让AI从自己的错误中学习。当AI给出错误答案时，会告知正确答案，并反问“为了得到这个答案，应该经过怎样的推理过程？”，从而反向学习正确的过程。通过从失败中学习的过程，AI能够逐步完善自己的推理能力。
- SoS (Stream-of-Search): “通往答案的道路不止一条” **搜索流（SoS）**更进一步，不仅学习正确答案，还学习寻找答案过程中遇到的无数次试错和失败的路径。通过这种方式，AI不再仅仅是死记硬背答案，而是学习到了解决现实问题的“搜索策略”本身。
STaR和SoS是试图从根本上改进AI内部问题解决流程的尝试，意味着在模型本质推理能力提升方面重要的范式转变。
策略3：领域专业化 - 将万事通培养成专家
第三种策略是通过领域专业化微调（Fine-tuning），将通用AI打造成特定领域的专家。韩国企业也在该领域崭露头角。
- 案例1：SK Telecom & AWS SK Telecom与AWS合作，将AI模型“Claude”调整为适合通信领域的专业模型。通过使用通信领域的专业数据重新训练，回答质量提高了58%，出处引用准确率提高了71%。
- 案例2：BHSN & “Alibi Astro” 韩国初创公司BHSN开发的法律专业LLM“Alibi Astro”，通过海量法律数据和律师反馈开发而成。结果，它具备了专家级能力，能在1分钟内审查100页的英文合同并提出修改意见。
这些案例表明，减少幻觉并创造实际价值的最现实途径在于“专业化”。
结论：AI时代，批判性思维不可或缺
AI幻觉从50万韩元的咖啡笑话开始，已经发展成为需要承担实际法律责任的现实问题。解决这一问题的技术创新正在以惊人的速度进行，但目前我们最需要具备的心态是**“健康的怀疑主义”和“批判性思维”**。
3个要点
- AI幻觉并非简单bug，而是技术本身的固有局限。 AI并非理解意义，而是生成概率上最可信的答案。
- AI的答案需要始终验证。 特别是医疗、金融、法律等重要信息，务必通过可靠来源进行交叉核实。
- 技术在快速发展。 RAG、STaR、领域专业化等技术正在提高AI的可信度，但完美的解决方案仍未出现。
切不可将AI视为无所不知的智者。我们需要具备将其视为一个虽聪明但偶尔会犯离谱错误的实习生的智慧。与其盲目相信AI，不如将其作为辅助我们判断力的强大工具来利用，这样才能发现其真正的价值。
参考资料
- Lifehacker, What People Are Getting Wrong This Week: Google AI Hallucinations
- CanLII, Moffatt v. Air Canada, 2024 BCCRT 149
- JAMIA, Retrieval-augmented generation for large language models in biomedicine: a systematic review
- AI타임스, BHSN, 법률 특화 LLM ‘앨리비 아스트로’ 출시
- Stanford HAI, Hallucinating the Law: Legal Mistakes in Large Language Models Are Pervasive
- arXiv, STaR: Self-Taught Reasoner Bootstrapping Reasoning With Reasoning
- OpenReview, Stream of Search (SoS): Learning to Search in Language
- AWS Machine Learning Blog, SK Telecom improves telco-specific Q&A by fine-tuning Anthropic’s Claude models in Amazon Bedrock