AI幻觉是指大型语言模型（LLM）驱动的人工智能（AI）系统生成虚假信息或误导性结果，常常导致人类决策错误。
幻觉最常与LLM相关，导致不正确的文本输出。然而，它们也可能出现在AI生成的视频、图像和音频中。AI幻觉的另一个术语是“虚构”。
AI幻觉是指由AI LLM或计算机视觉系统生成的虚假、不正确或误导性结果。它们通常是由于使用小数据集训练模型，导致训练数据不足，或训练数据中的固有偏见所致。无论根本原因如何，幻觉可能偏离外部事实、上下文逻辑，有时两者皆是。它们可以从轻微的不一致到完全虚构或矛盾的信息不等。LLM是驱动生成式AI聊天机器人的AI模型，例如OpenAI的ChatGPT、微软的Copilot或谷歌的Gemini（前身为Bard），而计算机视觉则是指使计算机能够理解和识别图像和视频等视觉输入内容的AI技术。
LLM使用统计学生成在提示上下文中语法和语义正确的语言。经过良好训练的LLM旨在对一些人类输入（称为提示）生成流畅、连贯且与上下文相关的文本输出。这就是为什么AI幻觉通常看起来似乎合理，意味着用户可能没有意识到输出是错误的，甚至是无意义的。缺乏意识可能导致错误的决策。
本文是
什么是生成式AI？生成式AI的解释
- 还包括：
- 2024年8大生成式AI工具类别
- AI会取代工作吗？17种可能受影响的职业类型
- 2024年最佳19个大型语言模型
为什么会发生AI幻觉？
所有AI模型，包括LLM，都是首先在数据集上进行训练的。随着它们消耗越来越多的训练数据，它们学习识别数据中的模式和关系，从而使它们能够做出预测并生成对用户输入（称为提示）的某些输出。然而，有时LLM可能会学习到错误的模式，这可能导致错误的结果或幻觉。
LLM中幻觉的可能原因有很多，包括以下几点：
- 数据质量差。当用于训练LLM的数据中存在不良、不正确或不完整的信息时，可能会发生幻觉。LLM依赖于大量的训练数据，以便能够生成与提供输入提示的用户相关且准确的输出。然而，这些训练数据可能包含噪声、错误、偏见或不一致性；因此，LLM生成错误的输出，甚至在某些情况下完全无意义的输出。
- 生成方法。即使数据集本身一致且可靠，并包含高质量的训练数据，幻觉也可能由于使用的训练和生成方法而发生。例如，模型的先前生成可能会造成偏见，或者变换器可能会执行错误解码，这两者都会导致系统幻觉其响应。模型也可能对通用或特定词汇有偏见，这可能影响它们生成的信息或导致它们虚构其响应。
- 输入上下文。如果人类用户提供的输入提示不清晰、不一致或矛盾，幻觉可能会出现。虽然训练数据的质量和使用的训练方法超出了用户的控制范围，但他们可以控制提供给AI系统的输入。通过优化输入并为AI系统提供正确的上下文，他们可以获得更好的结果。
AI幻觉的类型
AI幻觉有几种类型，包括以下几种：
- 句子矛盾。这是指LLM生成的句子与之前的句子相矛盾。例如：
- 提示：用四个单词的句子写一段风景描述。
- 输出：草是绿色的。山是蓝色的。河是紫色的。草是棕色的。
- 提示矛盾。这是指句子与用于生成它的提示相矛盾。例如：
- 提示：为我侄女写一张生日卡。
- 输出：祝贺你们，妈妈和爸爸！
- 事实矛盾。这是指虚构的信息被作为事实呈现。例如：
- 提示：列出美国的三个城市。
- 输出：纽约、伦敦、多伦多。
- 无关或随机幻觉。这是指生成的信息与输入几乎没有或完全没有关系。
- 提示：给我描述一下伦敦。
- 输出：伦敦是英格兰的一个城市。猫每天至少需要喂一次。
公司在考虑使用生成式AI应用时，必须预见许多组织问题。
AI幻觉的例子
一个臭名昭著的AI幻觉事件发生在2023年2月，当时谷歌的聊天机器人Gemini对詹姆斯·韦伯太空望远镜（JWST）做出了错误的声明。在一段宣传视频中，Gemini被问到：“我可以告诉我的9岁孩子JWST的新发现吗？”Gemini回答说，JWST拍摄了地球太阳系外第一个外星行星的照片。该信息是错误的，因为第一个外星行星的图像是由欧洲南方天文台的超大望远镜（VLT）在2004年拍摄的，而JWST直到2021年才发射。Bard的回答听起来似乎合理，并且与提供的提示一致，但被路透社指出为虚假。
另一个AI幻觉发生在2022年底，当时Meta（前身为Facebook）演示了Galactica，这是一个基于数百万条科学信息的开源LLM，来自教科书、论文、百科全书、网站甚至讲义。Galactica旨在供科学研究人员和学生使用，许多人报告该系统生成了不准确、可疑或有偏见的结果。纽约大学的一位教授表示，Galactica未能准确总结他的工作，而另一位用户表示，当他提示它进行文献综述时，它虚构了引用和研究，主题是HIV是否导致艾滋病。
这些问题引发了大量批评，许多用户将Galactica的LLM及其结果标记为可疑、不负责任甚至危险。对于不熟悉他们依赖Galactica寻求帮助的主题的AI用户来说，这个问题可能会产生严重的影响。面对公众的抗议，Meta在发布后仅三天就撤下了Galactica的演示。
与谷歌Gemini和Meta Galactica一样，OpenAI的ChatGPT自2022年11月公开发布以来，也卷入了众多幻觉争议。2023年6月，乔治亚州的一位广播主持人对OpenAI提起了诽谤诉讼，指控该聊天机器人对他做出恶意和潜在的诽谤性陈述。2024年2月，许多ChatGPT用户报告该聊天机器人倾向于在语言之间切换或陷入循环。其他用户报告它生成了与用户提示毫不相关的胡言乱语。
2024年4月，一些隐私活动人士对OpenAI提出了投诉，称该聊天机器人经常幻觉有关人们的信息。原告还指控OpenAI违反了欧洲的隐私法规，即通用数据保护条例（GDPR）。一个月后，技术新闻网站《The Verge》的记者发表了一篇有趣的文章，详细描述了ChatGPT明确告诉她她有胡子，并且她实际上并不为《The Verge》工作。
自这些问题首次被报道以来，这些公司要么修复了应用程序，要么正在进行修复。尽管如此，这些事件清楚地表明了AI工具的一个重要弱点：它们可能生成不良输出，导致用户产生不良或危险的结果。
机器学习的不同方法可能会影响AI系统对AI幻觉的倾向。
为什么AI幻觉是个问题？
AI幻觉的一个直接问题是它们显著削弱了用户信任。随着用户开始将AI视为一个真实的工具，他们可能会对其产生更固有的信任。幻觉可能会侵蚀这种信任，并阻止用户继续使用AI系统。
幻觉还可能导致生成性拟人化现象，即人类用户感知AI系统具有类人特质。这可能发生在用户相信系统生成的输出是真实的，即使它生成的图像描绘的是神话（不真实）的场景或违反逻辑的文本。换句话说，系统的输出就像海市蜃楼，操控用户的感知，使他们相信某些实际上并不真实的事物，从而用这种信念来指导他们的决策。
流畅且似乎合理的幻觉欺骗人的能力在许多情况下可能是有问题或危险的，尤其是当用户乐观且缺乏怀疑时。AI系统可能在选举期间无意中传播错误信息，影响选举结果，甚至导致社会动荡。幻觉甚至可能被网络攻击者武器化，以对政府或组织执行严重的网络攻击。
最后，LLM通常是黑箱AI，这使得确定AI系统生成特定幻觉的原因变得困难——往往是不可能的。修复生成幻觉的LLM也很困难，因为它们的训练在某个点上就停止了。进入模型以改变训练数据可能消耗大量能源。而且，AI基础设施成本高，因此找到幻觉的根本原因并实施修复可能是一项非常昂贵的工作。通常由用户——而不是LLM的所有者——来监测幻觉。
生成式AI就是这样——生成的。从某种意义上说，生成式AI会编造一切。
想了解更多生成式AI的信息，请阅读以下文章：
AI生成内容的利弊
如何在生成式AI时代防止深度伪造
企业应考虑的生成式AI挑战
AI存在风险：AI是否对人类构成威胁？
如何检测AI幻觉？
检测AI幻觉的最基本方法是仔细核实模型的输出。然而，对于处理不熟悉、复杂或密集材料的用户来说，这可能很困难。为了缓解这个问题，他们可以要求模型自我评估并生成答案正确的概率，或突出可能错误的答案部分，然后将该信息作为核实的起点。
用户还可以熟悉模型的信息来源，以帮助他们进行事实核查。例如，如果工具的训练数据在某个年份截止，则任何依赖于该时间点之后详细知识生成的答案都应进行准确性双重检查。
如何防止AI幻觉
AI用户可以通过多种方式避免或减少AI系统中幻觉的发生：
- 使用清晰和具体的提示。清晰、明确的提示，加上额外的上下文，可以指导模型，从而提供预期和正确的输出。以下是一些示例：
- 使用限制可能输出的提示，包含特定数字。
- 为模型提供相关和可靠的数据源。
- 给模型分配特定角色，例如：“你是技术网站的撰稿人。写一篇关于x的文章。”
- 过滤和排名策略。LLM通常具有用户可以调节的参数。一个例子是温度参数，它控制输出的随机性。当温度设置得越高，语言模型生成的输出就越随机。Top-K也是一个管理模型处理概率的参数，用户可以调节，以最小化幻觉的发生。
- 多次提示。用户可以提供多个期望输出格式的示例，以帮助模型准确识别模式并生成更准确的输出。
通常由用户——而不是LLM的所有者或开发者——在使用LLM时监测幻觉，并以适当的怀疑态度看待LLM输出。尽管如此，研究人员和LLM开发者也在努力理解和减轻幻觉，通过使用高质量的训练数据、使用预定义的数据模板以及明确AI系统的目的、限制和响应边界。
一些公司也在采用新的方法来训练其LLM。例如，在2023年5月，OpenAI宣布已训练其LLM，提高其数学问题解决能力，通过奖励模型在推理正确答案的每个步骤，而不仅仅是奖励正确的结论。这种方法称为过程监督，旨在在每个单独步骤中为模型提供精确的反馈，以引导其遵循思路链，从而产生更好的输出和更少的幻觉。
AI幻觉的历史
谷歌DeepMind的研究人员在2018年提出了“IT幻觉”这一术语。他们将幻觉描述为“完全脱离源材料的高度病态翻译”。随着ChatGPT的发布，这一术语变得更加流行并与AI相关，ChatGPT使LLM更加易于获取，但也突显了LLM生成错误输出的倾向。
一份2022年的报告《自然语言生成中的幻觉调查》描述了基于深度学习的系统如何倾向于“幻觉意外文本”，影响现实场景中的表现。论文的作者提到，“幻觉”一词最早在2000年在一篇名为《会议：第四届IEEE国际自动人脸与手势识别会议》的论文中使用，当时它在计算机视觉中具有积极的含义，而不是我们今天看到的消极含义。
ChatGPT是许多人接触生成式AI的入口。深入了解生成式AI的历史，这一历史跨越了九十多年。同时，阅读我们关于管理生成式AI幻觉的简短指南，探索核实AI生成内容的步骤，并学习如何制定负责任的生成式AI策略。了解最佳的大型语言模型、成为提示工程师所需的技能以及提示工程的最佳实践。
最后更新于2024年10月
继续阅读关于AI幻觉是什么以及为什么它们是个问题？
- AI对商业的关键好处
- 企业必须面对的AI风险及其应对方法
- AI（人工智能）的类型解释
- AI透明度：它是什么，为什么我们需要它？
- 生成式AI伦理：最大的担忧和风险
