神经符号人工智能（Neuro-symbolic AI）结合了神经网络与基于规则的符号处理技术，以提高人工智能系统的准确性、可解释性和精确性。神经方面涉及在多种机器学习类型中使用的统计深度学习技术。符号方面则指向在逻辑、数学和编程语言中常用的基于规则的推理方法。
结合神经和符号人工智能需要仔细校准
神经和符号方法的结合重新点燃了人工智能社区中关于符号方法（例如：如果-那么语句、决策树、数学）和神经方法（例如：深度学习以及最近的生成式人工智能）相对优劣的长期辩论。
大多数机器学习技术采用各种形式的统计处理。在神经网络中，统计处理广泛分布在众多神经元和相互连接中，这提高了在大型数据集中关联和提炼微妙模式的有效性。另一方面，神经网络往往比其他类型的机器学习和符号人工智能训练和运行时更慢，所需的内存和计算量也更多。
在人工智能发展的很长一段时间里，符号方法在通过应用程序（包括专家系统、欺诈检测和论证挖掘）增加价值方面占据了主导地位。但深度学习的创新以及训练大型语言模型（LLMs）的基础设施的出现，使得人们的关注转向了神经网络。
本文为
什么是生成式人工智能？生成式人工智能的解释
- 其中还包括：
- 2024年8大生成式人工智能工具类别
- 人工智能会取代工作吗？17种可能受影响的工作类型
- 2024年最佳19个大型语言模型
现在，生成式人工智能（GenAI）模型中的新训练技术已自动化了构建更好符号人工智能系统所需的大部分人力工作。但这些更统计的方法往往会产生幻觉，处理数学问题时表现不佳，并且不够透明。
构建更好的人工智能需要两种方法的仔细平衡。
心理学家丹尼尔·卡尼曼（Daniel Kahneman）建议，神经网络和符号方法对应于系统1和系统2的思维和推理模式。系统1思维，如神经人工智能所示，更适合快速判断，例如识别图像中的猫。系统2分析，如符号人工智能所示，涉及较慢的推理过程，例如推理一只猫可能在做什么以及它与场景中其他事物的关系。
神经网络的基本原理
人工智能神经网络是基于人脑及其他动物大脑中互联神经元的统计特性建模的。这些人工神经网络（ANNs）创建了一个框架，通过个别神经元之间连接的微小变化来建模数据中的模式，从而使神经网络能够持续学习并提取数据中的模式。这可以帮助在不同抽象层次上区分特征。在图像的情况下，这可能包括识别边缘、形状和物体等特征。
一些支持者建议，如果我们建立足够大的神经网络和特征，我们可能会开发出达到或超过人类智力的人工智能。然而，麻醉学家斯图尔特·哈梅罗夫（Stuart Hameroff）和物理学家罗杰·彭罗斯（Roger Penrose）等人指出，这些模型并不一定能捕捉到可能源于生物神经元量子效应的智力复杂性。
流行的人工神经网络类别包括卷积神经网络（CNNs）、递归神经网络（RNNs）和变压器。CNNs擅长并行处理信息，例如图像中像素的意义。RNNs更好地解读序列中的信息，例如文本或语音。新的生成式人工智能技术通常使用基于变压器的神经网络，自动化训练人工智能系统（如ChatGPT和Google Gemini）的数据准备工作。
一个大挑战是，所有这些工具往往会产生幻觉。令人担忧的是，一些最新的生成式人工智能技术表现得非常自信和预测性，给依赖这些结果的人类带来了困惑。这个问题不仅是生成式人工智能或神经网络的问题，更广泛地说，是所有统计人工智能技术的问题。
神经网络和其他统计技术在存在大量预标记数据时表现出色，例如视频中是否有猫。然而，它们在处理边缘案例或逐步推理的长尾知识时则显得力不从心。
符号推理的基本原理
符号推理是所有现代编程语言的标志，程序员会说：“如果满足这个条件，那么就执行那个。”符号人工智能是机器学习的一个子集，结合了逻辑和数学处理来推理、做决策并将数据转化为更有用的格式。符号过程也是解决数学问题、改善数据整合和推理一组事实等用例的核心。
常见的符号人工智能算法包括专家系统、逻辑编程、语义网络、贝叶斯网络和模糊逻辑。这些算法用于知识表示、推理、规划和决策。它们在具有明确工作流程的应用程序中表现良好，但在应用程序试图理解边缘案例时则面临挑战。
例如，人工智能开发人员创建了许多规则系统，以表征人们常用来理解世界的规则。这导致了能够帮助将特定症状转化为相关诊断或识别欺诈的人工智能系统。
然而，这也需要来自专家的大量手动努力，以解读将各种症状与疾病或购买模式与欺诈相连接的思维过程链。这一缺点在解读儿童故事的意义或链接常识时并不是大问题，但在处理专业知识时则变得更加昂贵。
一旦建立，符号方法往往比神经技术更快、更高效。它们在解释和解读负责结果的人工智能算法方面也表现得更好。
符号技术是IBM Watson DeepQA系统的核心，该系统在游戏《危险边缘》中击败了最优秀的人类，回答了琐事问题。然而，这也需要大量人力来组织和链接所有事实到一个符号推理系统，这在医学和其他领域的新用例中并没有良好扩展。
整合神经和符号人工智能架构
神经符号人工智能可以被视为一个光谱。一些人工智能方法是纯粹符号的。然而，几乎所有的神经模型都消耗符号、处理它们或输出它们。例如，光学字符识别（OCR）的神经网络将图像转换为数字，以便使用符号方法进行处理。生成式人工智能应用程序同样以符号文本提示开始，然后用神经网络处理这些提示，以生成文本或代码。
人工智能社区的兴奋在于寻找更好的方法来调整符号和神经网络方面之间的整合。例如，DeepMind的AlphaGo使用符号技术来改善游戏布局的表示，利用神经网络处理这些布局，然后用符号技术分析结果。更深层次的神经符号整合的其他潜在用例包括改善可解释性、标记数据、减少幻觉和辨别因果关系。
罗切斯特大学教授亨利·考茨（Henry Kautz）建议了六种将神经和符号组件整合到人工智能系统中的方法。其他人则建议添加图神经网络。以下是这些整合技术的概述：
- 符号输入输出。符号被输入到人工智能系统中并处理以创建新符号。例如，生成式人工智能应用程序从符号文本提示开始，并用神经网络处理这些提示，以生成文本或代码。
- 符号分析。神经网络与符号问题求解器集成。例如，AlphaGo神经网络生成的游戏移动通过像蒙特卡罗算法这样的符号技术进行评估。
- 神经结构化。神经网络将原始数据转换为符号，这些符号由符号算法处理。例如，OCR将文档转换为文本、数字和实体，这些实体用符号方法分类并输入到企业资源规划系统中。
- 符号标记。符号技术为神经网络生成和标记训练数据，例如，自动生成与神经网络格式更相符的新数学问题和解决方案。
- 符号神经生成。一组符号规则被映射到用于生成神经网络的嵌入方案。例如，逻辑张量网络使用符号技术将原始数据转换为更适合训练神经网络的中间格式，以便聚类数据、学习关系、回答查询和跨多个标签进行分类。
- 完全整合。神经网络调用符号推理引擎，结果为下一阶段的神经处理提供基础。例如，ChatGPT通过插件查询Mathematica以解决数学问题，这为ChatGPT在回答问题时的下一个处理阶段提供了改进。自主人工智能代理的研究正在探索这些工作流如何在各种特定领域的人工智能代理之间自动调用和链接。
- 图神经网络。这些网络利用神经网络从复杂系统（如分子和社交网络）中提取关系，以改善符号推理和数学技术的处理。
神经符号人工智能的简史
符号和神经网络方法可以追溯到1950年代人工智能的早期。符号方面，1956年的逻辑理论家程序帮助解决简单定理。1958年的感知器算法能够识别简单模式，属于神经网络方面。然而，1969年，人工智能先驱马文·明斯基（Marvin Minsky）和西摩·帕普特（Seymour Papert）发表了一篇批评神经网络学习和解决复杂问题能力的论文，导致神经网络失宠。
在接下来的几十年中，研究资金流入了用于专家系统、知识表示、游戏和逻辑推理的符号方法。然而，随着人工智能炒作未能转化为有意义的商业价值，人工智能的兴趣在1980年代末逐渐减弱。1990年代中期，符号人工智能再次出现，伴随机器学习技术的创新，这些技术能够自动化符号系统的训练，如隐马尔可夫模型、贝叶斯网络、模糊逻辑和决策树学习。
1980年代末的反向传播创新帮助重新点燃了对神经网络的兴趣。这帮助解决了早期神经网络方法中的一些局限性，但未能良好扩展。2010年代中期，发现图形处理单元可以帮助并行化这一过程，代表了神经网络的重大变革。谷歌宣布了一种新架构，以在计算机集群中扩展神经网络架构，从而训练深度学习算法，推动了神经网络的更多创新。
早期的深度学习系统专注于简单的分类任务，如识别视频中的猫或对图像中的动物进行分类。然而，生成式人工智能技术（如变压器、自编码器和生成对抗网络）的创新开辟了多种使用生成式人工智能将非结构化数据转化为更有用结构以供符号处理的用例。现在，研究人员正在探讨如何在更细粒度的层面整合这两种方法，以发现蛋白质、辨别业务流程和推理。
神经符号人工智能的好处
研究人员正在探索不同的方法来整合神经和符号技术，以利用彼此的优势。符号技术更快且更精确，但训练起来更困难。神经技术在从大型数据集中提取微妙模式方面表现更好，但更容易产生幻觉。以下是结合这些方法的一些好处：
- 可解释性。符号方法可以帮助识别与特定神经结果相关的因素。这种语义提炼是许多可解释人工智能工具的核心。
- 自动数据标记。神经技术可以帮助标记数据，以训练更高效的符号处理算法。
- 幻觉缓解。符号技术可以对神经网络结果进行双重检查，以识别不准确之处。
- 数据结构化。神经技术可以将文档和图像中的非结构化数据转化为符号技术可用的数据。
- 优先级排序。神经网络可以优先使用多个符号算法或人工智能代理，以提高效率。
挑战
构建神经符号人工智能系统的一些主要挑战包括：
- 知识表示。符号和神经方法以不同方式表示世界的各个方面，这需要来回翻译。
- 整合。整合神经和符号元素有多种设计模式，这可能对它们的性能、准确性和效用产生不同的影响。
- 幻觉。用不准确的信息预设的符号系统可能会导致不良结果。
- 模型漂移。符号和神经方法都容易受到数据随时间变化的影响，变化速度和方式各异。因此，在单独或共同更新每个方面时必须格外小心。
- 自主人工智能。新的代理人工智能系统可能包含众多符号和神经网络算法，这可能在将单个代理连接到更大工作流时产生意想不到的问题。
神经符号人工智能的应用
以下是一些结合神经网络和符号人工智能可以改善结果的示例：
- 药物发现。符号人工智能将化学结构转化为更高效的神经处理。
- 自主车辆。神经网络将摄像头数据转换为3D表示，以便用符号技术进行分析。
- 智能文档。神经网络用于识别数字、实体和类别，以改善符号技术的处理。
- 金融欺诈检测。神经网络识别与欺诈相关的微妙模式，这些模式用于生成和标记更多示例，以加速符号算法的训练。
- 推荐系统。符号人工智能帮助将领域知识结构化到推荐过程中，以帮助调整神经网络。
未来方向
研究界仍处于结合神经网络和符号人工智能技术的早期阶段。目前的许多工作将这两种方法视为具有明确边界的独立过程，例如使用一种方法为另一种方法标记数据。下一波创新将涉及更细致地结合这两种技术。这是一个更难解决的问题。
例如，人工智能模型可能会受益于在各个抽象层次上结合更多结构信息，例如将原始发票文档转化为有关采购方、产品和付款条款的信息。物联网流也可以受益于将原始时间序列数据转化为相关事件、性能分析数据或磨损情况。未来的创新将需要探索和寻找更好的方法来表示所有这些，以改善符号和神经网络算法的使用。
另一个创新领域将是提高生成式人工智能中常见的大型语言模型的可解释性和可理解性。虽然大型语言模型在某些情况下可以提供令人印象深刻的结果，但在其他情况下表现较差。符号技术的改进可以帮助有效检查大型语言模型的过程，以识别和纠正问题的根本原因。
本文最后更新于2024年11月
