想象一下，你是一名医生，正在使用一种新的人工智能工具为患有复杂医疗状况的患者提出非典型的治疗方案。在决策的理由不明确的情况下，你如何确定模型的建议是可信的呢？
机器学习模型有时被描述为黑盒子，因为它们的决策过程对观察者来说是不透明的。但随着人工智能和机器学习变得越来越普遍，包括在潜在风险的用例中，模型开发人员越来越被期望确保模型的决策是可证明的、透明的和可信赖的。
在上述例子中，你可能知道该模型已经分析了数百甚至数千个个体数据点——实验室结果、医学影像、患者人口统计数据——但作为一名医生，你也需要了解为什么它从这些数据中得出某个结论。解释性和可解释性是两个计算机科学概念，旨在通过使模型及其输出更易于理解来解决这种情况。
什么是解释性以及它是如何工作的？
解释性描述了人类如何能够理解机器学习模型做出决策的原因。简而言之，模型越具解释性，就越容易理解。
一个具有解释性的模型被设计成让人类观察者能够将模型的输入映射到输出。因此，解释性模型通常更简单，例如决策树和线性回归。由于它们的机制相对容易跟踪，可以直接观察输入如何影响输出。
解释性可以是全局的或局部的。一个全局可解释的模型具有通常易于理解的整体结构，而一个局部可解释的模型的个别预测可以被理解和追踪。例如，决策树通常既具有全局又具有局部的可解释性：它们有一个适用于所有情况的整体规则集，同时也可以追踪从特定输入到特定输出的决策过程。
为什么解释性很重要？
以这种方式理解模型的能力有几个原因。首先，一个更透明的模型通常更可信赖，因为它更容易验证和评估。这在诸如医疗和银行等高度受监管的领域尤为重要，那里的人工智能工具需要遵守相关法律和道德标准。
可解释性模型通常也更容易调试和优化。如果一个模型产生意外的输出，开发人员可以迅速找出原因，然后解决问题——如果他们知道模型是如何做出那个决定的话。相比之下，像ChatGPT和Claude这样的大型语言模型驱动的复杂深度学习模型可能产生开发人员无法完全理解和修复的问题性输出。
局限性和权衡
可解释性模型的主要缺点在于它们的简单性可能会对性能产生负面影响。一个简单的线性回归不能捕捉与深度神经网络相同的复杂模式和相互关系，例如。同样，决策树越大，跟踪输入穿过其各种决策路径就越困难。
在现实世界中，特别是在为业务分析或消费者应用构建大型模型时，人工智能工程师和数据科学家因此面临解释性和预测能力之间的权衡。一个高度可解释的模型可能不是识别庞大数据集中复杂模式和关系的最有效或准确选择。
解释性与可解释性：关键区别
虽然解释性和可解释性有着同样的目标——通过提供对模型如何做出决策的洞察来增加模型的透明度——但它们实现这一目标的方式不同。
首先，解释性和可解释性具有不同的方法论和范围。解释性侧重于模型内部机制如何澄清其决策行为。可解释性模型在结构上透明，可以全局检查，以了解整个模型，或局部追踪个别决策。
相比之下，解释性并非通过查看模型的内部机制来获得。相反，它利用模型结果中的观察到的模式来推断模型行为。这意味着解释性更具局部性，因为它专注于事后具体情况的解释，而不是整个模型。
由于这些差异，解释性和可解释性适用于不同复杂度的模型。解释性需要对模型结构有深入了解，因此适用于简单模型。因为解释性不需要对模型本身有太多了解，所以对于内部行为更难理解的复杂模型，它更实用。
解释性和可解释性技术
总的来说，解释性技术旨在使模型从一开始就具有可理解性，而解释性技术更具事后性，专注于模型输出的解释。选择合适的技术取决于时间、成本、开发人员专业知识、模型复杂性、项目范围和模型用例等因素。
解释性技术示例
解释性技术包括以下内容：
- 决策树
- 线性回归
- 逻辑回归
- 广义线性模型
- 基于规则的人工智能
- 可扩展贝叶斯规则列表
解释性技术示例
解释性技术包括以下内容：
- 局部可解释模型无关解释
- Shapley增值解释
- 部分依赖图
- Morris敏感性分析
- 对比解释方法
- 置换特征重要性
- 个体条件期望
Lev Craig作为TechTarget编辑部企业人工智能网站的网站编辑，涵盖了人工智能和机器学习。Olivia Wisbey是TechTarget企业人工智能的副网站编辑。她毕业于哈佛大学，拥有英语学士学位，并曾在企业IT、软件开发和网络安全领域撰写过文章。
