什么是AI透明度？
AI透明度是广义上理解AI系统工作方式的能力，涵盖了诸如AI可解释性、治理和问责制等概念。对AI系统的这种可见性理想情况下应该贯穿于AI开发和部署的各个方面，从理解机器学习模型和其训练数据，到理解数据的分类方式、错误和偏见的频率，再到开发人员、用户、利益相关者和监管机构之间的沟通。
随着机器学习模型的发展，特别是生成式人工智能（GenAI）的出现，AI透明度的多个方面已经成为焦点。一个重要的关注点是，为实现这种复杂输出所需的更强大或更高效的模型更难（如果不是不可能）理解，因为内部运作被埋藏在所谓的黑匣子中。
“基本上，人们发现很难信任一个黑匣子 — 这是可以理解的，”商业转型咨询公司Lotis Blue Consulting的合伙人兼首席数据科学家Donncha Carroll说。“AI在提供无偏见的决策或输出方面的记录并不完美。”
关于AI透明度的误解
管理咨询公司Kearney数字和分析实践合伙人Bharath Thota表示，有时将AI透明度狭义地理解为通过源代码披露来实现。
但他表示，这种有限的观点建立在一种过时的观念上，即算法是客观的，并忽视了AI系统的复杂性，其中透明度必须包括不仅是代码的可见性，还有模型决策的可解释性、这些决策背后的理由以及更广泛的社会技术影响。此外，IT领导者必须仔细评估严格的数据隐私法规，例如GDPR和欧盟AI法案的影响，并确保AI系统在道德上使用以维护利益相关者的信任。
例如，仅仅揭示机器学习模型的源代码并不一定能解释它是如何做出某些决策的，特别是如果模型像深度神经网络那样复杂。
“因此，透明度应包括对使用的数据、模型在不同情境下的行为以及可能影响结果的潜在偏见的清晰文档化，”Thota说。
为什么AI透明度很重要？
像任何数据驱动工具一样，AI算法取决于用于训练AI模型的数据质量。这些算法受数据中的偏见影响，因此其使用具有某种固有风险。透明性对于获得用户、监管机构以及受算法决策影响的人的信任至关重要。
“AI透明度是关于清楚解释输出背后的推理，使决策过程可访问和可理解，”数字转型咨询公司UST的首席AI架构师兼微软区域总监Adnan Masood说。“归根结底，这是消除AI的黑匣子神秘感，提供对AI决策制定的如何和为什么的见解。”
AI信任、审计能力、合规性和可解释性是透明度在AI领域变得重要的一些原因。
“缺乏透明度，我们有可能创建可能无意中延续有害偏见、做出令人费解的决策甚至导致高风险应用中不良结果的AI系统，”Masood说。
GenAI使透明度变得更加复杂
生成式AI模型的崛起使AI透明度成为焦点，并给计划在业务运营中使用它的公司带来了越来越大的压力。为准备使用生成式AI的企业需要加强围绕这些大型语言模型（LLMs）处理的非结构化数据的数据治理。
全球咨询公司SSA & Company应用解决方案主管Nick Kramer表示：“生成式AI模型通常比传统AI系统更大更复杂，使其本质上更难以解释。”
由于用于创建它们的庞大神经网络内部的复杂交互，生成式AI模型的决策过程较不透明。这些模型可能表现出意外的行为或功能，这些功能并没有被明确编程，这引发了如何确保未被开发人员预期的功能透明度的问题。在某些情况下，生成式AI可能产生令人信服但错误的信息，进一步复杂化了透明度的概念。很难解释模型为何会生成错误信息。
AI透明度还可能受到对其训练数据了解有限的LLMs的影响，正如所述，这可能引入偏见或影响算法决策制定。
“与依赖明确定义数据集的传统AI不同，训练于大量互联网数据的生成模型使得追踪特定输出来源变得困难，”Kramer说。此外，在前端，提示在塑造输出方面起着新的作用，增加了理解这些系统如何得出响应的复杂性。
企业的一个令人困惑的因素是，随着GenAI的商业价值上升，许多供应商增加了围绕其架构和训练数据的保密性，这可能与他们声明的透明度目标相冲突。此外，许多生成式AI应用的对话性质为用户创造了更个人化的体验，这可能导致用户过度依赖或误解AI的能力，Kramer说。
透明度 vs. 可解释性 vs. 可理解性 vs. 数据治理
AI透明度是建立在许多支持性过程之上的。其目的是确保所有利益相关方都能清楚地理解AI系统的运作方式，包括它如何做出决策和处理数据。
“拥有这种清晰度是建立对AI的信任的关键，尤其是在高风险应用中，”Masood说。以下是透明AI的一些重要方面：
- 可解释性指的是能够以非专家可以理解的方式描述模型算法如何做出决策的能力。
- 可理解性侧重于模型的内部运作，旨在理解其特定输入如何导致模型的输出。
- 数据治理提供了对用于训练和推断中的算法决策制定的数据质量和适用性的洞察。
虽然可解释性和可理解性对于实现AI透明度至关重要，但它们并不完全包含在其中。AI透明度还涉及对数据处理、模型的局限性、潜在偏见以及其使用背景的公开性。
数据透明度对AI透明度的关键作用
数据透明度是AI透明度的基础，因为它直接影响AI系统的可信度、公平性和问责制。确保数据来源的透明性意味着清楚记录数据的来源、收集方式以及经历的任何预处理步骤，这是识别和减轻潜在偏见的关键元素。
“随着AI技术的进步，可能会出现增强数据衍生跟踪以及算法透明性的工具，”Thota说。
这些工具将使组织能够追踪数据从源头到结果的流动，确保AI决策过程的每一步都是可审计和可解释的。这对于满足监管要求以及在更敏感和有影响力的应用中维护公众对AI系统的信任将变得越来越重要。
实现AI透明度的技术
不同类型的工具和技术可以支持AI透明度的各个方面，Thota解释说。以下是他指出的一些工具，它们为提高AI透明度做出了贡献：
- 可解释性工具，如局部可解释的模型无关解释和SHapley可加解释，帮助解释模型预测。
- 公平性工具包，如IBM AI Fairness 360和Google的公平性指标，评估和减轻AI系统中的偏见。
- 审计框架，如内部审计师协会的AI审计框架，实现自动合规性检查，确保AI系统符合透明度和道德标准。
- 数据溯源工具跟踪数据的来源、历史和转换，这对确保AI输出的可靠性和完整性至关重要。
- 算法可解释性使AI模型的决策过程对非技术利益相关者可解释和可理解。
- AI系统文档，结合遵守道德准则，确保AI驱动决策是透明和可问责的。
“未来将看到这些工具[和技术]变得更加复杂并整合到AI开发流程中，自动化程度越来越高，用户友好的界面将使AI透明度努力在各行各业中民主化，”Thota说。
AI透明度的监管要求
AI透明度的未来在于建立全面的标准和法规，强制执行透明度实践，确保AI系统是可解释的、可问责的和符合道德的。Thota表示，IT决策者需要考虑几个关键的法规框架，这些法规框架规定了AI透明度、公平性和问责制的明确指导，包括以下内容：
- 欧盟AI法案。
- GDPR。
- 拜登总统关于AI的行政命令。
“将AI透明度整合到企业治理和监管合规中将对塑造一个值得信赖的AI生态系统至关重要，确保AI系统符合道德规范和法律要求，”Thota说。
AI透明度的权衡和弱点
IT决策者需要考虑如何在AI系统的准确性和透明度之间权衡。一些尖端的机器学习和AI模型可以提高准确性，但其优越性能可能导致透明度降低。
这些黑匣子模型通常总体上表现更好，但在它们出错时，很难确定错误发生的地点和原因。
值得注意的是，AI透明度也可能带来问题，包括以下内容：
- 黑客攻击。显示决策是如何做出的AI模型可能会赋予不良行为者能力。例如，攻击者可以利用这些信息来利用弱点并入侵系统。
- 困难。透明的算法有时更难设计，特别是对于具有数百万参数的复杂模型。在透明度在AI中是必须的情况下，可能需要使用不那么复杂的算法。
- 治理。增加AI透明度有时会增加危害用户和利益相关者个人信息的风险。
- 可靠性。努力提高AI透明度有时可能导致每次执行时产生不同的结果。这可能降低信任并阻碍透明度工作。
透明度不是一劳永逸的项目。由于AI模型不断学习和适应新数据，必须对其进行监控和评估，以保持透明度，并确保AI系统保持值得信赖并符合预期结果。
如何在准确性和AI透明度之间取得平衡
与任何其他计算机程序一样，AI需要优化。为此，AI开发人员会查看问题的特定需求，然后调整通用模型以最好地满足这些需求。在实施AI时，组织必须关注以下四个因素：
- 法律压力。监管的解释性要求可能规定各种增加透明度要求的透明度要求，这增加了更简单和更可解释算法的需求。
- 对人员的影响程度。用于生命关键决策的AI通常会增加对更高透明度的需求。对于不那么关键的决策，例如欺诈识别算法，不透明算法有时会产生更准确的结果，在这种情况下，不透明算法的错误决策可能会给用户带来不便，但不太可能对他们产生重大不利影响。
- 曝光。考虑AI透明度的影响范围也很重要。例如，在网络安全方面增加透明度可能改进用户的流程，但也可能激励黑客调整攻击以规避检测。
- 数据集。训练于现有数据的AI有时可能强调现有的系统性种族主义、性别歧视和其他种类偏见。评估这些问题并平衡输入，以减少偏见，可以改善模型对所有用户和利益相关者的准确性。
相关文章
