企业需要注意一个警告：忽视人工智能治理将自担风险。
人工智能治理本质上是一套旨在降低使用人工智能（包括生成式人工智能）所带来的风险的政策和标准，这些风险包括影响商业决策和自动化先前由人类执行的流程。
之所以现在需要人工智能治理，并且不能被忽视，是因为企业对生成式人工智能的兴趣正在激增，这也引发了对传统人工智能的更多关注。
历史上，人工智能和机器学习模型及应用主要由组织内的小型数据科学团队和其他专家开发和使用，通常局限于其狭窄的视野。这些工具用于预测、情景规划和其他类型的预测分析，以及自动化某些重复性流程，这些流程也由小组专家监督。
然而，现在，受到OpenAI于2022年11月推出的ChatGPT的启发，这标志着大型语言模型能力的显著提升，企业希望将人工智能工具的使用扩展到更多员工，以推动更快速的增长。像ChatGPT和谷歌Gemini这样的LLM使真正的自然语言处理成为可能，而这在以前是无法实现的。
与企业数据结合后，真正的自然语言处理使任何拥有互联网连接和必要权限的员工都能以以前需要专家知识（包括编码技能和数据素养培训）才能进行的方式查询和分析数据。此外，当应用于企业数据时，生成式人工智能技术可以被训练以减轻专家的重复性任务，包括编码、文档编写甚至数据管道开发，从而提高开发人员和数据科学家的效率。
这种使更多员工能够做出数据驱动决策并提高专家效率的结合可以带来显著的增长。
如果执行得当。
如果不这样做，企业将面临严重后果，包括基于错误的人工智能输出做出的决策、数据泄露、法律不合规、客户不满以及缺乏问责，这些都可能导致财务损失。
因此，随着对生成式人工智能和传统人工智能的使用兴趣转向更实际的应用，并且越来越多的缺乏专业知识的员工获得了对数据和人工智能工具的访问权限，企业需要确保其人工智能工具受到治理。
根据BARC美国的分析师凯文·佩特里（Kevin Petrie）的说法，一些组织已经注意到了这一警告。
“这种趋势在增加，”他说。“安全和治理是与人工智能，尤其是生成式人工智能相关的首要关注点，因此对人工智能治理的需求持续上升。”
然而，根据佩特里在2023年进行的一项调查，只有25%的受访者表示其组织具备支持人工智能和机器学习计划的适当治理控制，而近一半的人表示其组织缺乏适当的治理控制。
数据目录专家Alation的产品管理副总裁迪比·马拉卡尔（Diby Malakar）同样表示，他注意到对人工智能治理的关注日益增加。
SingleStore的客户，如大多数数据管理和分析供应商的客户，表示他们对开发和部署生成式人工智能驱动的工具感兴趣。当他们构建和实施对话助手、代码翻译工具和自动化流程时，他们关注确保这些工具的适当使用。
“在每一次客户通话中，他们都在说他们正在做更多的生成式人工智能，或者至少在考虑这个，”马拉卡尔说。“他们谈论的第一件事就是如何治理这些资产——资产包括人工智能模型、特征库以及任何可以用作人工智能或机器学习生命周期输入的内容。”
然而，治理是困难的。数据治理多年来一直是企业面临的挑战。现在，人工智能治理正与数据治理一起成为必要条件和挑战。
需求激增
数据长期以来一直是商业决策的驱动因素。
然而，几十年来，数据管理和分析一直是组织内部小团队的领域。数据被保存在本地，甚至高层管理人员也必须请求IT人员开发图表、图形、报告、仪表板和其他数据资产，然后才能使用它们来指导决策。
请求信息、开发分析资产和达成决策的过程漫长，至少需要几天，视请求数量和数据团队的规模而定，甚至可能需要几个月。由于数据受到严格控制，几乎没有对数据治理的需求。
大约20年前，自助分析开始出现。像Tableau和Qlik这样的供应商开发了基于可视化的平台，使业务用户能够在经过适当培训后自行查看和分析数据。
随着数据不再仅仅是专家的专属领域，并且经过培训的专家不再是唯一控制组织数据的人，业务用户被赋予了自主行动的权力，组织需要制定指导方针。
随着数据掌握在更多企业员工手中——尽管仍然只有大约四分之一的员工，但比以前更多——需要更多的监督。否则，组织将面临不合规的风险，可能导致数据泄露，暴露敏感信息或使公司失去竞争优势。
现在，人工智能也面临着类似的情况——尽管在不到两年的时间里，这一过程的速度更快。
正如数据曾经大多无法访问一样，人工智能也是如此。正如自助分析使更多组织内部人员能够使用数据，从而需要数据治理，生成式人工智能使更多组织内部人员能够使用人工智能，从而需要人工智能治理。
唐纳德·法默（Donald Farmer），TreeHive Strategy的创始人和首席顾问，指出人工智能治理日益增长的需求与数据治理所需的事件之间存在相似之处。
“这是一个平行现象，”他说。“这是一个合理的比较。”
然而，法默继续表示，人工智能的变化发生得更快，规模更大，远超自助分析的变化。
如果得到适当治理，人工智能有潜力彻底改变企业的运作方式。法默将人工智能对当今企业的影响与20世纪初电力对企业的影响进行了比较。当时，广泛使用电力是危险的。为了应对这一挑战，组织雇佣了当时被称为首席电力官（CEO）的人，负责监督电力的使用并确保安全。
“这是一个非常根本的转变，我们刚刚开始看到，”法默说。“这几乎是像电力一样根本——你所做的一切都将受到人工智能的影响。与自助分析的比较是准确的，但它甚至比那更根本。”
Alation的马拉卡尔同样指出，自助分析与人工智能兴趣激增之间可以划出相似之处。两者都源于非技术员工希望利用技术帮助做决策并采取行动。
“我们看到的是，不懂编码的业务分析师希望减少对IT的依赖，”马拉卡尔说。“他们希望能够自主做出与数据相关的决策。”
最初，这在一定程度上得益于自助分析。现在，它可以通过生成式人工智能得到更大程度的实现。每个企业都有如何降低成本、预测客户流失或实施最有效的营销活动等问题。人工智能可以提供答案。
而通过生成式人工智能，它几乎可以为任何员工提供答案。
“这些都是十年前没有被问及的人工智能/机器学习问题，”马拉卡尔说。“因此，现在隐私、安全、可解释性和问责等问题变得非常重要——比纯数据治理的世界中重要得多。”
人工智能治理的要素
从本质上讲，人工智能治理与数据治理非常相似，并且与之相关。
数据治理框架是确保数据适当使用的文档化指导方针，包括与数据隐私、质量和安全相关的政策。此外，数据治理还包括限制谁可以对组织数据进行什么操作的访问控制。
根据佩特里的说法，人工智能治理与数据治理相连，基本上是在其基础上构建的。
人工智能治理适用与数据治理相同的标准——确保人工智能工具的适当使用以及人工智能模型和应用的准确性的实践和政策。但没有良好的数据治理作为基础，人工智能治理就失去了意义。
在人工智能模型和应用能够有效并用于指导决策和自动化流程之前，它们需要使用良好、准确的数据进行训练。
“[数据治理和人工智能治理]是密不可分的，并且有很大重叠，”佩特里说。“人工智能的所有风险在数据治理方面都有前身。你应该将数据治理视为人工智能治理的基本基础。”
大多数企业确实拥有数据治理框架，他继续说道。但人工智能治理的情况则无法如此，佩特里在2023年的调查中显示了这一点。
“这表明了一个真正的问题，”他说。
这个问题可能使组织处于竞争劣势——即它们没有准备好开发和部署人工智能模型和应用并获得其好处，而竞争对手却在这样做。然而，更具潜在危害的是，如果企业正在开发和部署人工智能工具，但没有妥善管理其使用方式。这不仅可能抑制增长，还可能导致负面后果。
但人工智能治理不仅仅是保护免受潜在问题的影响。根据法默的说法，它还旨在使人工智能工具的使用更加自信。
良好的数据治理框架在对数据使用施加限制以保护企业免受问题影响和支持业务用户之间取得平衡，使他们能够在不担心无意中将组织置于危险境地的情况下使用数据。
良好的人工智能治理框架需要在这方面取得同样的平衡，以确保询问人工智能助手问题的用户不必担心他们得到的回应和随后的行动会产生负面影响。相反，用户需要感到被赋予权力。
人们开始意识到，良好治理的系统使人们更加自信地能够在大规模上应用它。良好的治理不是一种限制功能，而是一种赋能功能。如果治理得当，你就赋予人们自由。唐纳德·法默TreeHive Strategy创始人及首席顾问
“人们开始意识到，良好治理的系统使人们更加自信地能够在大规模应用它，”法默说。“良好的治理不是一种限制功能，而是一种赋能功能。如果治理得当，你就赋予人们自由。”
根据佩特里的说法，良好人工智能治理框架的具体要素结合了对管理人工智能使用系统的必要性的信念、适当执行该系统的指导方针以及协助其执行的技术工具。
“人工智能治理是在定义和执行政策、标准和规则，以降低与人工智能相关的风险，”他说。“为此，你需要人、流程和技术。”
人员方面始于高管对由首席数据官或首席数据与分析官领导的人工智能治理计划的支持。参与制定和实施框架的还有支持角色中的人员，如数据科学家、数据架构师和数据工程师。
流程方面是人工智能治理框架本身——涵盖安全、隐私、准确性和问责的政策。
技术则是基础设施。它包括数据和机器学习可观察性平台，查看数据质量和管道性能，组织数据并包括治理功能的目录，确保一致性的主数据管理能力，以及用于训练和监控模型和应用的机器学习生命周期管理平台。
综合来看，人工智能治理的要素应当带来信心。它们应当使AI模型和应用的输出令人信服，以便最终用户能够自信地采取行动。它们还应当使组织相信自己受到保护，免受不当使用。
“人工智能治理是能够使用人工智能应用程序并在使用这些人工智能应用程序时营造信任和诚信环境的能力，”马拉卡尔说。“这是最佳实践和问责制。并不是每个公司在人工智能治理的各个方面都表现出色，但只要他们至少牢记这些原则，就会更好地利用人工智能。”
好处与后果
根据法默的说法，良好人工智能治理框架的最重要结果可能是信心。
当用于训练人工智能模型的数据可以被信任时，输出也可以被信任。而当输出可以被信任时，用户可以采取导致增长的行动。同样，当由人工智能工具自动化和监督的流程可以被信任时，数据科学家、工程师和其他专家可以利用他们从繁琐任务中解放出来的时间来承担新的任务，这些任务同样可以促进增长。
“好处就是信心，”法默说。“当你治理得当时，你就有信心去做更多的事情。”
更具体地说，良好的人工智能治理导致合规性，并避免因违反法规而带来的财务和声誉损害，佩特里指出。特别是欧洲在人工智能方面有严格的规定，而美国也预计将增加对人工智能开发者和部署者可以做和不能做的监管限制。
除了合规性，良好的人工智能治理还带来了良好的客户关系，佩特里继续说道。人工智能模型和应用可以为企业提供关于客户的超个性化信息，有效地促进个性化购物体验和交叉销售机会，从而增加利润。
“这些好处是显著的，”佩特里说。“[但是]如果你要将某些东西提供给客户——特别是生成式人工智能——你最好确保做到正确，因为你正在玩弄你的收入流。”
如果企业在生成式人工智能（或传统人工智能）方面出错，即如果控制人工智能模型和应用的开发和部署的治理框架不佳，后果可能是严重的。
“各种坏事都可能发生，”佩特里说。
其中一些与拥有良好人工智能治理框架的组织所能获得的结果截然相反。组织可能会面临好奇的监管者，而不是合规；与客户建立的良好关系可能会变得糟糕。
但这些是最终结果。
首先，导致监管者好奇和客户关系不佳的原因，包括不准确的输出、偏见输出和知识产权处理不当。
“如果这些风险没有得到妥善控制和缓解，你可能会面临……监管处罚或合规相关的费用、愤怒或疏远的客户，甚至可能导致运营流程出现瓶颈，因为人工智能的预期效率收益得不到实现，”佩特里说。
缺乏数据安全性、可解释性和问责制是糟糕人工智能治理的其他结果，马拉卡尔表示。
如果没有良好的数据治理和人工智能治理的结合，可能会发生安全漏洞，以及准备不当的数据——例如，未经过匿名化的个人可识别信息——渗入模型并被曝光。此外，如果没有良好的治理，及时解释和修复不良输出或知道应追究谁的责任可能会变得困难。
“你不想建立一个无法被信任的模型，”马拉卡尔说。“这对公司的整体文化构成风险，可能会影响士气。”
最终，正如良好的人工智能治理会带来信心，糟糕的人工智能治理则会导致缺乏信心，法默指出。
如果一家竞争公司信任其人工智能模型和应用，而另一家则不信任，能够自信行动的公司将获得利益，而另一家公司则会停滞不前，错失生成式人工智能所带来的增长机会。
“鉴于这一转变是如此根本，不良治理将真正阻碍你的发展，”法默说。“治理是迅速而自信行动的能力与被束缚和冒险的区别。”
埃里克·阿维顿（Eric Avidon）是TechTarget编辑部的高级新闻记者，拥有超过25年的新闻经验。他专注于分析和数据管理。
