为了衡量人工智能项目的成功，特别是生成式人工智能，组织应该建立关键绩效指标（KPI），以提高项目效率并带来有意义的社会效益。生成式人工智能的独特之处在于其能够根据训练数据生成内容——无论是文本、图像还是其他形式的媒体——这需要特定的成功评估指标。
传统的人工智能实施涉及机器学习来构建基础模型、算法和训练方法。生成式人工智能遵循类似的过程，但还需要基于创造力的KPI，这与用于评估典型预测性人工智能模型的KPI不同。训练后，开发人员通过将生成的输出与创造力、相关性或多样性的基准进行比较来衡量生成模型，具体取决于应用场景。
衡量生成式人工智能的成功是具有挑战性的，因为主观因素往往涉及其中。因此，评估生成式人工智能的表现时，既需要可测量的输出（客观）也需要人类评估反馈（主观）。选择合适的工具，使用与生产环境紧密相似的真实数据是至关重要的。
定义人工智能KPI
人工智能KPI可以分为两种类型：直接指标和间接指标。
直接指标
在机器学习中，包括生成式人工智能，一个关键的直接指标是均方误差。这一指标测量生成的输出与预期结果之间的方差，帮助量化训练中的错误。
本文是
企业人工智能指南
- 还包括：
- 人工智能如何推动收入？这里有10种方法
- 8个人工智能无法替代的工作及其原因
- 2024年十大人工智能和机器学习趋势
另一个常见的指标是困惑度（perplexity），特别是对于基于语言的生成式人工智能模型。困惑度衡量语言模型对样本的预测能力，并指示生成内容的准确性。较低的困惑度表明模型在生成类人文本方面表现更佳。
对于生成媒体或图像的生成式人工智能应用，Fréchet起始距离（FID）是一个有用的指标。FID于2017年开发，通过将生成的图像与真实图像进行比较，关注它们与人类创作图像的相似度，来衡量生成图像的质量。
其他基于图像的指标可能包括结构相似性指数（SSIM），该指标于2004年为电影行业开发，评估生成图像与原始数据相比的感知质量。
现有的与商业和IT相关的KPI同样适用于人工智能项目，包括以下内容：
- 平均修复时间（MTTR）衡量问题解决的速度。
- 首次联系解决率衡量在不升级的情况下，问题在第一层支持中解决的百分比。
- 内容相关性评分，对于基于文本的模型，可以作为生成内容与商业或创意需求的匹配程度的重要指标。
间接指标
间接指标同样重要，尤其是对于生成式人工智能，创造力和用户满意度等重要但主观的衡量标准发挥着重要作用。这些指标源于直接指标，关注更广泛的影响：
- 客户满意度和反馈。在用于客户面对面的应用（如聊天机器人）的生成式人工智能中，人类反馈可以帮助评估人工智能服务其预期目的的效果。
- 用户参与率。对于生成文本、艺术或音乐等创意输出的应用，用户与生成内容的互动或参与程度是一个强有力的间接指标。
- 创新评分。这一指标衡量生成式人工智能提出新颖、实用的想法或创意输出的频率，以满足特定的创新目标。
- 内容多样性。该指标评估生成式人工智能系统在不同上下文或领域中产生多样化、高质量输出的能力。
虽然间接指标很重要，但不应成为评估人工智能系统影响的唯一标准。它们必须以直接、可观察的指标为基础，以确保定量和定性成功。
KPI如何衡量人工智能成功
与人工智能相关的KPI——无论是直接还是间接——帮助组织通过量化投资回报率和运营效率来衡量成功。对于生成式人工智能，投资回报率可以通过创造力、内容创作节省的时间、用户满意度以及生成与商业或用户需求相符的输出的准确性来衡量。
生成式人工智能的投资回报率还涉及可扩展性——即在保持质量的情况下，能够在给定时间内生成多少输出。例如，一个组织可能会投资于生成式人工智能，以自动化市场材料的创建。如果人工智能能够将人类设计时间减少50%，这就成为一个切实的投资回报率衡量标准。
另一个例子是一个企业使用生成式人工智能来提升客户体验。通过将实时聊天支持中生成个性化响应所需的时间减少30%，该组织可以在劳动力上节省显著成本，并增强用户参与度，从而同时促进基于时间的投资回报率和客户保留。
KPI使公司能够通过首先关注可测量、可观察的输出，然后评估客户满意度或创造力等间接收益，来量化人工智能的成功。当有效应用时，这些KPI不仅帮助跟踪技术性能，还帮助跟踪人工智能和生成式人工智能系统的实际影响。
Jerald Murphy是Nemertes Research的高级副总裁，负责研究和咨询。Murphy拥有超过三十年的技术经验，曾在神经网络研究、集成电路设计、计算机编程和全球数据中心设计等多个技术主题上工作。他还曾担任一家托管服务公司的首席执行官。
