You dont have javascript enabled! Please enable it!

企业如何通过 KPI 衡量人工智能的成功

为了衡量项目的成功,特别是生成式人工智能,组织应该建立关键绩效指标(KPI),以提高项目效率并带来有意义的社会效益。生成式人工智能的独特之处在于其能够根据训练数据生成内容——无论是文本、图像还是其他形式的媒体——这需要特定的成功评估指标。

传统的人工智能实施涉及来构建基础模型、算法和训练方法。生成式人工智能遵循类似的过程,但还需要基于创造力的KPI,这与用于评估典型预测性人工智能模型的KPI不同。训练后,开发人员通过将生成的输出与创造力、相关性或多样性的基准进行比较来衡量生成模型,具体取决于应用场景。

衡量生成式人工智能的成功是具有挑战性的,因为主观因素往往涉及其中。因此,评估生成式人工智能的表现时,既需要可测量的输出(客观)也需要人类评估反馈(主观)。选择合适的工具,使用与生产环境紧密相似的真实数据是至关重要的。

定义人工智能KPI

人工智能KPI可以分为两种类型:直接指标和间接指标。

直接指标

在机器学习中,包括生成式人工智能,一个关键的直接指标是均方误差。这一指标测量生成的输出与预期结果之间的方差,帮助量化训练中的错误。

本文是

企业人工智能指南

  • 还包括:
  • 人工智能如何推动收入?这里有10种方法
  • 8个人工智能无法替代的工作及其原因
  • 2024年十大人工智能和机器学习趋势

另一个常见的指标是困惑度(perplexity),特别是对于基于语言的生成式人工智能模型。困惑度衡量语言模型对样本的预测能力,并指示生成内容的准确性。较低的困惑度表明模型在生成类人文本方面表现更佳。

对于生成媒体或图像的生成式人工智能应用,Fréchet起始距离(FID)是一个有用的指标。FID于2017年开发,通过将生成的图像与真实图像进行比较,关注它们与人类创作图像的相似度,来衡量生成图像的质量。

其他基于图像的指标可能包括结构相似性指数(SSIM),该指标于2004年为电影行业开发,评估生成图像与原始数据相比的感知质量。

现有的与商业和IT相关的KPI同样适用于人工智能项目,包括以下内容:

  • 平均修复时间(MTTR)衡量问题解决的速度。
  • 首次联系解决率衡量在不升级的情况下,问题在第一层支持中解决的百分比。
  • 内容相关性评分,对于基于文本的模型,可以作为生成内容与商业或创意需求的匹配程度的重要指标。

间接指标

间接指标同样重要,尤其是对于生成式人工智能,创造力和用户满意度等重要但主观的衡量标准发挥着重要作用。这些指标源于直接指标,关注更广泛的影响:

  • 客户满意度和反馈。在用于客户面对面的应用(如聊天机器人)的生成式人工智能中,人类反馈可以帮助评估人工智能服务其预期目的的效果。
  • 用户参与率。对于生成文本、艺术或音乐等创意输出的应用,用户与生成内容的互动或参与程度是一个强有力的间接指标。
  • 创新评分。这一指标衡量生成式人工智能提出新颖、实用的想法或创意输出的频率,以满足特定的创新目标。
  • 内容多样性。该指标评估生成式人工智能系统在不同上下文或领域中产生多样化、高质量输出的能力。

虽然间接指标很重要,但不应成为评估人工智能系统影响的唯一标准。它们必须以直接、可观察的指标为基础,以确保定量和定性成功。

企业如何通过 KPI 衡量人工智能的成功

KPI如何衡量人工智能成功

与人工智能相关的KPI——无论是直接还是间接——帮助组织通过量化投资回报率和运营效率来衡量成功。对于生成式人工智能,投资回报率可以通过创造力、内容创作节省的时间、用户满意度以及生成与商业或用户需求相符的输出的准确性来衡量。

生成式人工智能的投资回报率还涉及可扩展性——即在保持质量的情况下,能够在给定时间内生成多少输出。例如,一个组织可能会投资于生成式人工智能,以自动化市场材料的创建。如果人工智能能够将人类设计时间减少50%,这就成为一个切实的投资回报率衡量标准。

企业如何通过 KPI 衡量人工智能的成功

另一个例子是一个企业使用生成式人工智能来提升客户体验。通过将实时聊天支持中生成个性化响应所需的时间减少30%,该组织可以在劳动力上节省显著成本,并增强用户参与度,从而同时促进基于时间的投资回报率和客户保留。

KPI使公司能够通过首先关注可测量、可观察的输出,然后评估客户满意度或创造力等间接收益,来量化人工智能的成功。当有效应用时,这些KPI不仅帮助跟踪技术性能,还帮助跟踪人工智能和生成式人工智能系统的实际影响。

Jerald Murphy是Nemertes Research的高级副总裁,负责研究和咨询。Murphy拥有超过三十年的技术经验,曾在神经网络研究、集成电路设计、计算机编程和全球数据中心设计等多个技术主题上工作。他还曾担任一家托管服务公司的首席执行官。

© 版权声明

外贸建站推广

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...