Acceldata 推出人工智能驱动的数据可观测工具

AI技术2个月前更新 gy.J

8 0 0

Acceldata在周二推出了一系列以人工智能驱动的数据可观察性功能，旨在帮助客户更轻松有效地解决数据完整性问题，包括智能匹配以比较数据集和创建规则以加速对账。

根据BARC美国的分析师Kevin Petrie的说法，随着企业对实时分析和人工智能驱动工具的依赖日益增加，解决用于实时和AI驱动应用的数据质量问题的数据可观察性变得愈发重要。

“公司长期以来一直在与数据质量问题作斗争，”他说。

Petrie继续指出，常见问题包括数据不完整、不一致、过时或不准确。这些问题反过来可能导致分析输出不准确、项目延误和成本超支。

人工智能倡议提高了风险，因为如果没有可靠的输入，人工智能和机器学习模型可能会自动化错误决策和误导行为，从而损害业务。数据质量可观察性工具帮助数据团队识别、评估和解决或预防问题。Kevin Petrie BARC美国分析师。

“人工智能倡议提高了风险，因为如果没有可靠的输入，人工智能和机器学习模型可能会自动化错误决策和误导行为，从而损害业务，”Petrie说。“数据质量可观察性工具帮助数据团队识别、评估和解决或预防问题。”

Acceldata总部位于加利福尼亚州的坎贝尔，是一组数据可观察性专家之一，其他公司包括Monte Carlo、Metaplane和Soda Data。

该供应商在2023年2月筹集了5000万美元的资金，并在随后的10月又筹集了1000万美元。自那时以来，它收购了Bewgle，以增加生成式人工智能和大型语言模型管道的数据可观察性能力，开发了新的自动修复能力，并推出了对话式人工智能功能，使用户更容易、更高效地监控数据。

新功能

数据可观察性就是监控数据在管道中移动，以确保其质量。

这曾是一个相对简单的过程。几十年来，组织的所有数据都存储在由数据专家团队管理的本地数据库中。当分析师和其他数据使用者希望使用数据来支持决策时，他们会向数据团队提交请求，后者通常会每周、每月或每季度开发报告、仪表盘和其他数据产品。

然而，现在数据可观察性对人类来说是一项艰巨的任务。

云计算的出现改变了这一范式，使得存储容量远大于本地数据库，并能够收集和摄取大量数据，这些数据仍在以指数级增长。此外，曾经足够的后视周报、月报和季报现在已无法满足企业的需求。

实时分析成为一种必要性，而人工智能也正在成为一种必要性。两者都要求在数据收集时立即对数据进行操作，这与个别组织的数据量达到PB级别相结合，使得即使是大型人类团队也难以检查数据质量。

那些自动化监控数据的平台的可观察性供应商——当问题出现时会提醒工程师和其他专家——使企业能够保持确保实时和人工智能应用准确性所需的数据质量。

在2023年3月，Acceldata推出了自动事件检测和修复能力，以及智能警报功能，使用户能够理解哪些警报需要优先处理。

该供应商的最新更新推动了这些自动化能力的发展。根据Petrie的说法，特别值得注意的是旨在使发现和解决数据完整性问题更容易和更高效的人工智能驱动功能。

“Acceldata正在改善其发现数据问题、修复问题和满足审计要求的能力，”他说。

Acceldata的更新包括以下新功能：

针对复杂数据集的智能匹配，使用人工智能自动对齐数据集中的列，以便进行精确的数据比较，减少手动干预的需要。
批量对账政策创建，这是一种自动化规则创建的工具，以确保多个数据源和数据格式之间的一致性验证和修复。
错误检测及根本原因分析，不仅提醒用户需要修复的数据，还提供人工智能驱动的解决数据质量问题的建议。
可审计流程，提供审计准备文档，以保持数据操作中的数据完整性和问责制。
表模式对账，自动适应数据库模式的变化，在转换过程中保持一致性和准确性。
嵌套数据结构，以解决JavaScript嵌套数组的问题，这些数组是JavaScript中相关数据的分组。
UPSERT处理，使用户能够管理增量记录、批量更新和多重加载合并，以保持大环境中的数据完整性。
跨环境灵活对账，旨在解决高容量表中的数据完整性问题，而无需复杂的数据基础设施。
基于块的哈希等值，减少数据移动并保持精确性，通过将高容量数据集分解为更小、更易管理的块并通过哈希比较其表进行对账。

关于开发构成Acceldata最新更新的新功能的动机，供应商的联合创始人兼首席技术官Ashwin Rajeeva表示，客户反馈和市场观察的结合是决定性因素。

例如，客户经常提到在迁移、集成和转换数据时，传统对账方法的扩展问题，这促使Acceldata通过自动化来提供帮助。与此同时，随着组织的数据部署变得愈加复杂，包括具有多个云和本地数据库的混合环境，确保跨环境的数据质量至关重要。

“Acceldata的人工智能驱动能力是客户洞察与我们对数据领域不断变化需求的承诺相结合的结果，”Rajeeva说。

与此同时，Petrie指出，该更新帮助Acceldata在与主要竞争对手的竞争中保持竞争力。尽管单个功能增加了该供应商平台的全面性，但该平台现在与其他数据可观察性专家的产品相比，表现良好。

“这个[更新]使其在数据质量工具如Monte Carlo中更具竞争力，”他说。

Monte Carlo已经筹集了2.36亿美元的资金，包括在2022年筹集的1.35亿美元，筹集的金额是Acceldata的1.056亿美元的两倍多。此外，Monte Carlo和Metaplane最近都发布了更新。Monte Carlo增加了新的生成式人工智能工具，而Metaplane则推出了一个与Snowflake的本地应用程序，进一步加强了两者之间的联系。

根据Petrie的说法，Acceldata通过提供广泛的数据可观察性工具来保持步伐。尽管Monte Carlo的最新版本包含两个新工具，Metaplane的最新版本则集中在与Snowflake的关系上，但Acceldata的更新包括近10个新功能。

“Acceldata通过其数据管道可观察性功能的深度来区分自己，”Petrie说。“与其他数据质量工具相比，Acceldata帮助数据团队衡量和优化数据管道及其基础设施的性能。”