数据可观察性专家Monte Carlo在周一推出了根本原因分析功能，旨在加快和简化数据质量事件的识别和解决过程。
该供应商的新根本原因分析工具专门针对Databricks查询代码和GitLab拉取请求的诊断。根据Monte Carlo的联合创始人兼首席技术官Lior Gavish的说法，它计划为其他平台增加类似的能力。
根本原因分析是一种发现导致数据质量下降的代码更改背后原因的方法。
通过在变更发生时识别原因，根本原因分析使开发人员和工程师能够在变更产生后果之前进行处理，因此根据BARC美国分析师Kevin Petrie的说法，这在数据管理过程中是一个重要部分。
“一个可行的数据可观察性程序包括检测、评估和修复，”他说。“一旦你发现了问题，就需要找到根本原因，以便进行评估、分类和修复，例如，通过调试或替换有问题的数据管道。”
总部位于旧金山的Monte Carlo是一家数据可观察性供应商，其平台使客户能够监控数据从摄取、集成到最终分析的整个过程。其目的是确保用于训练模型和应用程序、馈送仪表盘和指导决策的数据是准确且最新的。
“一个可行的数据可观察性程序包括检测、评估和修复。一旦你发现了问题，就需要找到根本原因，以便进行评估、分类和修复。”Kevin PetrieBARC美国分析师
在2023年，该供应商为向量数据库添加了数据可观察性，这些数据库已成为用于训练生成AI工具的检索增强生成管道的重要组成部分。同年，Monte Carlo推出了自己的生成AI能力，使客户能够使用自然语言创建SQL代码，并在编码出现问题时提醒用户并提供修复建议。
新功能
数据质量至关重要，尤其是在企业对AI兴趣增加和更多流程自动化的背景下。
由于数据是分析和AI的基础，因此数据必须准确，以便基于分析和AI做出的决策同样准确。同时，随着数据量的指数级增加和数据复杂性的上升，即使是人类团队也无法监控每个数据点和数据集的质量。
对此，像Monte Carlo这样的供应商以及其他数据可观察性专家，包括Acceldata、Metaplane和Soda，开发了自动监控数据质量的平台，并在事件发生时提醒用户。
然而，这些警报与数据点和数据集有关，而不是与底层代码相关。因此，为了修复事件，数据工程师和其他专家仍需追溯事件的源头——其根本原因——才能进行修复。根据Monte Carlo和Wakefield Research对200多名数据专业人士的调查，这一过程平均需要15个小时。
这几乎需要两个完整的工作日才能找到单个事件的源头并进行修复。根本原因分析旨在消除与发现和解决导致数据质量问题的变化相关的大部分时间和费用。
根据Gavish的说法，数据质量问题通常可以追溯到三个原因之一：数据本身的问题、系统中的异常或代码的问题。
Monte Carlo的新根本原因分析能力专门针对Databricks和GitLab代码的问题，无论是开发人员和工程师的简单编码错误，还是故意更新的不可预见后果。
当检测到事件时，开发人员和工程师会收到警报，包括将事件与导致该事件的具体更改相关的信息。因此，根据Monte Carlo的说法，停机时间——解决数据质量问题所需的时间——减少了约80%。
“在解决数据问题时，速度至关重要，”Gavish说。“能够快速找到与代码相关的问题的根本原因可以加快解决速度。当你在一个平台上对数据、系统和代码问题都有可见性时，理解根本原因就容易得多。”
如何进行根本原因分析。
具体而言，使用Monte Carlo的新根本原因分析能力，数据可观察性供应商的客户可以轻松查看每个表的Databricks查询日志和查询更改。通过这样做，他们可以看到是否对特定表或数据管道的其他部分进行了查询更改，以及该更改是否是问题的根源。
同样，Monte Carlo的新功能使GitLab用户能够查看哪些拉取请求与哪些表相关。这可以帮助用户了解这些请求发生的时间以及新代码何时被合并，以及该新代码是否导致数据质量问题。
根据Petrie的说法，鉴于其提供的可见性，Monte Carlo针对Databricks查询代码和GitLab拉取请求的新根本原因分析能力对数据可观察性供应商的客户来说是重要的。
“数据团队经常修订转换代码，以满足不断变化的业务需求，调整格式、过滤列等等，”他说。“虽然他们试图通过分支和测试管道代码来最小化错误，但一些问题不可避免地会进入生产并破坏数据质量。Monte Carlo通过自动检测异常日志，帮助数据工程师更快地发现这些错误。”
鉴于其对开发人员和工程师的潜在影响，Monte Carlo计划将其数据可观察性平台扩展到包括Databricks和GitLab以外的根本原因分析能力。
Databricks和GitLab都是开发人员常用的环境，Databricks在过去几年中积极构建用于开发生成AI、传统AI和机器学习模型的环境。然而，许多开发人员和工程师更喜欢其他平台来构建数据和AI模型及应用程序。
为了满足他们的需求，Monte Carlo计划将其根本原因分析能力扩展到Databricks和GitLab以外，根据Gavish的说法，尽管他没有具体说明公司计划针对哪些平台。
“我们不断探索和构建新的、更强大的方式来增强Monte Carlo的解决能力，”他说。“我们坚信要赋能客户在数据问题发生的地方进行解决。”
未来计划
随着针对Databricks查询代码更改和GitLab拉取请求的根本原因分析功能现已可用——并且已经计划增加更多根本原因分析能力——Monte Carlo的产品开发路线图专注于三个主要主题，根据Gavish的说法：
- 进一步加快事件解决。
- 扩展数据可观察性，以覆盖从摄取到分析的整个数据管理过程。
- 将数据可观察性应用于AI应用程序。
更多的根本原因分析旨在加快事件解决。与Informatica和微软的Azure Data Factory的最新集成旨在将Monte Carlo的数据可观察性能力扩展到更多的数据管理过程。而与向量数据库公司Pinecone等供应商的集成则旨在将数据可观察性应用于AI开发。
“我们的愿景是继续将Monte Carlo发展为一个不仅能检测问题，还能解决并最终防止客户数据堆栈中任何来源问题的平台，”Gavish说。
与此同时，Petrie建议Monte Carlo将其数据可观察性能力扩展到监控数据质量之外。
他指出，数据可观察性不必仅限于数据本身。它可以扩展到监控构成数据管道的过程的性能，从数据首次摄取到准备进行分析的各个环节。
“Monte Carlo传统上专注于数据质量可观察性，”Petrie说。“我希望看到他们在相邻领域扩展，比如数据管道可观察性，更加关注底层基础设施的性能。”
