**Databricks于周二推出Databricks Apps,旨在简化用户构建定制数据和AI应用程序的功能。**
Databricks已经提供了Mosaic AI,这是一个让客户能够将大型语言模型(LLMs)与企业专有数据集成的环境。然而,缺少的是开发交互式应用程序的能力,比如由AI系统与专有数据结合驱动的生成式AI聊天机器人。
Databricks Apps增加了在Mosaic AI现有工具基础上开发应用程序的能力,使开发人员能够在安全的Databricks环境中执行整个开发和部署过程。
据TreeHive Strategy的创始人兼首席顾问Donald Farmer表示,由于Databricks Apps扩展了用户在Mosaic AI上的能力,并允许他们在不需要第三方平台的情况下开发应用程序,这一新工具集具有重要意义。
“Databricks的消息非常有趣,”他说。“新的Databricks Apps功能消除了诸如需要单独启动基础设施进行开发和部署等烦恼障碍。因为他们现在可以直接在Databricks中部署和管理应用程序,这应该会容易得多。”
企业不能仅仅通过实施AI/ML模型在竞争中脱颖而出。相反,他们必须创建利用独特数据集的差异化应用程序。Databricks Apps帮助AI采用者迈出这一步。Kevin PetrieBARC美国分析师
BARC美国的分析师Kevin Petrie同样指出,Databricks Apps是该供应商客户的重要补充,因为它增强了他们在Mosaic AI中能够开发的功能。
“企业不能仅仅通过实施AI/ML模型在竞争中脱颖而出,”他说。“相反,他们必须创建利用独特数据集的差异化应用程序。Databricks Apps帮助AI采用者迈出这一步。”
Databricks总部位于旧金山,成立于2013年,是一个数据平台供应商,曾是数据湖仓储格式的先锋之一,结合了数据仓库的结构化数据存储能力和数据湖的非结构化数据存储能力。在过去两年中,该供应商已将AI作为重点,扩展其平台以包括部署和管理传统AI、生成式AI和机器学习应用程序的环境。
Databricks在2023年6月以13亿美元收购MosaicML是创建该环境的重要部分,MosaicML的技术现已成为Databricks AI和机器学习能力的基础。随后的收购和产品开发计划——包括Databricks自己的大型语言模型DBRX的推出——增加了功能。
现在,Databricks Apps——在AWS和Azure上提供公共预览——进一步推动了该供应商的AI开发能力。
新功能
由于生成式AI在数据管理和分析中的潜力,企业对AI的兴趣正在激增。
生成式AI的一个承诺是,它可以实现真正的自然语言处理,使非技术工人能够使用分析来指导决策。其潜力的另一个方面是可以用来生成代码和自动化流程,从而提高数据专家的效率。
然而,开发生成式AI应用程序——包括允许用户查询和分析数据的聊天机器人,以及使用机器学习来监控数据质量等任务的工具——并不容易。Databricks Apps旨在通过使开发人员能够在安全的Databricks环境中完成所有工作,同时在构建数据和AI应用程序时提供选择,从而简化应用程序开发。
在Databricks Apps推出之前,Databricks客户必须使用第三方供应商的平台来完成生成式AI聊天机器人、AI驱动的分析应用程序和其他智能功能的开发。然而,混合专有数据、AI系统(如LLMs)和第三方开发平台存在意外数据泄露的风险。此外,这也是一项昂贵的工作。
开发数据和AI应用程序的困难、风险和高成本部分源于它们所需的所有移动。相关数据需要被发现并从数据存储平台中移出以训练应用程序。应用程序需要在集成开发环境(IDE)或其他数据科学平台中开发。然后,应用程序需要被移动到其托管环境中进行部署和管理。
Databricks Apps消除了这种劳动密集型、昂贵和风险的移动需求。
相反,它使开发人员能够在Databricks中本地构建应用程序,使用包括Dash、Flask、Gradio、Shiny和Streamlit等开发框架。此外,它还提供了预构建的Python模板,以加快开发过程。如果开发人员更喜欢在Visual Studio Code或PyCharm等IDE中工作,Databricks Apps也支持这种方式。
根据供应商的说法,开发完成后,Databricks Apps消除了为部署和运行应用程序构建基础设施的需要,而是在Databricks内部运行自动分配的无服务器计算存储的应用程序。与此同时,管理包括安全措施和治理能力,如通过Unity Catalog访问的访问控制和数据血缘。
“这里有一些潜在的非常有影响力的功能,”Farmer说。“例如,对流行开发框架的支持,使应用程序开发人员能够使用熟悉的工具,扩展了Databricks生态系统到新的应用程序开发者市场。”
此外,消除管理应用程序所需的基础设施开发也是值得注意的,他继续说道。
“无服务器计算的自动配置将是重要的,因为它使开发人员能够专注于构建应用程序,而不是部署数据架构的复杂过程,这对那些不是数据专家的人来说是一个障碍,”Farmer说。
从竞争的角度来看,Databricks在过去几年中积极开发构建、部署和管理AI和机器学习工具的环境,使其与其他数据平台供应商有所区别。
虽然AWS、Google Cloud、Microsoft和Snowflake都同样将AI作为产品开发的重点,但他们的AI模型和应用程序开发及管理工具并不像Databricks所构建的那样集成,他继续说道。Databricks Apps进一步加深了Databricks与同行之间的差异。
“Snowflake一直在追赶,或者说至少在努力追赶,但Databricks的持续开发是非常有吸引力的,”Farmer说。“当然,Microsoft Fabric旨在成为类似于Databricks的统一平台,但它仍然是一个劣势产品。Google Cloud Platform和AWS拥有广泛的AI和ML服务,但它们在平台上的集成度并不高。”
尽管Databricks Apps增加了功能,Petrie警告说,客户能够开发的应用程序——特别是生成式AI应用程序——并不会突然使组织内的任何人都能自由使用数据。虽然Databricks旨在帮助企业扩大数据和AI的覆盖面,但仍然需要培训和专业知识,以便根据这些决策使用数据和AI来指导决策和采取行动。
“像许多供应商一样,Databricks的目标是‘民主化'数据、分析和AI的使用,”Petrie说。“但我认为这些应用程序的用户仍然需要在数据、AI和业务领域方面具备相当的专业知识,具体取决于所涉及的用例。”
虽然Databricks Apps扩展了客户在Mosaic AI中能够做的事情,并展示了Databricks继续专注于改善其AI和机器学习开发环境,但新功能的推动力来自客户反馈,供应商的产品管理副总裁Shanku Niyogi表示。
他指出,开发和部署内部应用程序一直很复杂。但随着企业对AI的兴趣迅速增加,Databricks等供应商简化AI应用程序的开发和部署的需求愈发迫切。
“客户……分享了构建和部署内部数据应用程序历史上一直是一个复杂且耗时的过程,”Niyogi说。“他们特别要求在保持安全环境的同时,提供更简单的方法来测试新功能。随着AI的爆炸性发展,这一需求只会增加。”
展望未来
根据Niyogi的说法,Databricks Apps并不会结束Databricks对应用程序开发和部署的关注。
他表示,供应商的目标是让数据和AI对广泛的用户群体可用。为此,Databricks计划投资于开发新的Mosaic AI功能,并通过合作伙伴关系增加其他能力。
“Databricks将继续使AI对组织更具可及性,”Niyogi说。“这包括进一步简化应用开发过程;新的Mosaic AI功能,帮助团队构建、部署和衡量复合AI系统;以及对协作AI合作伙伴生态系统的持续投资。”
与此同时,Farmer表示,Databricks专注于改善AI和机器学习工作流程是合适的。他特别建议供应商增强对非技术用户和新兴AI技术(如多模态模型)应用程序开发的支持。
“多模态在未来几年将变得至关重要,”Farmer说。“我认为我们还应该看到更多针对非技术用户的开发。这次发布包括了首次尝试,毫无疑问这是Databricks的新方向的开始,这也是一个非常受欢迎的方向。”