SambaNova Systems于周二推出了SambaNova Cloud，一个AI推理平台。
SambaNova Cloud由独立的AI硬件/软件供应商的AI芯片SN40L驱动。该推理平台使开发人员能够通过现已免费提供给任何登录平台的开发人员的API，使用Meta的Llama 3.1 405B和Llama 3.1 70B大型语言模型（LLMs）创建生成式AI应用程序。
SambaNova Cloud还设有开发者和企业两个层级。
开发者层级允许开发人员使用Llama 3.1的8B、70B和405B模型快速构建模型，预计将在2024年底前提供。
企业层级模型则使企业客户能够更快速地构建生产工作负载的模型，目前已可使用。
SambaNova Cloud的推出正值企业开始实施生成式AI工作流并在不同规模上部署它们的时机。
替代基础设施
企业也在探索开源和闭源模型。Meta的Llama大型语言模型是开源的。
“几乎我接到的每一个来自企业和风险投资家的电话都涉及如何利用Meta Llama 3和3.1模型，”Gartner研究分析师Chirag Dekate表示。
大多数采用和实施生成式AI工作流的企业正在使用面向GPU的基础设施，同时也在探索可以轻松集成的其他类型架构。
SambaNova Cloud为企业提供了一种替代基础设施。
“每当你有像SambaNova这样的ASIC（专用集成电路）时，它几乎总是能提供比任何传统GPU更好的性能，”Dekate说。这是因为ASIC不需要像GPU那样消耗大量能源，使它们更高效，从而实现更好的性能。
然而，AI ASIC面临的一个重大挑战是如何集成软件堆栈。
这是SambaNova Cloud希望解决的挑战。通过SambaNova Cloud，企业不必自己构建合适的软件堆栈。相反，SambaNova通过提供SN40L作为服务来帮助企业应对集成挑战，Dekate说。
此外，SambaNova的全栈方法使其能够提供所需的优势，以支持Llama 3.1 405B，IDC分析师Matthew Eastwood表示。
“LLMs需要先进的资源扩展以进行推理和成本效益的部署策略，”Eastwood说。“总体而言，这些工作负载需要对硬件、软件和性能优化进行更量身定制的处理。”
作为ASIC的供应商，SambaNova通常能够提供比使用GPU的AI供应商更高的效率，Dekate说。
“AI ASIC方法几乎总是提供更好的效率，包括能源效率、成本效率，更重要的是可持续性效率，优于相应的GPU生态系统，”他说。
AI代理
除了运行最大的Llama 3.1模型外，SambaNova Cloud还让开发人员以“无与伦比的速度”构建代理应用程序，SambaNova声称。
根据IDC的研究，AI代理需要“快速高效的操作以应对现实世界的动态环境，”Eastwood说。
AI代理具有“变革潜力……对于希望自动化流程和扩展操作的企业，”他补充道。
每当你有像SambaNova这样的ASIC（专用集成电路）时，它几乎总是能提供比任何传统GPU更好的性能。Chirag Dekate分析师，Gartner
AI代理是能够在没有人类干预的情况下执行任务的自主系统。
然而，尽管SambaNova最终可能兑现其AI代理的承诺，但关于代理应用的过度炒作风险依然存在，Dekate表示。
“市场上开始形成这样一种看法，即代理正在达到一种成熟水平，能够有效地解决生产问题，”他说。“现实情况远非如此。”
他补充道，要让代理提供真正的价值，必须发生几件事情。首先，模型需要超越语言，发展为多模态模型。多模态技术如何集成到应用程序中也必须演变。
“这些能力目前尚不可用。因此，参与代理AI的企业在投资之前应该谨慎十倍，因为代理AI的投资很可能无法达到预期，”Dekate继续说道。
SambaNova架构的多功能性将帮助供应商在真正的AI代理工作流所需技术演变时进行适应，他补充道。由于该架构具有灵活性，因此在AI市场向代理工作流转型时不需要太多更改。
Esther Ajao是TechTarget的编辑新闻撰稿人和播客主持人，专注于人工智能软件和系统。
