AWS于周二推出了一系列新的大型语言模型以及管理生成性AI模型的新工具和服务。
在拉斯维加斯举行的AWS Re:Invent 2024大会上，这家云计算巨头发布了Amazon Nova，这是一系列仅在Amazon Bedrock上提供的基础模型，Amazon Bedrock是AWS的生成性AI和机器学习平台。
Amazon Nova
这一系列包括三种类型的模型，预计很快还会推出第四种模型。
AWS表示，Amazon Nova Micro是一个仅支持文本的大型语言模型（LLM），能够以低成本提供低延迟的响应。它的上下文窗口为128K个令牌。根据供应商的说法，它适用于文本摘要、翻译、头脑风暴以及简单的数学推理。
Amazon Nova Lite是一个多模态模型，能够处理图像、视频和文本输入。它生成文本输出，并支持最多300K个令牌的输入。它可以分析多张图像和30分钟的视频。
Amazon Nova Pro是一个用于分析金融文档的多模态模型。它的上下文窗口为300K个令牌，并且可以处理15,000行代码。
用于复杂推理的Amazon Nova Premier仍在训练中，预计将在2025年推出。
Amazon Nova系列还包括Amazon Nova Canvas，一个图像生成模型，以及Amazon Nova Reel，一个视频生成模型。
AWS首席执行官展示自动推理检查。
没有赢家模型
新一代AWS模型将加入云服务提供商在Amazon Bedrock上提供的不同模型的选择。该平台拥有来自多个生成性AI供应商的10多个基础模型、LLM和多模态模型，包括Anthropic、Cohere、Meta、Mistral和Stability AI。亚马逊自己的模型，包括Titan系列通用LLM，也在Bedrock上。
AWS表示，Bedrock旨在为客户提供模拟现实生活的选择。
“现实情况是，你们所有人都会在不同的时间出于不同的原因使用不同的模型，这正是现实世界的运作方式，”亚马逊总裁兼首席执行官安迪·贾西在周二的大会主题演讲中表示。
他补充说，在生成性AI技术的实际应用中，在现实世界中，有时人们会针对编码或数学优化模型，有时则针对自主代理，其他时候则关注成本。“大多数情况下是这些因素的某种组合。在AWS，我们将为您提供所有这些的最佳组合，”贾西说。
通过提供自己的基础模型以及市场上其他模型的选择，AWS追求一种策略，即没有单一模型会在市场上获胜。
“Informa TechTarget的企业战略组分析师马克·贝库表示：“这并不一定是竞争。将会有很多模型。”
Nova的差异化
AWS声称，Amazon Nova的主要优势在于它提供的不同类型的模型价格低于竞争对手。
Amazon Nova Micro的输入令牌费用为每千个0.000035美元，输出令牌费用为每千个0.00014美元。Nova Lite的输入令牌费用为每千个0.00006美元，输出令牌费用为每千个0.00024美元。
Nova Pro的输入令牌费用为每千个0.0008美元，输出令牌费用为每千个0.0032美元。
例如，Anthropic的Claude LLM的输入令牌费用在每千个0.003到0.0008美元之间，输出令牌费用在每千个0.0024到0.024美元之间，这些定价细节由AWS整理并提供。
“如果这是真的，那将是一个巨大的交易，”贝库说，并补充说，对于运行生成性AI模型的企业来说，一个大挑战是如何有效地运行这些模型以支持业务应用。“这不仅仅是训练，还有推理。每当您运行模型时，必须足够便宜以支持您正在尝试做的事情。”
因此，如果Amazon Nova可以为企业提供更便宜的替代方案，那将是AWS的一个突破，贝库表示。
然而，Nova可能仅在Bedrock上可用，因为AWS对模型在其系统上运行时的成本节约充满信心，而不是在其他系统上。
Gartner分析师吉姆·哈雷表示，Nova也可能对亚马逊内部运营有用，可能改善面向消费者的Amazon.com的物流。
“我认为受益最大的可能是亚马逊本身，利用这些模型帮助进行一些创新，”哈雷说。
应对幻觉问题
除了在Bedrock上推出的新基础模型系列外，AWS还推出了应对LLM和生成性AI某些问题的新功能。
一个挑战是幻觉。
为了解决这一问题，AWS推出了自动推理检查的预览版。
自动推理检查帮助用户验证LLM生成的响应的准确性，以防止幻觉。
当LLM出现问题时，自动检查会发出警报，并将人类重新引入流程以验证信息并检查幻觉。
“对我来说，这很独特，”贝库说。“这表明我们在管理这些问题上取得了进展，这正是我们需要看到的。”
虽然自动推理检查在防范幻觉方面似乎很有前景，但哈雷表示，目前尚不清楚用户将如何设置它。
“这似乎是基于政策和业务规则，”他说。“细节决定成败，但我认为这突显了AWS正在努力帮助客户解决他们面临的一些挑战，并使用这些生成性AI工具。”
AWS还推出了一个名为Amazon Bedrock模型蒸馏的LLM管理工具的预览版。
模型蒸馏自动化了为用户特定用例创建蒸馏模型的过程——一个被训练成像大型模型一样运作的小型模型，通过从大型基础模型生成响应。
大型基础模型是教师模型。还有一个经过微调的小型模型称为学生模型。它使用数据合成来改善教师模型提供的响应。
模型蒸馏解决了幻觉问题，并使用户能够运行模型的一部分，而不是全部，哈雷表示。
他指出，AWS并不是唯一一家拥有模型蒸馏能力的供应商，但他说这一新功能显示了AWS正在努力解决一些生成性AI问题。
AWS还在预览版中推出了Amazon Bedrock的多代理协作能力。该新工具允许用户构建、部署和管理多个在复杂多步骤任务上工作的AI代理，亚马逊表示。
Cohere Rerank 3.5及其他新闻
AWS还与一些试图帮助企业管理其模型的供应商建立了合作关系。
12月2日，AWS透露，独立生成性AI供应商Cohere的高级重排序模型Rerank 3.5通过Amazon Bedrock上的新Rerank API提供。重排序是一种利用LLM模型的语言理解能力来提高搜索结果相关性的技术。
Cohere Rerank 3.5提高了检索增强生成（RAG）和企业搜索的准确性，另一位Gartner分析师阿伦·钱德拉塞卡兰表示。
“Cohere在这里想要做的是，如果您使用关键字搜索或使用RAG来实现搜索，我们可以与您现有的内容合作，并提高您正在做的事情的质量，”钱德拉塞卡兰说。“他们只是试图协助并提升客户已经部署的现有产品或系统的质量。”
每当您运行模型时，必须足够便宜以支持您正在尝试做的事情。 马克·贝库 企业战略组分析师
在基础设施方面，AWS透露其Trainium2 AI芯片现已普遍可用。
此外，科技巨头还为其生成性AI驱动的助手Amazon Q Business新增了新功能。
即将推出的Amazon Q功能之一是简化复杂工作流程的创建和维护。
AWS还表示，借助50个Amazon Q的操作插件，用户现在可以连接第三方应用程序并执行特定任务。
通过所有这些新功能和工具，AWS展示了它希望追求长期战略，而不是试图追赶来自专业供应商的生成性AI进展，哈雷表示。
“他们的战略更多是围绕提供这些能力……以确保您拥有适当的护栏和能力来安全使用生成性AI，并拥有您需要的所有信任，以用于企业用例，”他说。
