AI初创公司Mistral在发布其开源Mistral 7B模型一周年之际，推出了两个新的边缘计算模型。
在10月16日，Mistral推出了Ministral 3B和Ministral 8B，专为设备计算和边缘使用案例设计。虽然Mistral以其小型模型而闻名，但这两个Ministral模型是该AI供应商首次推出的边缘设备模型。
根据Mistral的说法，这些模型可以用于协调智能工作流，并创建专业任务工作者。它们可以调优以处理输入解析、路由任务和调用API，且具有低延迟和低成本的优势。
小型AI模型趋势
Mistral的新模型反映了AI技术在不同设备上的应用以及对小型AI模型日益增长的兴趣。
Mistral顺应了大型云服务提供商如微软和谷歌的趋势。例如，谷歌推出了Gemma模型系列，参数量均为20亿和70亿，而微软则有其小型语言模型系列Phi。
根据Gartner分析师Arun Chandrasekaran的说法，小型模型的重要性源于几个因素。他表示，小型模型意味着低推理成本。此外，在本地环境和边缘设备上运行小型模型也更为容易。
“这就是为什么模型变得越来越小，”Chandrasekaran说。“为了满足在资源受限环境中分发的需求。”
电信、汽车和制造等行业都对小型模型有着迫切需求。
Futurum Group分析师David Nicholson表示，由于集中所有内容在数据中心存在延迟等缺点，因此也有将小型模型推向笔记本电脑的趋势。尽管目前使用ChatGPT的响应时间相对较快，但用户可能会要求更快的输出。
“人们很快就会对此感到厌倦，”Nicholson说。“预计这些在边缘运行的小型模型将利用新AI笔记本电脑中的硬件性能。”
与巨头竞争
构建新AI PC的供应商渴望与创建边缘AI模型的公司合作，但像Mistral这样的较小供应商可能会发现很难与更大的AI供应商竞争。
问题在于，他们在与拥有一定市场份额的供应商竞争。David Nicholson分析师，Futurum Group
“通常，这些设备会预装合作伙伴首选的小型模型，这就是Mistral面临的问题，”Nicholson说。“问题在于，他们在与拥有一定市场份额的供应商竞争。”
例如，如果谷歌计划出售一款AI笔记本电脑，它将使用自己的模型。微软也会如此。
Nicholson表示，Mistral必须说服像高通这样的供应商使用其模型。
“为了让他们的模型到达使用者手中，必须将其捆绑在设备上，”Nicholson说。“他们是否成功的真正问题在于他们的合作伙伴生态系统是什么样的。”
谷歌和微软已经与Mistral合作，在他们的平台上分发以前的模型，但他补充说，这家初创公司需要更多的合作伙伴关系。
Mistral作为开源供应商的声誉可能无法使其在用户面前比其他开源模型供应商如Meta更具吸引力。首先，新模型需要商业许可证。此外，许多用户希望AI模型能够开箱即用，Nicholson说。
Chandrasekaran表示，开源也很难实现货币化，通常需要大量的资金支持。当一个模型变成开源时，许多供应商愿意将其作为托管服务提供，并在推理成本上低于原模型提供商。
Ministral 8B模型的费用为每百万个令牌0.10美元，包括输入和输出。Ministral 3B的费用为每百万个令牌0.04美元，包括输入和输出。这些模型将通过包括Azure AI、Amazon Bedrock和Google Cloud Vertex AI Model Garden在内的云服务提供商提供。
