每当一个AI聊天机器人回答问题，或一个电子商务网站推荐新产品时，有两个重要的过程在起作用：训练和推理。这两个阶段虽然相互依赖，但却是截然不同的。
首先，在训练阶段，模型会查看现有的数据集，以发现其中的模式和关系。接下来，在推理阶段，经过训练的模型将这些学习到的模式应用于新数据，以生成预测、创造内容或做出决策。
训练和推理在模型开发和性能中都扮演着重要角色，每个阶段都有独特的好处和需求。模型开发者必须仔细考虑权衡，并根据特定模型的训练和推理目标分配资源。
训练与推理的实践
训练是一个实验过程。它涉及向模型提供数据，调整其参数以最小化预测误差，验证其性能，并进行迭代，直到开发者对结果满意为止。
例如，在训练一个图像识别模型时，开发者可能会向算法提供数百万张标记的猫狗照片。模型学习耳形、身体轮廓和面部特征等独特特征。随着每次训练迭代，模型不断改进，并可能适应以减少错误，例如将狐狸误认为狗。
同样，为了构建一个电子商务网站的推荐系统，开发者可能会向模型提供用户行为的详细历史记录，例如点击、购买和评分。模型随后学习识别用户偏好的相似性，从而在实际场景中做出更准确的建议。
与训练不同，推理发生在模型部署到生产环境后。在推理阶段，模型会接收到新数据，并实时响应用户查询。当一个电子商务网站推荐产品时，ChatGPT回答问题或Midjourney生成图像时，底层模型正在基于其训练进行推理。
训练与推理的主要区别
训练与推理是非常不同的过程。理解每个过程的独特需求对于构建高性能、成本效益高的机器学习系统至关重要。
计算成本
计算成本是机器学习中的一个重要考虑因素，尤其是对于高级或大规模模型。虽然数据科学团队可能专注于优化模型的准确性，但数据工程师和首席财务官通常更关心生产环境中AI的费用。
模型训练可能非常耗费计算资源，需要大型数据集和复杂的计算。推理虽然通常比训练所需的资源少，但一旦模型投入生产，仍会产生持续的计算成本。
随着时间的推移，推理的成本可能会超过训练的成本。训练发生在明确的、密集的阶段，而推理成本在部署后是持续的。商业模型，尤其是那些面向公众使用的模型，推理量可能非常大。这类模型通常会优化以提高推理效率，即使这会导致训练成本增加。
资源与延迟
机器学习成本的一个重要组成部分是能源消耗。密集的计算消耗大量能源，不仅导致运营成本上升，还引发环境问题。
使用更节能的硬件，或改善现有硬件的能源使用，可以减少AI系统的环境足迹。专用加速器如张量处理单元和现场可编程门阵列提供了比更常见的通用GPU更节能的替代方案。
为了管理这些成本，许多组织在云平台上构建其机器学习基础设施，以利用其可扩展性和灵活性。云平台还可能提供高效训练和推理所需的专用硬件。
关于使用云服务进行AI的最常见投诉是控制成本的困难，这一问题因管理和治理工具不足而加剧。例如，如果开发过程导致异常密集的计算，训练成本可能会意外上升。
控制推理成本通常比较简单，因为每个请求使用的资源相对较少。成本控制措施通常包括限制用户在特定时间窗口内可以请求的推理次数。
然而，推理也涉及重要的成本考虑，通常与延迟相关——模型返回结果的速度。实时应用程序如增强现实或生成AI需要非常快速的响应。在这种情况下，生产模型可能需要优化以降低延迟，或在专用硬件上运行以满足性能需求。除非频繁且密集的再训练是必要的，例如在制药研究等专业场景中，否则训练期间的延迟通常不那么重要。
权衡取舍
由于资源有限，组织需要平衡训练和推理的不同需求。提高模型性能通常涉及战略性权衡。
例如，在推理期间增加计算资源可以提高性能，将成本分摊到时间上，并可能减少对密集训练的需求。但情况也可能相反；在训练中优先分配计算资源可以产生一个非常高效的模型，从而在推理时需要较少的计算资源。每种方法都有其优缺点。
过度训练可能导致过拟合，即模型不仅学习到有用的模式，还学习到训练数据中的噪声和其他无关波动。在推理时，这可能导致在原始训练数据上表现出高准确性，但在新现实世界数据上的泛化能力差。过拟合模型还往往会遭受模型漂移，随着时间的推移准确性下降。
模型优化技术可以有效缓解这些问题。修剪在训练后减少模型的大小，从而减少推理所需的计算。在某些情况下，修剪可以减少过拟合的缺点。
在决定如何优先考虑训练与推理时，一般考虑两个关键因素：
- 性能。如果性能至关重要——例如，对于实时推理——组织可能会选择通过调整训练和推理阶段的资源来优化总计算。
- 规模。对于大规模、面向公众的模型，推理需求高时，降低推理成本优先。选择降低推理计算成本的技术，即使这种方法需要更多的训练计算。
随着硬件和软件的进步，训练与推理所需的资源差异可能会减小。然而，最佳方法仍然需要有效平衡这两种机器学习过程。
Donald Farmer是TreeHive Strategy的首席顾问，该公司为软件供应商、企业和投资者提供数据和高级分析战略的建议。他曾参与市场上一些领先的数据技术和获奖初创公司的工作。他之前在微软和Qlik领导设计和创新团队。
