10、机器学习模型服务与工作流模式解析

机器学习模型服务与工作流模式解析

1. 模型服务模式概述

模型服务是加载先前训练好的机器学习模型，对新输入数据进行预测或推理的过程。在分布式模型服务系统中，存在诸多挑战，如处理不断增长的模型服务请求以及请求规模的增大等。为应对这些挑战，业界采用了一些成熟的模式。

1.1 事件驱动处理模式

事件驱动处理模式下，若某个任务因机器故障失败，会在共享资源池的其他机器上自动重启。不过，该模式要求处理模型服务请求的每个函数无状态且独立于其他请求，函数实例不能有本地内存，所有状态需存储在存储服务中。例如，对于严重依赖先前预测结果的机器学习模型（如时间序列模型），事件驱动处理模式可能并不适用。

1.2 练习与解答

以下是一些相关练习及解答：
| 问题 | 解答 |
| — | — |
| 假设在酒店价格预测的模型服务系统生命周期内分配相同数量的计算资源，资源利用率随时间会如何变化？ | 随流量而变化。 |
| 复制服务或分片服务是否为长时间运行的系统？ | 是。服务器需持续运行以接受用户请求，计算资源需始终分配和占用。 |
| 事件驱动处理是无状态还是有状态的？ | 无状态。 |

2. 工作流模式基础

工作流是机器学习系统的重要组成部分，它连接系统中的所有其他组件。机器学习工作流可以很简单，如将数据摄取、模型训练和模型服务串联起来；但在处理现实场景时，可能需要额外的步骤和性能优化，变得非常复杂。

2.1 工作流的定义

工作流是连接端到端机器学习系统中多个组件或步骤的过程，由现实世界机器学习应用中常见组件的任意组合