17、模型服务基础设施：案例与开源方案解析

模型服务基础设施：案例与开源方案解析

1. 分布式处理与离线推理

分布式处理引擎（如 Apache Spark 或 Ray）是在具有强大计算资源的节点集群中分配离线推理工作负载的理想选择。这种方法能够加速预测生成并确保高吞吐量。不过，扩展离线推理也带来了诸多挑战。

2. 模型服务基础设施规划考量

模型服务基础设施是实现机器学习项目投资回报率（ROI）的关键。其所需的复杂程度受以下因素驱动：
- 当前和未来模型的数量
- 在线和离线推理用例的比例
- 模型推理请求的数量及其延迟要求
- 模型的复杂度

不同规模的组织在构建模型服务基础设施时应采取不同策略：
| 组织规模 | 策略 |
| ---- | ---- |
| 初创企业或刚开始应用机器学习的组织 | 以简单和最小的努力构建初始版本的模型服务基础设施。初期，模型部署可能不完全自动化，应尽可能利用开源社区和云供应商的各种组件。 |
| 拥有不断增长的模型数量的中型组织 | 应投入大量资金和精力，构建具有适当复杂程度的模型服务基础设施，以满足可扩展性、可靠性、自动化程度等重要需求，使模型部署和服务像微服务部署一样简单。可考虑利用云提供商、MLOps 供应商、开源项目和内部技术的解决方案。 |

3. 内部构建案例

对于将机器学习深度融入产品、拥有大量用户且运营超过五年的公司，很可能会开发自己的内部模型基础设施，以满足特定的功能和非功能需求。以下是两个案例：

3.1 LyftLearn Serving

在 Lyft 拼车平台上，机器学习模型每天要