16、在线推理与 Ray Serve 实战解析

在线推理与 Ray Serve 实战解析

一、在线推理的挑战与需求

在线推理应用通常需要 7×24 小时运行，而机器学习模型计算密集，这使得在线推理服务的运营成本高昂，需要持续分配大量的 CPU 和 GPU 资源。在线推理的主要挑战在于，以最小化端到端延迟的方式提供模型服务，同时降低成本。为满足这些需求，在线推理系统应具备以下关键特性：
1. 支持专用硬件 ：如 GPU 或 TPU，它们具有为机器学习计算优化的专用指令，能够并行处理多个输入的向量化计算。
2. 资源动态缩放 ：根据请求负载，动态调整模型使用的资源，实现资源的高效利用。
3. 请求批处理 ：利用向量化计算，将多个请求合并处理，提高系统吞吐量。

此外，在实际应用中，单个机器学习模型往往无法独立解决复杂问题，需要将多个模型与业务逻辑相结合。例如，在产品推荐场景中，除了核心的推荐算法，还需要考虑输入输出的验证、用户和产品信息的获取与转换，以及多个模型结果的组合等问题。因此，实现在线推理 API 需要具备将这些组件集成到统一服务中的能力。

二、Ray Serve 简介

Ray Serve 是基于 Ray 的可扩展计算层，用于服务机器学习模型。它具有以下特点：
1. 框架无关性 ：不依赖特定的机器学习库，将模型视为普通的 Python 代码，方便集成不同的模型。
2. 灵活组合业务逻辑 ：可以将普通的 Python 业务逻辑与机器学习模型灵活结合，构建完整的在线推理