28、机器学习特征管理：特征存储模式与 Feast 应用

机器学习特征管理：特征存储模式与 Feast 应用

在机器学习领域，有效的特征管理对于模型的成功至关重要。本文将探讨特征存储模式及其在实际应用中的重要性，同时介绍开源特征存储工具 Feast 的使用方法。

1. 谱系跟踪与特征存储模式的引入

谱系跟踪在管理机器学习管道运行期间生成的工件方面具有显著优势。它支持基于云的环境和本地环境，为模型的训练、部署以及元数据存储提供了灵活性。此外，谱系跟踪对于实现机器学习管道的可重复性也非常重要，因为它允许比较不同管道运行的元数据和工件。

特征存储设计模式通过将特征创建过程与使用这些特征的模型开发解耦，简化了跨项目的特征管理和重用。

2. 传统特征工程方法的问题

传统的临时特征工程方法在机器学习项目中可能会导致一系列问题：
- 特征复用困难 ：特征经常被重复创建，尤其是那些计算复杂的高级特征。例如，通过预训练用户或目录项嵌入等昂贵过程派生的特征，或者从业务优先级、合同可用性或市场细分等上游过程捕获的特征。此外，涉及时间聚合的高级特征，如客户过去一个月的订单数量，也会导致重复劳动。
- 数据治理难题 ：如果每个机器学习项目以不同方式计算敏感数据的特征，数据治理将变得困难。
- 特征共享障碍 ：不同团队可能对相同的原始数据定义不同的特征，且缺乏特征文档，这阻碍了团队之间的有效协作，导致工作孤立和不必要的重复劳动。
- 训练 - 服务偏差 ：训练通常使用离线创建的批量特征的历史数据，而服务通常在线进行。如果训练和生产服