6、特征存储服务：原理、挑战与实现模式

特征存储服务：原理、挑战与实现模式

1. 特征存储服务概述

特征存储服务作为特征的中央存储库，为跨多个数据项目的模型训练和推理提供特征。随着特征存储服务中特征数量的增加，它能实现规模经济，使构建新模型变得更加容易和快速。其成功指标是特征化时间，即创建和管理特征所花费的时间，主要分为特征计算和特征服务两个类别。

2. 特征存储服务的关键场景

• 寻找可用特征 ：在探索阶段，数据科学家会搜索可用特征以构建机器学习模型，目标是重用特征并降低模型构建成本。但由于缺乏集中的特征存储库，他们常跳过搜索阶段，导致训练管道变得复杂难管理。
• 训练集生成 ：模型训练需要包含一个或多个特征的数据集，训练集包含这些特征的历史值，并带有预测标签。训练集通过编写查询从数据源提取数据、进行转换和清理来生成，且特征集需要不断用新值更新（回填）。使用特征存储，在模型构建过程中可获取特征的训练数据集。
• 在线推理的特征管道 ：模型推理时，特征值作为输入提供给模型以生成预测输出。推理时生成特征的管道逻辑应与训练时一致，否则模型预测将不准确。此外，在线模型推理还要求低延迟地生成特征。目前，嵌入在机器学习管道中的特征管道不易重用，且训练管道逻辑的更改可能与相应的模型推理管道协调不当。

3. 最小化特征化时间

• 特征计算 ：将原始数据转换为特征的过程，涉及构建数据管道以生成特征的历史训练值和当前推理值。面临两个关键挑战：
  <