特征平台

特征平台

一、背景

各推荐业务都有相应的特征需求。

特征的生产、上线的质量和效率直接决定了策略和模型的质量和迭代速度。

为了使策略和模型在实际业务场景中发挥更大的效益，需要建设一个好的特征生产和上线的平台。

二、方案设计

1、设计思路

1. 通过实现实时特征预处理配置化、实时特征计算配置化、特征组配置化，实现常规特征1小时内上线
2. 通过构件离线特征公共基础表、实时特征公共基础表，实现基础特征的复用
3. 开发了通用的Count、Sum、List、Set、Max、Min等等特征算子，常规特征无需开发
4. 将数据预处理、特征计算、特征更新、特征使用、特征组使用等各阶段数据上报cat，并配置相应告警，实现特征质量的监控与告警

 

2、设计图

 

 

 

3、核心代码

https://github.com/ZuoYiGeYouMuBiaoDeRen/feature-platform