特征工程的重构

因为历史原因，目前我们的机器学习所需要的各种特征数据是通过一个MR程序来进行数据抽取，特征转换，数据存储，数据监控等，一个MR任务承担了太多了功能，导致程序的可读性，扩展性非常差，每次增加一个数据的抽取，转换都需要修改很多代码，而且极易出错，当要适应一个新的模型所需要的新型特征转换的时候，目前的特征工程更是不能胜任。基于此，痛中思痛，下定决心重构特征工程。

首先这个特征工程的架构不是一蹴而就的，需要综合考虑各方面的需求和我们的业务发展，来使架构尽可能地具有清晰的模块化，良好的解耦性，灵活的扩展性。从数据的抽取，特征选择，特征转换，特征空间压缩，特征存储，各个机器学习算法的需求等方面全面的重构。