特征工程笔记（一） 特征工程整体框架

注：本人目前知识水平有限，仅代表个人经验的总结，若有补充或建议欢迎评论

一、特征的初步筛选

1.根据业务知识筛除与目标特征无关特征

2.统计各个特征样本缺失占比，遵循二八原则，超过80%则筛除。

3.某离散特征下，其某一个值占比过高（超过90%），则可视为准常量特征而进行筛除。

 

二、各特征转数值型特征

由于大部分模型的特征输入需要定量特征，因此常常需要先将各特征转化为数值型特征

1.类数值型特征（如：123米等等）：去除单位后转化为数值型特征。

2.类别特征：常作编码处理

（1）二值化编码（0/1编码）

（2）标签编码（常常需要结合自身的业务知识，为各类别分等级编码）

（3）频数编码（若类别较多，则可使用频数编码，以类别频数替换原值）

（4）均值编码与目标编码（基于目标特征按一定规则与关系对原值进行替换）

（5）WOE编码

3.特殊特征：从中提取信息，衍生新特征，或与其他特征做特征组合

 

三、异常值检测

1.单变量异常检测（针对单独一个特征而言，观察是否有值为异常）

（1）根据业务知识进行异常检测（如设置边界等等）

（2）均值法、标准差法（3σ法则，