机器学习-数据预处理

1 连续数据特征离散化的方法

https://www.nowcoder.com/discuss/185614

由于LR 中模型表达能力有限，可以通过特征离散化来提高非线性学习能力。

主要方法:

1） 等距离散：取值范围均匀划分成n 等分，每份的间距相等。

2) 等频离散：均匀分为n 等分，每份内包含的观察点数相同

3) 优化离散：3-1 卡方检验方法: 统计样本的实际观测值与理论判断值之间的离散程度，卡方值越大，越不符合，卡方值越小，偏差越小，越趋于符合。

分裂方法： 找到一个分裂点看，左右2个区间，在目标值上分布是否有显著差异，有显著差异就分裂，否则就忽略，这个点可以没词找差异最大的点。

合并方法：先划分，如果很小单元区间，按顺序合并在目标值上分布不显著的相邻区间，直接收敛。

2 信息增益方法:

分裂方法： 找到一个分裂点看，左右2个区间，看分裂前后信息增益变化阈值，如果差值超过阈值( 正值，分裂前-分裂后信息熵),，则分裂，每次找差值最大的点做分裂点，直到收敛，

合并方法： 先划分，如果很小单元区间，按顺序合并信息增益小于阈值的相邻区间，直到收敛。

 

https://blog.youkuaiyun.com/evillist/article/details/77962435