特征工程-学习笔记

特征工程是比赛中最至关重要的的一块，对成绩的影响很大，发现几个magic feature就足以获得非常不错的排名，但是过程非常艰辛或者就像中奖一样。看了大佬的分析过程，感觉大佬不愧是大佬。

异常值处理

通过箱线图（或 3-Sigma）分析删除异常值

###转自https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12586969.1002.9.1cd8593aD0teWG&postId=95501

def outliers_proc(data, col_name, scale=3):
    """
    用于清洗异常值，默认用 box_plot（scale=3）进行清洗
    :param data: 接收 pandas 数据格式
    :param col_name: pandas 列名
    :param scale: 尺度
    :return:
    """

    def box_plot_outliers(data_ser, box_scale):
        """
        利用箱线图去除异常值
        :param data_ser: 接收 pandas.Series 数据格式
        :param box_scale: 箱线图尺度，
        :return:
        """
        iqr = box_scale * (data_ser.quantile(0.75) - data_ser.quantile(0.25))
        val_low = data_ser.quantile(0.25) - iqr
        val_up = data_ser.quantile(0.75) + iqr
        rule_low = (data_ser < val_low)
        rule_up = (data_ser > val_up)
        return (rule_low, rule_up), (val_low, val_up)

    data_n = data.copy()
    data_series = data_n[col_name]
    rule, value = box_plot_outliers(data_series, box_scale=scale)
    index = np.arange(data_series.shape[0])[rule[0] | rule[1]]
    print("Delete number is: {}".format(len(index)))
    data_n = data_n.drop(index)
    data_n.reset_index(drop=True, inplace=True)
    print("Now column number is: {}".format(data_n.shape[0]))
    index_low = np.arange(data_series.shape[0])[rule[0]]
    outliers = data_series.iloc[index_low]
    print("Description of data less than the lower bound is:")
    print(pd.Series(outliers).describe())
    index_up = np.arange(data_series.shape[0])[rule[1]]
    outliers = data_series.iloc[index_up]
    print("Description of data larger than the upper bound is:")
    print(pd.Series(outliers).describe())
    
    fig, ax = plt.subplots(1, 2, figsize=(10, 7))
    sns.boxplot(y=data[col_name], data=data, palette="Set1", ax=ax[0])
    sns.boxplot(y=data_n[col_name], data=data_n, palette="Set1", ax=ax[1])
    return data_n

BOX-COX 转换（处理有偏分布）

长尾截断

特征归一化/标准化

标准化（转换为标准正态分布）

归一化（转换到 [0,1] 区间）

针对幂律分布，可以采用公式：

$$\log (\frac{1-x}{1+median})$$

数据分桶

等频分桶

等距分桶

Best-KS 分桶（类似利用基尼指数进行二分类）

卡方分桶

缺失值处理

不处理

某些算法可以直接使用含有缺失值的情况，如决策树算法可以直接使用含有缺失值的数据。

优点：直接使用原始数据，排除了人工处理缺失值带来的信息损失。
缺点：只有少量的算法支持这种方式。

删除（缺失数据太多）

优点：简单、高效。

缺点：如果样本中的缺失值较少，则直接丢弃样本会损失大量的有效信息。这是对信息的极大浪费。

插值补全

用最可能的值来插补缺失值。这也是在实际工程中应用最广泛的技术。

优点：保留了原始数据
缺点：计算复杂，而且当插补的值估计不准确时，会对后续的模型引入额外的误差。

包括均值/中位数/众数/建模预测/多重插补/压缩感知补全/矩阵补全等

分箱，缺失值一个箱

特征构造

构造统计量特征，报告计数、求和、比例、标准差等；
时间特征，包括相对时间和绝对时间，节假日，双休日等；
地理信息，包括分箱，分布编码等方法；
非线性变换，包括 log/ 平方/ 根号等；
特征组合，特征交叉；
仁者见仁，智者见智。

特征筛选

过滤式（filter）
先对数据进行特征选择，然后在训练学习器，常见的方法有 Relief/方差选择发/相关系数法/卡方检验法/互信息法；
包裹式（wrapper）（使用包mlxtend）

from mlxtend.feature_selection import SequentialFeatureSelector as SFS
from sklearn.linear_model import LinearRegression
sfs = SFS(LinearRegression(),
           k_features=10,
           forward=True,
           floating=False,
           scoring = 'r2',
           cv = 0)
x = data.drop(['price'], axis=1)
x = x.fillna(0)
y = data['price']
sfs.fit(x, y)
sfs.k_feature_names_ 

# 画出来，可以看到边际效益
from mlxtend.plotting import plot_sequential_feature_selection as plot_sfs
import matplotlib.pyplot as plt
fig1 = plot_sfs(sfs.get_metric_dict(), kind='std_dev')
plt.grid()
plt.show()

直接把最终将要使用的学习器的性能作为特征子集的评价准则，常见方法有 LVM（Las Vegas Wrapper） ；
嵌入式（embedding）
结合过滤式和包裹式，学习器训练过程中自动进行了特征选择，常见的有 lasso 回归；

降维

PCA/ LDA/ ICA
特征选择也是一种降维

这个寒假太长了，我好想丧失了动力。