浅谈特征工程_特征工程的步骤和目的-优快云博客

特征工程是将原始数据转换为更能代表预测模型的潜在问题的特征的过程，它在机器学习和数据挖掘项目中起着至关重要的作用。以下是关于特征工程的详细介绍：

1. 目的

提高模型性能：通过对数据的处理和特征的提取、转换、选择，使模型能够更好地捕捉数据中的模式，从而提高模型的准确性、泛化能力等性能指标。例如，对于一个预测房价的模型，合适的特征工程可以让模型更准确地根据房屋的各种属性来预测价格。
降低计算成本：选择和构造合适的特征可以减少数据的维度，降低模型训练的时间和计算资源消耗。如果原始数据中有大量冗余或无关的信息，会增加模型训练的复杂性，而特征工程可以去除这些不必要的部分。

2. 主要内容

特征提取：
- 从原始数据中提取新特征：例如，从文本数据中提取关键词作为特征，或者从图像数据中提取边缘、纹理等特征。对于时间序列数据，可以提取如均值、方差、自相关系数等统计特征。在处理泰坦尼克号乘客数据时，可以从乘客姓名中提取头衔信息作为新的特征。
- 将现有特征进行组合或转换得到新特征：比如在预测房屋价格时，将房屋的面积和房间数量相乘得到一个新的特征“总面积与房间数的乘积”，这个新特征可能比单独的面积和房间数更能反映房屋的价值。
特征转换：
- 标准化：将特征的值进行标准化处理，使不同特征具有相同的尺度。例如，使用z - score标准化，将特征值转换为均值为0，标准差为1的分布。这对于一些对数据尺度敏感的模型（如基于距离的模型）非常重要，以避免某些特征因为数值较大而在模型训练中占据主导地位。
- 归一化：将特征的值映射到特定的区间，如[0, 1]区间。常见的方法有最小 - 最大归一化，公式为(x - min(x)) / (max(x) - min(x))，其中x是原始特征值。
- 离散化：将连续型特征转换为离散型特征。例如，将年龄这个连续变量按照一定的区间划分为“儿童”“青年”“中年”“老年”等类别。离散化可以使模型更容易处理某些特征，也可以发现数据中的非线性关系。
特征选择：
- 从原始特征集合中选择出对目标变量最有预测能力的特征子集：这可以减少特征维度，提高模型的泛化能力和训练效率。常见的方法包括过滤法（如根据特征与目标变量之间的相关性、卡方检验等统计指标来选择特征）、包裹法（通过训练模型并评价模型性能来选择特征，如递归特征消除）和嵌入法（在模型训练过程中自动进行特征选择，如L1正则化在某些模型中可以实现特征选择的效果）。

3. 实施步骤

数据理解：深入了解原始数据的来源、含义、数据类型、分布情况等。例如，知道数据是如何采集的，每个特征代表什么，数据中是否存在缺失值、异常值等问题。
特征构建：根据对数据的理解和业务知识，创建新的特征。这可能涉及到领域知识、数据探索和创造性思维。例如，在电商数据中，可以构建“用户购买频率”“用户购买商品的多样性”等新特征。
特征评估与选择：使用各种评估方法来确定哪些特征对模型最有用。这可以通过实验不同的特征组合、使用统计检验或者基于模型的评估方法来完成。在评估过程中，需要使用合适的评估指标（如准确率、均方误差等）来衡量特征对模型性能的影响。
持续改进：特征工程不是一次性的过程，在模型开发和优化过程中，可能需要不断地调整和改进特征。随着对数据和模型理解的深入，可能会发现新的特征或者更好的特征处理方法。

以下是一些常见的特征工程技术：

1. 数据预处理技术

缺失值处理：
- 删除法：当数据集中某行或某列的缺失值比例较高时，可以考虑直接删除该行或该列。但这种方法可能会丢失大量信息，尤其是在数据量本来就较少的情况下。
- 插补法：使用一定的策略填充缺失值。常见的有均值插补（用该特征的均值填充缺失值）、中位数插补、众数插补（对于分类特征）。更复杂的方法还有基于模型的插补，例如使用回归模型、K - 近邻算法等来预测缺失值。
异常值处理：
- 统计分析法：通过计算数据的均值、标准差等统计量，确定异常值的范围。例如，对于正态分布的数据，可以将超出均值±3倍标准差的值视为异常值。处理方法包括删除异常值或者将其转换为不那么极端的值（如使用边界值替换）。
- 基于模型的方法：使用一些异常检测模型，如孤立森林、局部异常因子（LOF）等方法来识别和处理异常值。

2. 特征编码技术

独热编码（One - Hot Encoding）：
- 用于处理分类变量。将每个类别变量转换为一个二进制向量，向量的长度等于类别数，其中只有一个元素为1，表示该类别，其余元素为0。例如，对于颜色变量（红、绿、蓝），红色可编码为[1, 0, 0]，绿色为[0, 1, 0]，蓝色为[0, 2, 0]。这种编码方式可以避免模型将分类变量的类别顺序或数值关系误解，但会增加数据的维度。
标签编码（Label Encoding）：
- 将分类变量的每个类别赋予一个唯一的整数标签。例如，将性别（男、女）编码为（0、1）。这种方法简单，但对于一些模型可能会引入不适当的类别顺序信息。
目标编码（Target Encoding）：
- 也称为均值编码，是一种基于目标变量的编码方式。对于分类特征中的每个类别，用该类别对应的目标变量的均值（或其他统计量）来替换该类别。例如，在预测客户购买行为时，对于城市这个分类特征，每个城市用该城市客户购买概率的均值来编码。这种编码方式可以捕捉到特征和目标之间的关系，但如果使用不当可能会导致过拟合。

3. 特征缩放技术

归一化（Normalization）：
- 最小 - 最大归一化：将特征的值映射到[0, 1]区间。公式为x_norm = (x - min(x)) / (max(x) - min(x))，其中x是原始特征值，min(x)和max(x)分别是该特征的最小值和最大值。这种方法适用于数据范围差异较大且对模型训练有影响的情况，如神经网络的输入数据处理。
- 最大绝对值归一化：将特征值除以该特征绝对值的最大值，使特征值在[-1, 1]区间内。公式为x_norm = x / max(|x|)。
标准化（Standardization）：
- 也称为z - score标准化，将特征值转换为均值为0，标准差为1的正态分布。公式为z = (x - μ) / σ，其中x是原始特征值，μ是均值，σ是标准差。标准化在数据符合正态分布或模型对数据尺度敏感（如基于距离的模型）时非常有用。

4. 特征选择技术

过滤式（Filter）方法：
- 相关性分析：计算特征与目标变量之间的相关性（如皮尔逊相关系数、斯皮尔曼相关系数等），选择相关性较高的特征。对于线性关系可以使用皮尔逊相关系数，对于非线性关系可以使用斯皮尔曼相关系数等。
- 卡方检验：用于检验分类特征与目标变量之间的独立性，选择卡方值较大的特征，表明这些特征与目标变量之间有较强的关联。
- 方差阈值法：计算每个特征的方差，删除方差低于某个阈值的特征，因为方差低的特征可能对模型预测没有太大帮助，通常意味着该特征的值变化不大。
包裹式（Wrapper）方法：
- 递归特征消除（RFE）：使用一个机器学习模型（如支持向量机、决策树等），从所有特征开始，逐步移除对模型性能影响最小的特征，直到达到指定的特征数量或模型性能下降到某个阈值为止。
- 前向选择和后向消除：前向选择是从空的特征集开始，逐步添加对模型性能提升最大的特征；后向消除则是从所有特征开始，逐步删除对模型性能影响最小的特征。这两种方法都需要反复训练和评估模型来确定最佳的特征子集。
嵌入式（Embedded）方法：
- 基于L1和L2正则化的方法：在模型训练过程中，如线性回归、逻辑回归、支持向量机等模型使用L1（Lasso）或L2（Ridge）正则化时，会对模型的系数进行惩罚。L1正则化可以使一些系数变为0，从而实现特征选择的效果；L2正则化会使系数变小，但不会使它们完全为0，也在一定程度上起到了选择重要特征的作用。

5. 特征构造技术

多项式特征：
- 对于数值特征，可以通过构造多项式特征来捕捉特征之间的非线性关系。例如，对于两个特征x1和x2，可以构造二次多项式特征x1^2、x2^2、x1 * x2等。在一些线性模型中，通过添加多项式特征可以提高模型对非线性数据的拟合能力。
基于领域知识的特征构造：
- 根据具体的业务领域和问题，构造有意义的特征。例如，在金融领域，根据客户的交易记录构造“月均交易金额”“交易频率”等特征；在电商领域，根据用户的浏览和购买历史构造“购买转化率”“最近一次购买时间间隔”等特征。
时间序列特征：
- 对于时间序列数据，可以提取诸如移动平均线、指数加权移动平均线、自相关系数、偏自相关系数、季节性特征（如果存在）等。这些特征可以帮助模型更好地捕捉时间序列中的趋势、周期性等信息。