14、机器学习特征工程全解析

机器学习特征工程全解析

1. 特征工程概述

特征工程是机器学习中至关重要的阶段，它涉及将原始数据转换为适合机器学习算法处理的特征。在完成数据收集和基本预处理（如数据类型转换、格式转换、数据聚合等）后，数据可能仍无法直接用于机器学习算法，因为可能包含分类值、缺失值或异常值等。特征工程就是要解决这些问题，将数据转换为可直接输入到机器学习算法的“特征”。

特征工程有一定的艺术性，许多常见策略源于数据科学家的经验，而非精确的数学方法。不同类型的数据需要不同的特征工程方法，下面将分别介绍表格数据、非结构化数据和时间序列数据的特征工程方法。

2. 表格数据的特征工程

2.1 重复数据处理

作为最佳实践，应去除数据集中的任何重复数据或行。重复数据可能会增加训练集和测试集之间数据泄漏的风险。

2.2 归一化（Normalization）

归一化适用于数据集中的数值列。例如，在预测房价的数据集里，卧室总数和平均平方英尺数的数值范围差异很大。这种数值大小差异可能会影响使用梯度下降算法的梯度步长，导致收敛问题和模型精度降低。归一化将所有特征缩放到 [0, 1] 范围内。

2.3 标准化（Standardization）

标准化是与归一化相关的技术，它将列中的所有值以该列的均值为中心，标准差为 1 进行缩放。当数据具有正态分布或接近正态分布时，标准化很有用。并非所有机器学习算法都对标准化/归一化敏感，线性和逻辑回归算法的准确性和收敛性可通过这些方法提高，而基于树的算法相对不敏感。

2.4 异常值检测

异常值是指距离均值超过一定