特征工程

1.特征工程

• 特征归一化
  问：为什么需要对数值类型的特征做归一化？
  分析解答：
  为了消除数据特征之间的量纲影响，对特征进行归一化处理，使得不同指标之间具有可比性。
  常用方法：
  （1）线性函数归一化（Min-Max Scaling）对原始数据进行线性变换，使结果映射到【0,1】范围，实现对原始数据的等比缩放。
  (2)零均值归一化（Z-Score Normalization）将原始数据映射到均值为0、标准差为1的分布上。

举例梯度下降实例说明归一化的重要性，若两个特征的取值范围不一样，则在学习速率相同的情况下，范围小的特征更新速度会大于取值范围大的特征，需要较多的迭代才能找到最优解。若将两个特征归一化到相同的数值区间，两特征的更新速度变得更为一致，容易更快地通过梯度下降找到最优解。

实际运用中，通过梯度下降法求解的模型通常需要归一化，包括线性回归、逻辑回归、支持向量机、神经网络等。但对决策树不适用。
2.类别型特征

• 类别型特征指在有限选项内取值的特征。
• 类别型特征原始输入通常是字符串形式
• 决策树可以直接处理字符串形式的输入
• 逻辑回归、支持向量机等模型，类别型特征必须经过处理转换成数值型特征才能正确工作。

问题：在对数据进行预处理时，应该怎样处理类别型特征？
知识点：

• 序号编码：用于处理类别间具有大小关系的数据。高3，中2，低1</