机器学习面试知识点复习（一）——特征工程

前言

最近在准备暑期实习面试，正好看到一本书叫《百面机器学习》。粗略翻了下，感觉知识点还比较全面，但是有些知识点讲解不够细致。所以准备按照书中知识点的顺序复习一下，同时对其中一些内容进行补充总结。

第一章 特征工程

1. 特征归一化

问题 特征归一化作用
数据标准化（归一化）处理是数据挖掘的一项基础工作，不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。原始数据经过数据标准化处理后，各指标处于同一数量级，适合进行综合对比评价。
两种常用方法：

1. 线性函数归一化（Min-Max Scaling）。对原始数据进行线性变换，使结果映射到[0, 1]的范围，实现对原始数据的等比缩放。
   $$X_{norm}=\frac{X-X_{min}}{X_{max}-X_{min}}$$
2. 零均值归一化（Z-Socre Normalization）。将原始数据映射到均值为0、标准差为1的分布上。具体来说，假设原始特征的均值为μ、标准差为σ，那么归一化公式定义为:
   $$z=\frac{x-\mu }{\sigma }$$

同时，特征归一化可以加快训练速度，具体见下图。

x1和x2的更新速度变得更为一致，容易更快地通过梯度下降找到最优解。
但是，数据归一化并不是万能的。在实际应用中，通过梯度下降法求解的模型通常是需要归一化的，包括线性回归、逻辑回归、支持向量机、神经网络等模型。但对于决策树模型则并不适用，以C4.5为例，决策树在进行节点分裂时主要依据数据集D关于特征x的信息增益比，而信息增益比跟特征是否经过归一化是无关的，因为归一化并不会改变样本在特征x上的信息增益。

2. 类别性特征

问题 在对数据进行预处理时，怎么样处理类别型特征？

类别型特征（categorical feature）主要是指年龄，职业，血型等在有限类别内取值的特征。它的原始输入通常是字符串形式，除了决策树族的算法能直接接受类别型特征作为输入，对于支持向量机，逻辑回归等模型来说，必须对其做一定的处理，转换成可靠的数值特征才能正确运行。

四种常见转换方法：

1. 序号编码
   序号编码通常用于处理类别间具有大小关系的数据。例如成绩，可以分为低、中、高三档，并且存在“高>中>低”的排序关系。序号编码会按照大小关系对类别型特征赋予一个数值ID，例如高表示为3、中表示为2、低表示为1，转换后依然保留了大小关系。
2. 独热编码（One-hot）
   独热编码通常用于处理类别间不具有大小关系的特征。例如血型，一共有4个取值（A型血、B型血、AB型血、O型血），独热编码会把血型变成一个4维稀疏向量，A型血表示为（1, 0, 0, 0），B型血表示为（0, 1, 0, 0），AB型表示为（0, 0, 1, 0），O型血表示为（0, 0, 0, 1）。对于类别取值较多的情况下使用独热编码需要注意以下问题。
   （1）使用稀疏向量来节省空间。在独热编码下，特征向量只有某一维取值为1，其他位置取值均为0。因此可以利用向量的稀疏表示有效地节省空间，并且目前大部分的算法均接受稀疏向量形式的输入。
   （2）配合特征选择来降低维度。高维度特征会带来几方面的问题。一是在K近邻算法中，高维空间下两点之间的距离很难得到有效的衡量；二是在逻辑回归模型中，参数的数量会随着维度的增高而增加，容易引起过拟合问题；三是通常只有部分维度是对分类、预测有帮助，因此可以考虑配合特征选择来降低维度。
3. 二进制编码
   二进制编码主要分为两步，先用序号编码给每个类别赋予一个类别ID，然后将类别ID对应的二进制编码作为结果。以A、B、AB、O血型为例，表1.1是二进制编码的过程。A型血的ID为1，二进制表示为001；B型血的ID为2，二进制表示为010；以此类推可以得到AB型血和O型血的二进制表示。可以看出，二进制编码本质上是利用二进制对ID进行哈希映射，最终得到0/1特征向量，且维数少于独热编码，节省了存储空间。
4. 统计编码
   统计各类别在训练集中出现的频率，并将频率作为新的特征。统计各类别在训练集中出现的频率，并将频率作为新的特征。在某些情况下，具有统计意义的统计编码也是一种值得尝试的技巧。

血型	类别ID	二进制表示	独热编码
A	1	001	1000
B	2	010	0100
C	3	011	0010
D	4	100	0001

3. 组合特征处理

问题 什么是组合特征？如何处理高维组合特征？

为了提高复杂关系的拟合能力，在特征工程中经常会把一阶离散特征两两组合，构成高阶组合特征。

高维组合特征可以进行矩阵分解。

问题 怎样有效找到组合特征？

在很多实际问题中，我们常常需要面对多种高维特征。如果简单地两两组合，依然容易存在参数过多、过拟合等问题，而且并不是所有的特征组合都是有意义的。因此，需要一种有效的方法来帮助我们找到应该对哪些特征进行组合。

可以利用决策树进行特征选择。构造决策树具体请见后面决策树部分。

4. 文本表示模型

问题 有哪些文本表示模型？它们各有什么优缺点？

• 词袋模型
  最基础的文本表示模型是词袋模型。顾名思义，就是将每篇文章看成一袋子词，并忽略每个词出现的顺序。具体地说，就是将整段文本以词为单位切分开，然后每篇文章可以表示成一个长向量，向量中的每一维代表一个单词，而该维对应的权重则反映了这个词在原文章中的重要程度。常用TF-IDF来计算权重，公式为
  $$TFIDF(t,d)=TF(t,d)\ast IDF(t)$$
  其中，TF(t,d)为单词t在文档d中出现的频率，IDF(t)是逆文档频率，用来衡量单词t对表达语义所起的重要性。
  $$T{F}_{i,j}=\frac{n_{i,j}}{{\sum }_k{n}_{k,j}}$$
  $$ID{F}_i=log\frac{文章总数}{包含单词i的文章总数+1}$$
• N-gram模型
  将文章进行单词级别的划分有时候并不是一种好的做法，比如英文中的natural language processing（自然语言处理）一词，如果将natural，language，processing这3个词拆分开来，所表达的含义与三个词连续出现时大相径庭。因此考虑N-gram模型。
  假设我们有一个由n个词组成的句子$S=(w_1,w_2,\cdots ,w_n)$，如何衡量它的概率呢？让我们假设，每一个单词$w_i$都要依赖于从第一个单词$w_1$到它之前一个单词$w_{i-1}$的影响：
  $$p(S)=p(w_1,w_2,...,w_n)=p(w_1)p(w_2|w_1)...p(w_n|w_1,w_2...w_{n-1})$$
  原理很好理解，但是这种衡量方法有两个重大缺陷：
  1.参数空间过大，概率 p(wn|wn−1⋯w2w1)p(wn|wn−1⋯w2w1) 的参数有 O(n)O(n) 个。
  2.数据稀疏严重，词同时出现的情况可能没有，组合阶数高时尤其明显。
  为了解决第一个问题，引入马尔科夫假设（Markov Assumption）：一个词的出现仅与它之前的若干个词有关。即$p(w_1\cdots w_n)=\prod p(w_i|w$