Chapter 11 特征选择和稀疏学习

Chapter 11 特征选择和稀疏学习

1 子集搜索与评价

一个样本通常有多个属性，如西瓜有色泽，根蒂，颜色等。将属性称之为特征，对一个学习任务而言，有用的特征称之为“相关特征”（relevant feature）,用处不大的特征称之为“无关特征”（irrelevant feature）。在特征集合中选出相关特征子集的过程称之为特征选择。特征选择不仅可以解决维数灾难，亦可以降低学习任务的难度。

子集搜索（subset search）

子集搜索分为前向(forward)搜索，后向(backward)搜索和双向(bidirectional)搜索。采用贪心的策略，考虑每一轮选择中都选择到了最优的特征子集。
前向搜索的算法如下：

Input:  
    特征集$\left\{ a_1,a_2,...,a_{\mathrm{d}} \right\}$
Do:
    将每个特征视为一个属性子集
Repeat：
    在k-1轮的最优属性集中每次放入一个未被选择特征，构成包含有k个特征的候选特征子集（可生成d-k个）
    评价d-k个候选特征子集
    选取最优的一个特征子集（包含有k个特征）
    Until:
        第k+1轮加入一个新特征后的最优子集不如第k轮最优子集效果好
Output:
    最优特征子集

子集评价（subset evaluation）

对每个特征，使用信息增益进行评价后选择最优特征。
假定数据集D中第i类样本所占比例为 $p_i$ ，对属性子集A，当前特征有V个取值时，根据样本取值将样本集D分成了V个子集$\left\{D^1,D^2,...,D^V\right\}$，每个子集中样本在属性子集A中取值相同，计算属性子集A的信息增益为：
$$Gain\left(A\right)=Ent\left(D\right)-\sum _{v=1}^V\frac{\left|D^V\right|}{\left|D\right|}Ent\left(D^V\right)$$
其中信息熵定义为：
$$Ent\left(D\right)=-\sum _{k=1}^{|y|}{p}_k{\log }_2{p}_k$$
其中$|y|$表示样本集D在属性集A中特征类别的数量。
信息增益$Gain\left(A\right)$越大，则特征子集A包含有助于分类的信息越多，对每个候选特征子集D进行评价，选取信息增益最大的候选特征子集作为最优特征子集。

 

特征选择方法 = 特征子集搜索机制 + 子集评价机制

常见特征选择方法可以分为：过滤式（filter）、包裹式（wrapper）、嵌入式（embedding）

 

2 过滤式选择

过滤式选择方法先对数据集进行特征选择，然后再训练学习器，特征选择的过程与学习器无关。
Relif(Relevant feature)算法设定“相关统计量”来度量特征重要性，相关统计量（向量）的每个分量对应一个特征，特征子集的重要性由子集中特征对应的相关统计量分量之和来决定。可设置阈值或欲选取的特征个数来筛选最优特征。
Relif算法流程如下：

容易看出，${\delta }^j$越大，对应属性的分类能力就越强。

 

3 包裹式选择

包裹式选择直接将学习器的性能作为特征子集的评价指标，给学习器量身定做最优特征子集。
LVW (Las Vegas Wrapper) 使用随机策略进行子集搜索，将最终分类器（学习器）的误差作为特征子集的评价指标。
先随机产生特征子集A，通过交叉验证估计学习误差，不断更新（误差更小的特征子集）或（误差相等但子集内特征数更少的特征子集）作为最优子集，直到连续 T 轮不再更新。

 

4 嵌入式选择与L1正则化

嵌入式选择将特征选择与学习器训练融合在一起，共同在同一个优化过程中完成。
在简单的线性回归模型中，以平方误差为损失函数时，当样本特征过多容易过拟合，加入$L_2$范数正则化项后的优化目标为：
$$\underset{\mathbf{\omega }}{\min }\sum _{i=1}^m{\left(y_i-{\mathbf{\omega }}^{\mathrm{T}}{x}_i\right)}^2+\lambda ||\mathbf{\omega }|{|}_2^2$$
其中正则化系数$\lambda >0$，上式称为岭回归（ridge regression）。
将$L_2$范数正则化项推广为$L_p$范数正则化项，当p=1时，采用$L_1$范数正则化项的优化目标为：
$$\underset{\mathbf{\omega }}{\min }\sum _{i=1}^m{\left(y_i-{\mathbf{\omega }}^{\mathrm{T}}{x}_i\right)}^2+\lambda ||\mathbf{\omega }|{|}_1^{}$$其中正则化系数$\lambda >0$，上式称为LASSO（Least Absolute Shrinkage and Selection Operator,最小绝对收缩选择算子）。
$L_1$范数正则化及$L_2$范数正则化都可以降低过拟合风险，但$L_1$范数正则化的突出优势是更易获得稀疏解，即求得的向量$\mathbf{\omega }$将含有更多的零分量，零向量对应的特征被剔除。换言之，基于$L_1$范数正则化的学习方法是一种嵌入式特征选择方法，其特征选择过程与学习器训练过程融为一体，共同完成。

 

5 稀疏表示与字典学习

将样本集D看成一个矩阵，每行表示一个样本，每列对应一个特征。通过特征选择方法去除与学习任务无关的列可以降低学习难度，减少计算开销。在文档分类任务中，将每个文档作为一个样本，将每个字（词）作为一个特征，行列交汇处为该列字在该文档中出现的次数，于是矩阵每一行内都含有大量零元素，但又不是出现在同一列。如下图：

当每个样本具有大量零元素时，称为稀疏表达形式，稀疏表达形式对机器学习有很大好处，可使很多问题线性可分，亦可高效储存稀疏矩阵。
字典学习（dictionary learning）/ 稀疏编码（sparse coding）：为普通稠密的样本集找到合适的字典以转化为稀疏表达形式。字典亦称为码书（codebook）。
字典学习的简单形式是：
$$\underset{\mathbf{B},{\mathbf{\alpha }}_i}{\min }\sum _{i=1}^m{\Vert {\mathbf{x}}_i-\mathbf{B}{\mathbf{\alpha }}_i\Vert }_2^2+\lambda \sum _{i=1}^m{\Vert {\mathbf{\alpha }}_i\Vert }_1$$
其中$\mathbf{B}$为字典矩阵（d x k型），${\mathbf{\alpha }}_i$（k 维） 为样本 ${\mathbf{x}}_i$ （d 维）的稀疏表示。容易看出，第一项中希望稀疏表示 ${\mathbf{\alpha }}_i$ 通过字典矩阵重构后能与原先的样本 ${\mathbf{x}}_i$ 尽可能相近；第二项希望稀疏表示 ${\mathbf{\alpha }}_i$ 尽可能稀疏。
使用变量交替优化来更新上式：
第一步先固定字典B，更新${\mathbf{\alpha }}_i$，为每个样本找到对应的${\mathbf{\alpha }}_i$：
$$\underset{{\mathbf{\alpha }}_i}{\min }{\Vert {\mathbf{x}}_i-\mathbf{B}{\mathbf{\alpha }}_i\Vert }_2^2+\lambda {\Vert {\mathbf{\alpha }}_i\Vert }_1$$
第二步用${\mathbf{\alpha }}_i$的初值来更新字典B：
$$\underset{\mathbf{B}}{\min }{\Vert \mathbf{X}-\mathbf{B}\mathbf{A}\Vert }_F^2$$
其中$\mathbf{X}=\left({\mathbf{x}}_1,{\mathbf{x}}_2,...,{\mathbf{x}}_m\right)$（dxm）, $\mathbf{A}=\left({\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,...,{\mathbf{\alpha }}_m\right)$(kxm), ${\Vert \cdot \Vert }_F^{}$是矩阵的Frobenius范数。
求解第二步，常用基于逐列更新策略的KSVD，令$b_i$表示矩阵B第i列，令${\mathbf{\alpha }}^i$表示矩阵A第i行，第二步重写为：
$$\underset{\mathbf{B}}{\min }{\Vert \mathbf{X}-\mathbf{B}\mathbf{A}\Vert }_F^2$$
$$=\underset{b_i}{\min }{\Vert \mathbf{X}-\sum _{j=1}^k{\mathbf{b}}_j{\mathbf{\alpha }}^j\Vert }_F^2$$
$$=\underset{b_i}{\min }{\Vert \left(\mathbf{X}-\sum _{j\ne i}{\mathbf{b}}_j{\mathbf{\alpha }}^j\right)-{\mathbf{b}}_i{\mathbf{\alpha }}^i\Vert }_F^2$$
$$=\underset{b_i}{\min }{\Vert {\mathbf{E}}_i-{\mathbf{b}}_i{\mathbf{\alpha }}^i\Vert }_F^2$$
更新第二步中的字典时，由于其他列固定，即${\mathbf{E}}_i$也固定，原则上对${\mathbf{E}}_i$进行奇异值分解取得最大奇异值对应的正交向量即可，但直接对${\mathbf{E}}_i$进行奇异值分解会修改$b_i$，${\mathbf{\alpha }}^i$，从而破坏A的稀疏性。KSVD对${\mathbf{E}}_i$和${\mathbf{\alpha }}^i$专门处理：${\mathbf{\alpha }}^i$仅保留非零元素，${\mathbf{E}}_i$则仅保留$b_i$与${\mathbf{\alpha }}^i$零元素的累计项，然后再进行奇异值分解，即可保证稀疏的同时，通过对${\mathbf{E}}_i$进行奇异值分解以使上式最小化。
最小化字典矩阵B，先初始化B，再迭代运行上述两步，即可求出B和${\mathbf{\alpha }}_i$。

 

6 压缩感知

压缩感知关注于利用信号本身的稀疏性，如何将接收到的信号（部分样本）重构出原信号。压缩感知包含感知测量和重构恢复，感知测量关注如何对原信号处理以获得稀疏样本表示，重构恢复关注如何基于稀疏性从部分样本中恢复原信号。
假设原始离散信号 x 的长度为 m，假定以远小于奈奎斯特采样定理的要求采样得到长度为 n 的信号 y，n << m,即有：
$$\mathbf{y}=\mathbf{\Phi }\mathbf{x}$$
其中 $\mathbf{\Phi }$（nxm）是采样矩阵。
显然，若已知 $\mathbf{\Phi }$，$x$ 时容易得出 $y$；但难从 $y$ ，$\mathbf{\Phi }$ 得到原始信号 $x$，因为n << m，$\mathbf{y}=\mathbf{\Phi }\mathbf{x}$ 是一个欠定方程。
若假设一个线性变换$\mathbf{\Psi }\in {\mathbf{R}}^{m\times m}$，$\mathbf{\Psi }$称为稀疏基，使得：
$$\mathbf{y}=\mathbf{\Phi }\mathbf{x}=\mathbf{\Phi }\mathbf{\Psi }\mathbf{s}=\mathbf{A}\mathbf{s}$$
其中$\mathbf{A}=\mathbf{\Phi }\mathbf{\Psi }\in {\mathbf{R}}^{n\times m}$，作用类似字典，将信号转换为稀疏表示。当$\mathbf{s}$具有稀疏性，则能根据$\mathbf{y}$恢复出$\mathbf{s}$（因为稀疏性排除了很多未知因素），进而通过$\mathbf{x}=\mathbf{\Psi }\mathbf{s}$恢复原信号$\mathbf{x}$。
对于大小为nxm的矩阵A，若存在常数${\delta }_k\in \left(0,1\right)$，使得任意向量$\mathbf{s}$和A的所有子矩阵${\mathbf{A}}_k\in {\mathrm{R}}^{n\times k}$满足：
$$\left(1-{\delta }_k\right){\Vert \mathbf{s}\Vert }_2^2⩽{\Vert {\mathbf{A}}_k-\mathbf{s}\Vert }_2^2⩽\left(1+{\delta }_k\right){\Vert \mathbf{s}\Vert }_2^2$$
则称A满足k限定等距性（k-RIP），A满足此特性时，可通过从下式优化，从y中恢复出稀疏信号s,进而恢复出原始信号x:
$$\underset{s}{\min }{\Vert \mathbf{s}\Vert }_0$$
$$s.t.\mathbf{y}=\mathbf{A}\mathbf{s}$$
L0范数最小化式NP难问题，L1范数最小化再一定条件下与L0范数最小化同解，只需关注：
$$\underset{s}{\min }{\Vert \mathbf{s}\Vert }_1$$
$$s.t.\mathbf{y}=\mathbf{A}\mathbf{s}$$
至此，压缩感知的问题可以求解L1范数最小化求解，可通过转化为LASSO的等价形式再通过近端梯度下降法求解。

 

收集读者对书籍的喜好程度可以实现用户分析，原始数据中往往有很多缺失数据（？表示），当信号（读书喜好数据）具有稀疏表示时，可以，可以通过压缩感知任务恢复采样信号。

矩阵补全技术（matrix completion）用以解决此类问题，形式为：
$$\underset{\mathbf{X}}{\min }\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}\left(\mathbf{X}\right)$$
$$s.t.{\left(\mathbf{X}\right)}_{ij}={\left(\mathbf{A}\right)}_{ij},\left(i,j\right)\in \Omega$$
其中A表示上表中的已观察信号，X表示需要恢复的稀疏信号，$ij$表示A中的’?'元素下标。
$\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}\left(\mathbf{X}\right)$在$\left\{\mathbf{X}\in {\mathbf{R}}^{m\times n}:{\Vert \mathbf{X}\Vert }_F^2⩽1\right\}$上的凸包是X的“核范数”（迹范数，trace norm）:
∥X∥∗  =∑j=1min⁡{m,n}σj(X)\left\| \mathbf{X} \right\| _{*}^{\,\,}=\sum_{j=1}^{\min \left\{ m,n \right\}}{\sigma _j\left( \mathbf{X} \right)}∥X∥∗​=j=1∑min{m,n}​σj​(X)
其中${\sigma }_j\left(\mathbf{X}\right)$表示X的奇异值，即矩阵的核范数为矩阵的奇异值之和，可以通过最小化核范数来近似求解最小化X的迹：
$$\underset{\mathbf{X}}{\min }{\Vert \mathbf{X}\Vert }_{\ast }^{}$$
$$s.t.{\left(\mathbf{X}\right)}_{ij}={\left(\mathbf{A}\right)}_{ij},\left(i,j\right)\in \Omega$$
上式为凸优化问题，可通过半正定规划求解。