数据降维方法（主成分分析PCA、线性判别分析LDA）

1、特征变换

1.1、特征提取

特征提取的形式是用向量来表示数据样本（语音、文本、图片等）

2、维数缩减

2.1、维度灾难

由Richard E. Bellman提出，当维度增加时会遇到如下问题：
1、计算量呈指数增长
2、低维距离相近的相似样本在高维距离会增加
3、数据变得稀疏（数据空间体积急剧增大）

2.2、维度缩减

降维是解决维度灾难的重要手段，在很多情况下，数据样本是高维，但与学习任务相关的特征在低维分布（即高维空间的低维分布embeding）

2.3、线性降维法

$$\mathrm{y}={\mathrm{W}}^{\mathrm{T}}\mathrm{x}$$
可以将样本x(d维空间)变换为样本y(m维空间)，其中新空间的特征是原空间特征的线性组合，可以通过矩阵乘法看出。

2.3.1、主成分分析(PCA)

主成分分析的主要思想是将原始数据保留在少数方差最大的方向上的投影。主成分指方差较大的方向，如第一主成分、第二主成分等。

2.3.1.1、数学分析

假设${\mathrm{x}}_1,{\mathrm{x}}_2,...,{\mathrm{x}}_{\mathrm{n}}$是d维空间的n个样本，${\mathrm{w}}_1,{\mathrm{w}}_2,...,{\mathrm{w}}_{\mathrm{m}}$是d维空间的前m个主成分，其中有
$${\mathrm{w}}_{\mathrm{i}}^{\mathrm{T}}{\mathrm{w}}_{\mathrm{j}}=0,\forall i\ne \mathrm{j};{\mathrm{w}}_{\mathrm{i}}^{\mathrm{T}}{\mathrm{w}}_{\mathrm{i}}=1$$
即是一组单位正交基，以主成分${\mathrm{w}}_1$为例，${\mathrm{x}}_1$的投影为${\mathrm{y}}_{\mathrm{i}}={\mathrm{w}}_1^{\mathrm{T}}{\mathrm{x}}_{\mathrm{i}}$；
$$\begin{array}{r}\overline{\mathrm{y}}={\mathrm{w}}_1^{\mathrm{T}}\overline{\mathrm{x}},\mathrm{where}\overline{\mathrm{x}}=\frac{1}{\mathrm{n}}\sum _{\mathrm{i}=1}^{\mathrm{n}}{\mathrm{x}}_{\mathrm{i}}\\ var=\frac{1}{\mathrm{n}}\sum _{\mathrm{i}=1}^{\mathrm{n}}({\mathrm{w}}_1^{\mathrm{T}}{\mathrm{x}}_{\mathrm{i}}-{\mathrm{w}}_1^{\mathrm{T}}\overline{\mathrm{x}}{)}^2\end{array}$$
我们希望${\mathrm{w}}_1$方向上有最大的方差，即：
$$\begin{array}{rl}& max\frac{1}{\mathrm{n}}\sum _{\mathrm{i}=1}^{\mathrm{n}}({\mathrm{w}}_1^{\mathrm{T}}{\mathrm{x}}_{\mathrm{i}}-{\mathrm{w}}_1^{\mathrm{T}}\overline{\mathrm{x}}{)}^2\\ & s.t.{\mathrm{w}}_{\mathrm{i}}^{\mathrm{T}}{\mathrm{w}}_{\mathrm{i}}=1\end{array}$$
对方差展开推导：
$$\begin{array}{rl}var& =\frac{1}{\mathrm{n}}\sum _{\mathrm{i}=1}^{\mathrm{n}}({\mathrm{w}}_1^{\mathrm{T}}{\mathrm{x}}_{\mathrm{i}}-{\mathrm{w}}_1^{\mathrm{T}}\overline{\mathrm{x}}{)}^2\\ & =\frac{1}{\mathrm{n}}\sum _{\mathrm{i}=1}^{\mathrm{n}}({\mathrm{w}}_1^{\mathrm{T}}{\mathrm{x}}_{\mathrm{i}}-{\mathrm{w}}_1^{\mathrm{T}}\overline{\mathrm{x}})({\mathrm{w}}_1^{\mathrm{T}}{\mathrm{x}}_{\mathrm{i}}-{\mathrm{w}}_1^{\mathrm{T}}\overline{\mathrm{x}}{)}^{\mathrm{T}}\\ & =\frac{1}{\mathrm{n}}\sum _{\mathrm{i}=1}^{\mathrm{n}}{\mathrm{w}}_1^{\mathrm{T}}({\mathrm{x}}_{\mathrm{i}}-\overline{\mathrm{x}})({\mathrm{x}}_{\mathrm{i}}-\overline{\mathrm{x}}{)}^{\mathrm{T}}{\mathrm{w}}_1\\ & ={\mathrm{w}}_1^{\mathrm{T}}\left(\frac{1}{\mathrm{n}}\sum _{\mathrm{i}=1}^{\mathrm{n}}({\mathrm{x}}_{\mathrm{i}}-\overline{\mathrm{x}})({\mathrm{x}}_{\mathrm{i}}-\overline{\mathrm{x}}{)}^{\mathrm{T}}\right){\mathrm{w}}_1\\ & ={\mathrm{w}}_1^{\mathrm{T}}\mathrm{C}{\mathrm{w}}_1\end{array}$$
这里的C为协方差矩阵，用拉格朗日乘子法进行优化求最大值：
$$\begin{array}{rl}obj& ={\mathrm{w}}_1^{\mathrm{T}}\mathrm{C}{\mathrm{w}}_1+\lambda (1-{\mathrm{w}}_1^{\mathrm{T}}{\mathrm{w}}_1)\\ \frac{\partial obj}{\partial {\mathrm{w}}_1}& =2C-2\lambda {\mathrm{w}}_1\end{array}$$
令$\mathrm{C}{\mathrm{w}}_1=\lambda {\mathrm{w}}_1$，可以看出，${\mathrm{w}}_1$是协方差矩阵$C$的特征向量(eigenvector)，$\lambda$是对应的特征值(eigenvalue)，将其替换得：
$$\begin{array}{r}{\mathrm{w}}_1^{\mathrm{T}}\mathrm{C}{\mathrm{w}}_1={\mathrm{w}}_1^{\mathrm{T}}\lambda {\mathrm{w}}_1=\lambda {\mathrm{w}}_1^{\mathrm{T}}{\mathrm{w}}_1=\lambda \end{array}$$
由此可以看出，使得${\mathrm{w}}_1$方差最大，需对应协方差矩阵最大的特征值$\lambda$，而$\lambda$对应的特征值即为${\mathrm{w}}_1$，也就是第一主成分。

2.3.1.2、算法步骤

因此主成分分析的主要步骤可以总结如下：

1. 计算数据均值：$\overline{\mathrm{x}}=\frac{1}{\mathrm{n}}{\sum }_{\mathrm{i}=1}^{\mathrm{n}}{\mathrm{x}}_{\mathrm{i}}$
2. 计算数据协方差矩阵：$\mathrm{C}=\frac{1}{\mathrm{n}}{\sum }_{\mathrm{i}=1}^{\mathrm{n}}({\mathrm{x}}_{\mathrm{i}}-\overline{\mathrm{x}})({\mathrm{x}}_{\mathrm{i}}-\overline{\mathrm{x}}{)}^{\mathrm{T}}$
3. 对协方差矩阵进行特征值分解，并取最大的m个特征值$({\lambda }_1\ge {\lambda }_2\ge ...\ge {\lambda }_m)$，其对应的特征向量$({\mathrm{w}}_1,{\mathrm{w}}_2,...,{\mathrm{w}}_{\mathrm{m}})$，组成投影矩阵$\mathrm{W}=[{\mathrm{w}}_1,{\mathrm{w}}_2,...,{\mathrm{w}}_{\mathrm{m}}]\in {\mathbb{R}}^{\mathrm{d}\times \mathrm{m}}$
4. 将每一个数据样本进行投影：${\mathrm{y}}_{\mathrm{i}}={\mathrm{w}}_1^{\mathrm{T}}{\mathrm{x}}_{\mathrm{i}}$

换一种思考方式：如何仅用一个超平面从整体上对所有样本进行恰当表示？

2.3.1.3、可区分性

满足可去区分性的要求是所有样本点投影到该超平面上时方差应该最大。投影后的样本点为：
$${\mathrm{y}}_{\mathrm{i}}={\mathrm{W}}^{\mathrm{T}}{\mathrm{x}}_{\mathrm{i}}$$
数据点是零均值化的，即：$\overline{\mathrm{y}}={\sum }_{\mathrm{i}=1}^{\mathrm{n}}{\mathrm{y}}_{\mathrm{i}}={\mathrm{W}}^{\mathrm{T}}{\sum }_{\mathrm{i}=1}^{\mathrm{n}}{\mathrm{x}}_{\mathrm{i}}=0$
投影之后的协方差矩阵为：
$$\begin{array}{rl}var& =\frac{1}{\mathrm{n}}\sum _{\mathrm{i}=1}^{\mathrm{n}}({\mathrm{y}}_{\mathrm{i}}-\overline{\mathrm{y}})({\mathrm{y}}_{\mathrm{i}}-\overline{\mathrm{y}}{)}^{\mathrm{T}}\\ & =\frac{1}{\mathrm{n}}\sum _{\mathrm{i}=1}^{\mathrm{n}}({\mathrm{W}}^{\mathrm{T}}{\mathrm{x}}_{\mathrm{i}}-0)({\mathrm{W}}^{\mathrm{T}}{\mathrm{x}}_{\mathrm{i}}-0{)}^{\mathrm{T}}\\ & =\frac{1}{\mathrm{n}}\sum _{\mathrm{i}=1}^{\mathrm{n}}{\mathrm{W}}^{\mathrm{T}}{\mathrm{x}}_{\mathrm{i}}{\mathrm{x}}_{\mathrm{i}}{\mathrm{W}}^{\mathrm{T}}\\ & =\frac{1}{\mathrm{n}}{\mathrm{W}}^{\mathrm{T}}\mathrm{XX}{\mathrm{W}}^{\mathrm{T}}\end{array}$$
我们要使得投影样本每一维的方差最大，即相当于最大所有维度方差之和最大（有上面分析可以看出，其等价于所有特征值之和最大），矩阵的迹等于特征值之和，则目标方程与约束方程可以为：
$$\begin{array}{rl}& maxtr(\frac{1}{\mathrm{n}}{\mathrm{W}}^{\mathrm{T}}\mathrm{XX}{\mathrm{W}}^{\mathrm{T}})\\ & s.t.W^{T}W=I\end{array}$$
同样根据拉格朗日乘子法，可以得到：
$$X{X}^{T}W=\lambda W$$
由此，同样可以得出，我们只需要对协方差矩阵$X{X}^T$进行特征值分解，得到最大的前m个特征值并进行排序使得${\lambda }_1\ge {\lambda }_2\ge ...\ge {\lambda }_m$，${\lambda }_1$对应的特征向量即为第一主成分，其他依次类推……

2.3.1.4、可重构性

其基本思想是每个样本到超平面的距离都足够近。

假设投影变换都是正交变换，建立新坐标系$\mathrm{W}=[{\mathrm{w}}_1,{\mathrm{w}}_2,...,{\mathrm{w}}_{\mathrm{m}}](\mathrm{m}<\mathrm{d})$，且有：
$${\mathrm{w}}_{\mathrm{i}}^{\mathrm{T}}{\mathrm{w}}_{\mathrm{j}}=0,\forall i\ne \mathrm{j};{\mathrm{w}}_{\mathrm{i}}^{\mathrm{T}}{\mathrm{w}}_{\mathrm{i}}=1$$
样本点投影后在新坐标系下的坐标为${\mathbf{y}}_{\mathrm{i}}=[{\mathrm{y}}_{i1},{\mathrm{y}}_{i2},...,{\mathrm{y}}_{\mathrm{im}}{]}^{\mathrm{T}}$，即正交坐标系下投影的新坐标为
$${\mathrm{y}}_{\mathrm{ij}}={\mathbf{w}}_{\mathrm{j}}^{\mathrm{T}}{\mathbf{x}}_{\mathrm{i}},{\mathbf{w}}_{\mathrm{j}}\in {\mathbb{R}}^{\mathrm{d}},\mathrm{j}=1,2,...,\mathrm{m}$$
新坐标系下的新表示${\hat{\mathrm{x}}}_{\mathrm{i}}$为：
$${\hat{\mathbf{x}}}_{\mathrm{i}}=\sum _{\mathrm{j}=1}^{\mathrm{m}}{\mathrm{y}}_{\mathrm{ij}}{\mathbf{w}}_{\mathrm{j}}$$
重构误差：
$$\begin{array}{rl}\sum _{\mathrm{i}=1}^{\mathrm{n}}{\Vert {\mathrm{x}}_{\mathrm{i}}-{\hat{\mathrm{x}}}_{\mathrm{i}}\Vert }_2^2& =\sum _{\mathrm{i}=1}^{\mathrm{n}}{\Vert {\mathrm{x}}_{\mathrm{i}}-\sum _{\mathrm{j}=1}^{\mathrm{m}}{\mathrm{y}}_{\mathrm{ij}}{\mathbf{w}}_{\mathrm{j}}\Vert }_2^2=\sum _{\mathrm{i}=1}^{\mathrm{n}}{\Vert {\mathrm{x}}_{\mathrm{i}}-\mathrm{W}{\mathrm{y}}_{\mathrm{i}}\Vert }_2^2\\ & =\sum _{\mathrm{i}=1}^{\mathrm{n}}\left((\mathrm{W}{\mathrm{y}}_{\mathrm{i}}{)}^{\mathrm{T}}\mathrm{W}{\mathrm{y}}_{\mathrm{i}}-2{\mathrm{x}}_{\mathrm{i}}^{\mathrm{T}}\mathrm{W}{\mathrm{y}}_{\mathrm{i}}+{\mathrm{x}}_{\mathrm{i}}^{\mathrm{T}}{\mathrm{x}}_{\mathrm{i}}\right)\\ & =\sum _{\mathrm{i}=1}^{\mathrm{n}}\left({\mathrm{y}}_{\mathrm{i}}^{\mathrm{T}}{\mathrm{y}}_{\mathrm{i}}-2{\mathrm{y}}_{\mathrm{i}}^{\mathrm{T}}{\mathrm{y}}_{\mathrm{i}}+{\mathrm{x}}_{\mathrm{i}}^{\mathrm{T}}{\mathrm{x}}_{\mathrm{i}}\right)\\ & =-\sum _{\mathrm{i}=1}^{\mathrm{n}}{\mathrm{y}}_{\mathrm{i}}^{\mathrm{T}}{\mathrm{y}}_{\mathrm{i}}+\sum _{\mathrm{i}=1}^{\mathrm{n}}{\mathrm{x}}_{\mathrm{i}}^{\mathrm{T}}{\mathrm{x}}_{\mathrm{i}}\\ & =-\sum _{\mathrm{i}=1}^{\mathrm{n}}{\mathrm{y}}_{\mathrm{i}}^{\mathrm{T}}{\mathrm{y}}_{\mathrm{i}}+\mathrm{const}\\ & =-\sum _{\mathrm{i}=1}^{\mathrm{n}}({\mathrm{W}}^{\mathrm{T}}{\mathrm{x}}_{\mathrm{i}}{)}^{\mathrm{T}}({\mathrm{W}}^{\mathrm{T}}{\mathrm{x}}_{\mathrm{i}})+\mathrm{const}\\ & =-{\mathrm{W}}^{\mathrm{T}}\mathrm{XX}{\mathrm{W}}^{\mathrm{T}}+\mathrm{const}\end{array}$$
最小化重构误差，即相当于最大化 $W^{T}XX{W}^T$，得到的模型与可区分性的模型相同。

2.3.1.5、维数选择

一个降低维度的选择标准：
$$\frac{{\sum }_{\mathrm{i}=1}^{\mathrm{m}}{\lambda }_{\mathrm{i}}}{{\sum }_{\mathrm{i}=1}^{\mathrm{d}}{\lambda }_{\mathrm{i}}}\ge \mathrm{t}$$
例如t可以取95%。

需要舍弃的维度为m-d维，舍弃这些维度之后样本的密度将增大，另外最小特征值所对应的特征向量往往与噪声相关，因此PCA一定程度上可以达到降噪的效果。

2.3.2、线性判别分析(LDA)

LAD即线性判别分析(Linear Discriminant Analysis)，其主要思想是寻找一组投影方向，使得样本在投影之后类内样本尽可能靠近，类间样本尽可能远离，从而提升分类能力。投影方向数小于原始数据的维度，故也是一种线性降维的方法。

2.3.2.1、数学推导

设有样本集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) } , y i ∈ { 0 , 1 } \rm D=\{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\},\quad y_i\in \{0,1\} D={(x1​,y1​),(x2​,y2​),...,(xn​,yn​)},yi​∈{0,1}；记 ${\mu }_{\mathrm{i}},{\mathrm{\Sigma }}_{\mathrm{i}}$ 为样本均值和协方差矩阵，其中 i ∈ { 0 , 1 } \rm i\in\{0,1\} i∈{0,1}，投影后两类样本的中心和协方差分别为 ${\mathrm{w}}^{\mathrm{T}}{\mu }_0、{\mathrm{w}}^{\mathrm{T}}{\mu }_1、{\mathrm{w}}^{\mathrm{T}}{\mathrm{\Sigma }}_0\mathrm{w}、{\mathrm{w}}^{\mathrm{T}}{\mathrm{\Sigma }}_1\mathrm{w}$，要使得：同类样本协方差最小，即需要最小化：
$${\mathrm{w}}^{\mathrm{T}}{\mathrm{\Sigma }}_0\mathrm{w}+{\mathrm{w}}^{\mathrm{T}}{\mathrm{\Sigma }}_1\mathrm{w}$$
要使得类中心距离最大，即需要最大化：
$${\Vert {\mathrm{w}}^{\mathrm{T}}{\mu }_0-{\mathrm{w}}^{\mathrm{T}}{\mu }_1\Vert }_2^2$$
综合二者，可得最大化目标函数为：
$$\begin{array}{rl}J& =\frac{{\Vert {\mathrm{w}}^{\mathrm{T}}{\mu }_0-{\mathrm{w}}^{\mathrm{T}}{\mu }_1\Vert }_2^2}{{\mathrm{w}}^{\mathrm{T}}{\mathrm{\Sigma }}_0\mathrm{w}+{\mathrm{w}}^{\mathrm{T}}{\mathrm{\Sigma }}_1\mathrm{w}}\\ & =\frac{{\mathrm{w}}^{\mathrm{T}}({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{\mathrm{T}}\mathrm{w}}{{\mathrm{w}}^{\mathrm{T}}({\mathrm{\Sigma }}_0+{\mathrm{\Sigma }}_1)\mathrm{w}}\\ & =\frac{{\mathrm{w}}^{\mathrm{T}}{\mathrm{S}}_{\mathrm{b}}\mathrm{w}}{{\mathrm{w}}^{\mathrm{T}}{\mathrm{S}}_{\mathrm{w}}\mathrm{w}}\end{array}$$
即为广义Rayleigh熵，其中类内散度矩阵$S_w$为：
$$\begin{array}{r}{\mathrm{S}}_{\mathrm{w}}={\mathrm{\Sigma }}_0+{\mathrm{\Sigma }}_1\end{array}$$
类间散度矩阵$S_b$为：
$$\begin{array}{r}{\mathrm{S}}_{\mathrm{b}}=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{\mathrm{T}}\end{array}$$约束${\mathrm{w}}^{\mathrm{T}}{\mathrm{S}}_{\mathrm{w}}\mathrm{w}=1$，根据拉格朗日乘子法可以得到：
$${\mathrm{S}}_{\mathrm{b}}\mathrm{w}=\lambda {\mathrm{S}}_{\mathrm{w}}\mathrm{w}\Rightarrow {\mathrm{S}}_{\mathrm{w}}^{-1}{\mathrm{S}}_{\mathrm{b}}\mathrm{w}=\lambda \mathrm{w}$$