PCA和Fisher LDA

PCA

PCA主要用于没有标签的降维，想法就是把数据投影在某个方向上，使得信噪比最大，也就是投影的方差最大。

对于给定的一组数据$x_1,x_2,...,x_n$，其中每一个都是列向量，假设投影方向的单位列向量是w，投影后的方差可以表示为
$$\begin{gathered} D(x)=\frac{1}{n}\sum _{i=1}^n(x_i^{T}w{)}^2 \\ D(x)=\frac{1}{n}\sum _{i=1}^n(x_i^{T}w{)}^T(x_i^{T}w) \\ D(x)=w^T[\frac{1}{n}\sum _{i=1}^n(x_i{x}_i^T)]w \end{gathered}$$
中间刚好是协方差矩阵$\Sigma$，所以目标函数就是
$$\begin{gathered} \underset{w}{\mathrm{argmax}}{w}^T\Sigma w \\ s.t.w^{T}w=1 \end{gathered}$$
所以拉格朗日乘数法就上了，可以推出
$$D(x)=w^T\Sigma w=\lambda w^{T}w=\lambda$$
所以x投影后的方差就是协方差矩阵的特征值，投影的方向就是特征值对应的特征向量。哪个投影方向好就是特征值较大的方向，最后取特征值较大的特征向量的方向。

Fisher LDA

Fisher LDA是有监督的降维，降维目标是类间距离和类内距离的比值达到最大，也就是
$$\begin{gathered} J(w)=\frac{w^T(u_1-u_2)(u_1-u_2{)}^{T}w}{{\sum }_{x\in C_i}{w}^T(x-u_i)(x-u_i{)}^{T}w} \\ {S}_B=(u_1-u_2)(u_1-u_2{)}^T \\ {S}_W=\sum _{x\in C_i}(x-u_i)(x-u_i{)}^T \end{gathered}$$
其中$u_i$表示第i类的均值向量，$S_B$和$S_W$可以看成是类间和类内的散列矩阵
问题可以简化成
$$J(w)=\frac{w^T{S}_{B}w}{w^T{S}_{W}w}$$
我们要最大化$J(w)$，对它求偏导。先补充一点矩阵偏导的推导，利用迹trace。如果A是方阵，w是列向量，那么可以有以下表达式，这个如果直接求容易被矩阵绕晕掉：
$$\begin{gathered} f(w)=w^{T}Aw \\ \frac{\partial f(w)}{\partial w}=w^T(A^T+A) \end{gathered}$$
推导可以利用迹trace，如下：
$$\begin{gathered} df(w)=(dw{)}^{T}Aw+w^{T}Adw \\ tr[df(w)]=tr([dw{)}^{T}Aw{]}^T+w^{T}Adw) \\ tr[df(w)]=tr(w^T{A}^{T}dw+w^{T}Adw) \end{gathered}$$
所以最后$\frac{\partial f(w)}{\partial w}$是一个列向量，如果想把它变成行向量再转置一个就好。
有了推导的方法，可以得到
$$(w^T{S}_{W}w)S_{B}w=(w^T{S}_{B}w)S_{W}w$$
$(w^T{S}_{B}w)$和$(w^T{S}_{W}w)$是两个数，可以令$\lambda =J(w)$，所以可以得到
$$S_W^{-1}{S}_{B}w=\lambda w$$
所以这个问题也变成了求矩阵特征值的解法
最后还有两点需要注意：

1. 对于二分类，由于$S_B=(u_1-u_2)(u_1-u_2{)}^T$，因此最终投影方向$S_{B}w$和均值方向的差$(u_1-u_2)$是一样的。因为$(u_1-u_2{)}^{T}w$是个数字
2. 如果只考虑方向，不考虑长度，可以得
   $$S_W^{-1}k(u_1-u_2)=\lambda w$$
   也就是说，可以只算样本的均值和类的方差，就可以快速得到投影方向w

更多内容参考葫芦书