降维

一、线性降维和非线性降维

线性函数要满足两个条件：可加性和齐次性

PCA和LDA都是高维空间对低维空间的线性变换，因为在变换前后，高维空间和低维空间的向量都保持了同样的性质，对于空间的任意一个向量均有：

同时满足了可加性和齐次性，这个关系也叫做叠加原理。当一个理论用了叠加原理时，其实本质是利用了线性关系。把叠加原理拆开，会发现它正对应着矩阵的乘法。事实上，矩阵的乘法就是根据线性映射的叠加原理来定义的。

在此基础上，投影就是典型的线性变换，因为投影变换可以用矩阵来表示，而且它是对称矩阵，矩阵的某些对角元为零，零对角元对应着相应维度的舍弃。

 

线性降维默认先进行投影变换，然后在找一个是其目标最大化的低维空间，这就意味着最佳的低维空间必定是高维空间无数个线性变换出的空间中的一个。

PCA希望在低维空间中保持样本的最大方差，LDA则希望类间散度大，类内散度小。

如果我们更希望直接寻找一个低维空间，使其保持高维空间的结构，这个寻找最类似结构的过程往往是原始空间的非线性变换。