训练集和测试集是分开降维还是整体降维？

对于这个问题我一直纠结，为避免麻烦，拿来的原始数据我都是直接根据目标进行整体降维。

首先，降维的方法有很多种，不同的情况由不同的降维方法。

线性降维	非线性降维
PCA (无监督)	LLE(局部线性嵌入)
LDA(有监督)	Kernel-PCA(核主成份分析）

对于线性方法（例如PCA） 而言， 它旨在寻找一个高维空间到低维空间的映射矩阵或映射关系， 当映射矩阵找到后便可直接将其应用到其他数据集进行降维（通俗点理解就是直接套用矩阵公式得到降维结果）， 因此， 这种降维方式下可以单独降维；(当然，也可以整体降维)

而非线性方法（例如LLE） 则需要在保持某种局部结构的条件下实现数据的整体降维， 此时需要所有的数据集合到一起然后才能实现数据降维。