数据降维算法分类

数据降维算法分为线性降维算法以及非线性降维算法两类。

数据集中$X$中任意数据x_i$\in$R^d，线性降维有两种方式可以获得$X$的低维表示。

1、寻找投影矩阵V=[v1,…,vk]$\in$R^d*k：
y_i=V^Tx_i，y_i$\in$R^k。

2、寻找一组基v1,…,vk：
x_i$\approx$$\sum$y_i,jv_j。y_i=[y_i,1,…,y_i,k]$\in$R^k，y_i即可看作x_i的低维表示。

数据降维中最核心的问题在于发现高维观测值中所隐含的有意义的潜在结构。无论线性或非线性降维，其本质都是解决该问题。