书接上文,前面介绍了PCA、LDA、ICA、FA、MFA,接下来介绍几种非线性数据降维的方法。
SNE
SNE是通过仿射(affinitie)变换将数据点映射到基本相同的概率分布上,主要包括两个步骤:
- SNE构建一个高维对象之间的概率分布,使得相似的对象有更高的相似度,而不相似的对象有较低的相似度。
- SNE在低维空间里在构建这些点的概率分布,使得这两个概率分布之间尽可能的相似。
给定一个N个高维的数据xixi, SNE首先是构建概率pj|ipj|i,正比于xixi和xjxj之间的相似度,即:
pj|i=exp(−|xj−xi|2/(2σ2))∑k≠iexp(−|xk−xi|2/(2σ2))pj|i=exp(−|xj−xi|2/(2σ2))∑k≠iexp(−|xk−xi|2/(2σ2))
它所对应的降维数据为yiyi,相应的有
qj|i=exp(−|yj−yi|2