18、降维技术中的优化、加速与样本外扩展

降维技术中的优化、加速与样本外扩展

1. 优化

大多数降维（DR）方法依赖于最小化一个应力函数 $\zeta : E \to R$，也称为目标、成本、损失或能量函数。优化过程就是在解空间 $E$ 中搜索问题变量的值，以使应力函数达到最小值。

• 非参数和参数方法

  • 非参数 DR 方法直接针对嵌入点 $X$ 的坐标优化应力，即 $X^* = \arg\min_{X\in E} \zeta(X)$。
  • 参数方法则是针对参数映射 $\varPhi_W$ 的参数向量 $W$ 最小化应力，$X^ = \varPhi_{W^ }(\mathbf{z})$，其中 $W^ = \arg\min_{W\in W} \zeta(\varPhi_W(\mathbf{z}))$。在参数情况下，解空间是参数空间 $W$ 而非嵌入空间 $E$。由于优化挑战，实践中往往难以获得关于 $\zeta$ 的最优嵌入 $X^ $，DR 方法可能只能提供次优解（局部最优）。下面主要关注非参数优化情况。

• 全局和局部最优

  • 优化的一个关键难点在于局部最优和全局最优的差异。对于最小化问题，局部最优是指在解空间的某个邻域内使应力 $\zeta$ 最小化的解 $X^ $，即对于 $X^ $ 某个邻域内的所有 $X$，都有 $\zeta(X^ ) \leq \zeta(X)$。如果 $X^ $ 能使整个解空间