18、降维技术中的优化、加速与样本外扩展

降维技术中的优化、加速与样本外扩展

1. 优化

大多数降维（DR）方法依赖于应力函数 ζ : E → R 的最小化，该函数也被称为目标函数、成本函数、损失函数或能量函数。优化过程是在解空间 E 中搜索问题变量的值，以使应力函数达到最小值。

1.1 非参数与参数方法

• 非参数方法 ：直接针对嵌入点 X 的坐标优化应力，即 (X^* = \arg\min_{X\in E} \zeta(X))。
• 参数方法 ：针对参数映射 ( \Phi_W) 的参数向量 W 最小化应力，(X^ = \Phi_{W^ }(\mathbf{z}))，其中 (W^ = \arg\min_{W\in W} \zeta(\Phi_W(\mathbf{z})))。在参数情况下，解空间是参数空间 W 而非嵌入空间 E。由于优化挑战，实际中通常难以获得关于 ζ 的最优嵌入 (X^ )，DR 方法可能给出次优解（局部最优）。接下来主要关注非参数优化情况。

1.2 全局和局部最优

优化的一个关键难题在于局部最优和全局最优的差异。对于最小化问题，局部最优解 (X^ ) 是在解空间的某个邻域内使应力 ζ 最小的解，即对于 (X^ ) 邻域内的所有 X，都有 (\zeta(X^ ) \leq \zeta(X))。如果 (X^ ) 能使整个解空间的应力 ζ 最小，那么它也是全局最优解。优化算法的最终目标是找到应力函数的全局最小值，但目前的优化算法（如梯度下降）只能收敛到局部