12、优化算法全面解析：从基础概念到实用方法

优化算法全面解析：从基础概念到实用方法

1. 优化基础概念

1.1 鞍点与局部极小值

在鞍点处，海森矩阵（Hessian）的特征值有正有负。若某点的海森矩阵是半正定的，部分方向可能指向上升方向，而部分方向是平坦的，这意味着目标函数在该点邻域内无法减小，所以该点必然是局部极小值点。若海森矩阵是严格正定的，那么就处于“碗底”，所有方向都指向上升方向，这足以判定该点为极小值点。

1.2 无约束与约束优化

• 无约束优化 ：任务是在参数空间 Θ 中找到使损失最小的值。
• 约束优化 ：通常对允许的值有一组约束，可将约束集 C 分为不等式约束 (g_j(\theta) \leq 0)（(j \in I)）和等式约束 (h_k(\theta) = 0)（(k \in E)）。例如，和为 1 的约束可表示为等式约束 (h(\theta) = (1 - \sum_{i=1}^{D} \theta_i) = 0)，参数的非负约束可通过 D 个不等式约束 (g_i(\theta) = -\theta_i \leq 0) 表示。
  可行集定义为满足约束的参数空间子集：(C = {\theta : g_j(\theta) \leq 0 : j \in I, h_k(\theta) = 0 : k \in E} \subseteq R^D)。约束优化问题可表示为 (\theta^* \in \arg\min_{\theta \in C} L(\theta))。若 (C = R^D)，则为无约束优化。
  添加约束可能改变函数的最优解数量，过多约束可能使可行集为