10、寻找最小值算法解析

寻找最小值算法解析

在优化问题中，寻找函数的最小值是一个核心任务。为了避免陷入成本函数的局部最小值，人们设计了多种算法。下面将详细介绍几种常见的寻找最小值的算法。

1. 向量场与解的流动特性

向量场的散度代表了体积沿流动曲线的演化速率。在某些情况下，解的流动是不可压缩的，即任何给定体积的粒子在动力系统的演化过程中保持其体积不变。例如，所有哈密顿流（对于任何光滑函数 $H$ 的系统解）的散度都为零。这意味着，如果一个球从一些初始相邻状态开始滚动，在系统演化的任何时刻，这些状态都处于相同的体积邻域内，不可能收敛到任何平衡状态。就像一个在凸杯中无摩擦地向下滚动的球，它永远不会停在杯底，而是会在杯壁上来回弹跳，无数次地经过平衡点而不停歇。

2. 动量法

为了避免陷入成本函数的局部最小值，动量法对梯度下降法进行了改进。

2.1 基本原理

梯度下降法可以通过一个球滚入杯子的物理模型来理解，球的位置在每个时刻都沿着梯度的负方向以给定的步长（学习率）进行更新。而动量法引入了一个速度变量，让梯度修改速度而不是直接修改位置，速度的变化会影响位置。除了学习率，该技术还使用了一个额外的超参数，用于模拟摩擦，它会逐渐降低速度，使球向稳定的平衡点（杯子底部）滚动。动量法的作用是在最小化成本函数的同时加速梯度下降法。

经典动量法提供了位置和速度的同时更新公式：
- $x_{n + 1} = x_n + v_{n + 1}$
- $v_{n + 1} = \mu v_n - \eta \nabla f(x_n)$

其中，$\eta > 0$ 是学习率，$\mu \in (0, 1