8、寻找函数最小值的算法

寻找函数最小值的算法

在监督学习中，学习过程涉及调整网络参数（权重和偏差），直到某个成本函数达到最小值。由于参数数量通常非常大（轻松达到数千个），因此需要一种稳健的最小化算法。下面将介绍几种不同的最小化算法，并分析它们的优缺点。

1. 最小值的一般性质

1.1 单实变量函数

微积分中有一个著名的结论：对于定义在紧凑区间 $[a, b]$ 上的实值连续函数 $f: [a, b] → R$，它是有界的，并且会在区间 $[a, b]$ 内达到其边界值。这意味着至少存在一个值 $c ∈ [a, b]$，使得 $f(c) = \min_{x∈[a,b]} f(x)$，这就是 $f(x)$ 的全局最小值。不过，函数也可能存在局部最小值。

如果（局部或全局）最小值在区间内部取得，即 $c ∈ (a, b)$，并且函数在该点可导，根据费马定理，$f’(c) = 0$，从几何角度看，这意味着函数 $y = f(x)$ 在点 $(c, f(c))$ 处的切线是水平的。但要注意，这个条件只是必要条件，而非充分条件。如果函数还具有凸性（即满足 $f’‘(x) ≥ 0$），那么该条件就变成了充分条件。

1.2 多实变量函数

假设 $K$ 是 $R^n$ 中的一个紧凑集，也就是一个封闭且有界的集合。例如，$K = [a_1, b_1] × · · · × [a_n, b_n]$，其中 $a_i, b_i ∈ R$；或者 $K = {x; ∥x∥ ≤ R}$，其中 $R > 0$。如果 $f: K → R$ 是一个连续函数，那么必定存在一个点 $c ∈ K$，使得 $f(c) = \min_{x∈K} f(x)$，即函数有全局最小值。