42、优化方法：梯度、最小二乘法与直接搜索

优化方法：梯度、最小二乘法与直接搜索

1. 梯度优化方法

1.1 最速下降法

最速下降法是一种常用的优化算法，其核心思想是沿着目标函数负梯度方向进行迭代搜索，以逐步逼近函数的最小值。在每一步迭代中，步长的确定是关键，通常通过一维搜索来实现。

示例 5.3

考虑目标函数 (U(x) = x_1^2 + 20.0x_2^2)，我们使用最速下降法来求解其最小值。具体步骤如下：
1. 计算目标函数的一阶偏导数 ：
- (\frac{\partial U(x)}{\partial x_1} = 2x_1)
- (\frac{\partial U(x)}{\partial x_2} = 40x_2)
2. 选择初始点 (x^{(0)} = [2.0, 2.0]^T)，并计算梯度 (g(x^{(0)})) 和搜索方向 (p(x^{(0)})) ：
- (g(x^{(0)}) = [4.0, 80.0]^T)
- (p(x^{(0)}) = [-0.049937, -0.99875]^T)
3. 使用 (x^{(0)}) 和 (p(x^{(0)})) 计算 (x^{(1)})，并将 (x^{(1)}) 代入目标函数得到 (U(t)) ：
- (U(t) = 84.0 - 80.1t + 19.95t^2)
4. 通过求 (U(t)) 的最小值确定步长 (t_0) ：
- 对 (U(t)) 求导并令其为 0，可得 (t_0