13、一维优化与无约束优化技术解析

一维优化与无约束优化技术解析

1. 一维优化问题

一维优化在许多算法中是常见步骤，下面介绍几种相关的优化方法及应用。

1.1 函数极小值求解示例

考虑函数 (f(a) = a^3 - 12.2a^2 + 7.45a + 42)，从 (a_0 = 11.0) 开始，利用 MATLAB 列表 M4.5 求其极小值。迭代过程如下：
| 计数器 | 当前点 |
| ---- | ---- |
| 0 | 11.0 |
| 1 | 8.5469 |
| 2 | 7.8753 |
| 3 | 7.8161 |
| 4 | 7.8156 |
| 5 | 7.8156 |

最终得到最优解 (a^* = 7.8156)，可通过绘制函数图像进行验证。

1.2 割线法

割线法是牛顿法的一种变体。假设根的求解问题（4.24）的解被限定在区间 ([a_A, a_B]) 内，其中 (a_A) 和 (a_B) 处的 (f’(a)) 符号相反，即 (f’(a_A)f’(a_B) < 0)。牛顿迭代所需的二阶导数可近似为：
(f’‘(a_i) \approx \frac{f’(a_B) - f’(a_A)}{(a_B - a_A)})
牛顿迭代公式变为：
(a_{i + 1} = a_A - \frac{f’(a_A)(a_B - a_A)}{f’(a_B) - f’(a_A)})

该步骤等价于连接两点 ((a_A, f’(a_A))) 和 ((a_B, f’(a_B))) 的直线与水平轴的交点，新点 (a_{i