9、非线性优化方法解析与应用

非线性优化方法解析与应用

1. 函数极值点求解

1.1 求解函数极值点示例

考虑函数 (f(x_1, x_2) = x_1^3 + x_2^3 + 2x_1^2 + 4x_2^2 + 6)，要求其极值点。极值点需满足必要的最优性条件，可通过令梯度的分量为零来获取。
- 计算梯度分量：
- (\frac{\partial f}{\partial x_1} = 0)，即 (x_1(3x_1 + 4) = 0)。
- (\frac{\partial f}{\partial x_2} = 0)，即 (x_2(3x_2 + 8) = 0)。
- 联立求解上述方程，得到四个可能的解：
- (p_1 = [0\ 0]^T)
- (p_2 = [0\ -\frac{8}{3}]^T)
- (p_3 = [-\frac{4}{3}\ 0]^T)
- (p_4 = [-\frac{4}{3}\ -\frac{8}{3}]^T)

这些点是否为局部极小值，取决于黑塞矩阵（Hessian matrix）。黑塞矩阵通过二阶导数计算得出：
[
H(x) =
\begin{bmatrix}
\frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1\partial x_2} \
\frac{\partial^2 f}{\partial x_2\partial x_1} & \frac{\partial^2 f}{\partial x_2^2}
\end{bmatrix}
=