最优化学习笔记（一）——牛顿法(一维搜索方法)

一、一维搜索方法

讨论目标函数为一元单值函数$f: \mathbb{R} \to \mathbb{R}$时的最优化问题的迭代求解方法。

二、局部极小点的条件

n元实值函数$f$的一阶导数$Df$为：

$$Df \triangleq \lbrack \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, \dots, \frac{\partial f}{\partial x_n} \rbrack$$

函数$f$的梯度是$Df$的转置：$\nabla f = (Df)^T$, 顺便说一句，f 的二阶导数是黑塞矩阵。

下面只给出局部极小点位于约束集内部时的一阶必要条件。多元实值函数$f$在约束集 Ω