数学知识--Unconstrained Optimization（第一章）

Unconstrained Optimization
3. Edition, March 2004
Poul Erik Frandsen, Kristian Jonasson Hans Bruun Nielsen, Ole Tingleff

1 Introduction
最优化问题，对于一个给定函数 F，我们寻找一个向量 x* 使得 F（x*）为函数局部极小值

函数的最大值问题和最小值问题本质是同一个问题

上面这个函数具有一个唯一的最小值。

第二个函数具有很多个极小值

第三个函数具有一个全局极小值和很多个局部极小值

1.1. Conditions for a Local Minimizer 局部极小值的条件

我们假定 f 二阶偏微分是连续的。在点 x 邻域内 x+h 位置 对函数进行一阶泰勒展开

If the point x is a local minimizer it is not possible to find an h so that f(x+h) < f(x) with ||h|| small enough
由此我们得到 局部极小值点的一个必要条件

Stationary point

对 f 在 x+h 处 泰勒展开

对于一个 stationary point，其一阶导数为 0，所以

如果对于所有的 h 上面公式右边第二项都是 正值，我们就说 f’’(xs) 是正定的 positive definite


stationary point 分类：

如果 f’’(xs) =0 我们就需要分析更高阶泰勒项来找极小值

11