局部最优的充分和必要条件
∇f(x∗)=0,∇2f(x∗)≻0(Hessian矩阵正定)⇒x∗为局部最优点
x∗为局部最优点⇒∇f(x∗)=0,∇2f(x∗)⪰0(Hessian矩阵半正定)
最优化算法的核心
当求min f(x)时,使得f(xk+1)≤f(xk)
最优化问题框架
目标: minf(x)s.t.x∈Rn
- if ∇f(x)=0 , x可能是全局最优值(一定是局部最优值)
- if ∇f(x)≠0,存在区间(o,δ),使得:
f(x−α∇f(x))<f(x),∀α∈(0,δ)
- if 存在一个单位向量d,与梯度方向夹角大于90度,即∇f(x)Td<0,那么存在区间(0,