Hessian矩阵及局部极小点的条件

最新推荐文章于 2025-07-03 22:25:39 发布

原创最新推荐文章于 2025-07-03 22:25:39 发布 · 1.2w 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#最优化 #Hessian矩阵 #局部极小点

机器学习同时被 2 个专栏收录

22 篇文章

订阅专栏

最优化

1 篇文章

订阅专栏

本文详细介绍了Hessian矩阵的概念及其在确定函数局部极小点中的应用。通过Hessian矩阵可以快速判断一个点是否为函数的严格局部极小点，并讨论了其二阶充分条件。同时，文中还探讨了凸函数的局部极小点与其全局极小点之间的关系。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一 Hessian矩阵：
实值函数f(x)相对于 $n\times 1$ 实向量x的二阶偏导是一个由 $m^2$ 个二阶偏导组成的矩阵（称为Hessian矩阵），定义为：

\partial 2 f ( x ) \partial x \partial x T = \partial \partial x T [\partial f ( x ) \partial x]

${\partial ^2f(x)\over \partial x \partial x^T}={\partial \over \partial x^T}[{\partial f(x)\over \partial x}]$
或者简写为梯度的梯度：

\nabla 2 x f (x) = \nabla x (\nabla x f (x))

$\nabla_x^2f(x)=\nabla_x(\nabla_xf(x))$
根据定义，Hessian矩阵的第i行第j列是梯度

∂f(x)∂xi=∇xif(x)∂f(x)∂xi=∇xif(x) ${\partial f(x)\over \partial {x_i}}=\nabla_{x_i}f(x)$ 第j个分量的梯度，即：

[\partial 2 f ( x ) \partial x \partial x T] i, j = \partial 2 f ( x ) \partial x i \partial x j

$[{\partial ^2f(x)\over \partial x \partial x^T}]_{i,j}={\partial ^2f(x)\over \partial x_i \partial x_j}$ ,
或者写做：

\partial 2 f ( x ) \partial x \partial x T = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial 2 f ( x ) \partial x 1 \partial x 1 \partial 2 f ( x ) \partial x 2 \partial x 1 ⋮ \partial 2 f ( x ) \partial x n \partial x 1 \partial 2 f ( x ) \partial x 1 \partial x 2 \partial 2 f ( x ) \partial x 2 \partial x 2 ⋮ \partial 2 f ( x ) \partial x n \partial x 2 \dots \dots ⋱ \dots \partial 2 f ( x ) \partial x 1 \partial x n \partial 2 f ( x ) \partial x 2 \partial x n ⋮ \partial 2 f ( x ) \partial x n \partial x n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

${\partial ^2f(x)\over \partial x \partial x^T}= \begin{bmatrix} {\partial ^2f(x)\over \partial x_1 \partial x_1} & {\partial ^2f(x)\over \partial x_1 \partial x_2} & \cdots & {\partial ^2f(x)\over \partial x_1 \partial x_n} \\ {\partial ^2f(x)\over \partial x_2 \partial x_1} & {\partial ^2f(x)\over \partial x_2 \partial x_2} & \cdots & {\partial ^2f(x)\over \partial x_2 \partial x_n} \\ \vdots & \vdots & \ddots & \vdots \\ {\partial ^2f(x)\over \partial x_n \partial x_1} & {\partial ^2f(x)\over \partial x_n \partial x_2} & \cdots & {\partial ^2f(x)\over \partial x_n \partial x_n} \\ \end{bmatrix}$
因此，Hessian矩阵可以用两步法求出来：
（1）求实值函数f(x)关于向量变元x的偏导数，得到实值函数的梯度

∂f(x)∂x；∂f(x)∂x； ${\partial f(x)\over \partial {x}}；$
（2）再求梯度

∂f(x)∂x∂f(x)∂x ${\partial f(x)\over \partial {x}}$ 相对于

1×n1×n $1\times n$ 行向量

xTxT $x^T$ 的偏导数，得到梯度的梯度即Hessian矩阵。

二局部极小点的条件
根据定义确定某个点 $x_*$ 是否为目标函数的局部极小点，需要将目标函数在该点的取值与函数在该点领域里所有点的取值进行比较。这显然是不实际的做法。然而，如果f(x)是二次连续可微分的话，直接通过检验梯度 $\nabla _xf(x_*)$ 和Hessian矩阵 $\nabla _x^2f(x_*)$ , 即可判断点 $x_*$ 是否为局部极小点（甚至是严格局部极小点）。
若 $(\Delta x)^T\Delta x$ 很小，即函数f(x)的二阶Taylor级数展开为：

f (x + Δ x) = f (x) + (Δ x) T \nabla x f (x) + 1 2 (Δ x) T \nabla 2 x f (x) Δ x

$f(x+\Delta x)=f(x)+(\Delta x)^T\nabla_xf(x)+{1\over 2}(\Delta x)^T\nabla_x^2f(x)\Delta x$
关于判断一个局部极小点的一阶必要条件和一阶充分条件，请参考《矩阵分析与应用》270页（张贤达著），下面主要讲解其二阶充分条件：
定理：假设

∇2xf(x)∇x2f(x) $\nabla_x^2f(x)$ 在

x∗x∗ $x_*$ 的开邻域内连续，并且

\nabla x f (x *) = 0, \nabla 2 x f (x *) > 0

$\nabla_xf(x_*)=0, \ \nabla_x^2f(x_*)>0$
则

x∗x∗ $x_*$ 是函数f(x)的严格局部极小点。式中

∇2xf(x∗)>0∇x2f(x∗)>0 $\nabla_x^2f(x_*)>0$ 表示Hessian矩阵

∇2xf(x∗)∇x2f(x∗) $\nabla_x^2f(x_*)$ 正定。（具体即

(Δx)T∇2xf(x)Δx>0(Δx)T∇x2f(x)Δx>0 $(\Delta x)^T\nabla_x^2f(x)\Delta x>0$ ）
证明：由函数f(x)的二阶Taylor级数展开

f(x∗+Δx)=f(x∗)+(Δx)T∇xf(x∗)+12(Δx)T∇2xf(x∗)Δxf(x∗+Δx)=f(x∗)+(Δx)T∇xf(x∗)+12(Δx)T∇x2f(x∗)Δx $f(x_*+\Delta x)=f(x_*)+(\Delta x)^T\nabla_xf(x_*)+{1\over 2}(\Delta x)^T\nabla_x^2f(x_*)\Delta x$ ，且