海森矩阵和半正定矩阵

最新推荐文章于 2023-11-18 15:46:27 发布

转载

最新推荐文章于 2023-11-18 15:46:27 发布 · 2.3k 阅读

6 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/wqbin/p/10562160.html

多元函数的Hessian矩阵与一元函数的二阶导数有类似关系，半正定意味着函数的局部极小值。泰勒展开帮助理解这一点。一阶导数为0且Hessian半正定是多元函数极小值的充分条件，这是一元凸函数性质的推广。证明涉及函数的连续性和二阶可导性，以及1st-order和2nd-order条件的相互推导。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

多元函数的Hessian矩阵就类似一元函数的二阶导。

多元函数Hessian矩阵半正定就相当于一元函数二阶导非负，半负定就相当于一元函数二阶导非正。如果这个类比成立的话，凸函数的Hessian恒半正定就非常容易理解了——这是一元凸函数二阶导必非负的多元拓展。

至于为什么这个类是有道理的，你要这么看。对一元函数f(x)来说，就极值而言，一阶导为0是极值点的必要但不充分条件，一阶导为0切二阶导非负是极小值的充要条件。

为什么呢，因为有泰勒展开 $f(x)=f(x_0)+f'(x_0)\cdot\text{d}x+\frac{1}{2}f''(x_0)\text{d}x^2$ 。如果一阶导为0，二阶导非负，dx不论是多少，f(x)一定不比f(x0)小。

你把多元函数也个泰勒展开，主要区别在于：
1) 二阶导变成了Hessian。
2) 以前只要考虑x怎么变，现在还要考虑y怎么变，x和y怎么一起变，头疼了很多。
以二元为例，
$f(\begin{bmatrix}x & y\end{bmatrix}) = f(\begin{bmatrix}x_0 & y_0\end{bmatrix}) + \begin{bmatrix}\text{d}x & \text{d}y\end{bmatrix} \cdot \begin{bmatrix}f_x' \\ f_y' \end{bmatrix} + \frac{1}{2} \begin{bmatrix}\text{d}x & \text{d}y\end{bmatrix} \cdot \begin{bmatrix}f_{xx}' & f_{xy}' \\ f_{yx}' & f_{yy}' \end{bmatrix} \cdot \begin{bmatrix}\text{d}x \\ \text{d}y\end{bmatrix}$
从一元的情况类比过来，如果一阶导为0，是不是极小值完全取决于不同的dx, dy下，能不能做到最后一项一直非负。

只有对于任意 $\Delta {\bf x}$ , $\Delta {\bf x} {\bf H} \Delta {\bf x}^T$ 一直非负的情况，我们才能说这是极小值。如果 $\Delta {\bf x} {\bf H} \Delta {\bf x}^T$ 一直非正，这就是极大值。如果它一会正一会负，就是鞍点。