Hessian Matrix（海森矩阵）

转载自：
https://blog.youkuaiyun.com/guoyunfei20/article/details/78246699

Hessian Matrix（海森矩阵）
Hessian Matrix，译作黑塞矩阵、海森矩阵、海瑟矩阵、海塞矩阵等。是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。Hessian Matrix最早于19世纪由德国数学家Ludwig Otto Hesse提出，并以其名字命名。

Hessian Matrix常用于牛顿法解决优化问题，利用Hessian Matrix可判定多元函数的极值问题。

在工程实际问题的优化设计中，所列的目标函数往往很复杂，为了使问题简化，常常将目标函数在某点邻域展开成泰勒多项式来逼近原函数，此时函数在某点泰勒展开式的矩阵形式中会涉及到Hessian Matrix。

一、二元函数的Hessian Matrix

由高等数学知识可知，若一元函数f(x)在点X0的某个邻域内具有任意阶导数，则f(x)在点X0处的泰勒展开式为：

对于二元函数在点处的泰勒展开式为：

将上式写成矩阵的形式：

上式缩写为：

其中：

就是在点处的Hessian Matrix，它是函数在点处的二阶导数组成的方阵。

二、多元函数的Hessian Matrix

将二元函数的泰勒展开式推广到多元函数，则 在点处的泰勒展开式的矩阵形式为：

其中：

，它是在处的梯度。

为在处的Hessian Matrix。

三、利用Hessian Matrix判定多元函数的极值

设n多元实函数 在点的邻域内有二阶连续偏导，若有：

且

则：