Hessian海森矩阵与牛顿最优化方法

Hessian矩阵

在数学中, 海森矩阵(Hessian matrix或Hessian)是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵, 此函数如下：

$f({x_1},{x_2} \ldots ,{x_n})$

如果$f$的所有二阶导数都存在, 那么$f$的海森矩阵即：

$H{(f)_{ij}}(x) = {D_i}{D_j}f(x)$

其中$x = ({x_1},{x_2} \ldots ,{x_n})$, 即$H(f)$为:

⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂2f∂x21∂2f∂x2∂x1⋮∂2f∂xn∂x1