Hessian 矩阵与函数的凸性

Hessian 矩阵的定义

Hessian 矩阵是一个方形矩阵，用来描述多元函数的二阶偏导数信息。对于一个 $n$ 维函数 $f(x_1,x_2,\dots ,x_n)$，Hessian 矩阵的定义是：

$$\mathbf{H}=\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right].$$

Hessian 矩阵是一个对称矩阵（因为二阶偏导数 $\frac{{\partial }^{2}f}{\partial x_i\partial x_j}=\frac{{\partial }^{2}f}{\partial x_j\partial x_i}$）。

---

Hessian 矩阵的求法

1. 给定函数：
   假设 $f(x_1,x_2,\dots ,x_n)$ 是一个二次连续可导的函数。

2. 求一阶偏导：
   对每个变量 $x_i$ 求偏导，得到一阶偏导数向量（梯度）：
   $$\nabla f=\left[\begin{array}{c}\frac{\partial f}{\partial x_1}\\ \frac{\partial f}{\partial x_2}\\ ⋮\\ \frac{\partial f}{\partial x_n}\end{array}\right].$$

3. 求二阶偏导：
   对每个一阶偏导数 $\frac{\partial f}{\partial x_i}$ 再分别对每个变量 $x_j$ 求偏导，构造二阶偏导数矩阵（即 Hessian 矩阵）。

---

例子：

例1：一元函数

对于 $f(x)=x^3-2x^2+x$，

1. 求一阶导数：
   $$\frac{df}{dx}=3x^2-4x+1.$$

2. 求二阶导数：
   $$\frac{d^{2}f}{d{x}^2}=6x-4.$$

Hessian 矩阵在一维情况下就是 $\mathbf{H}=[6x-4]$（标量）。

---

例2：多元函数

对于 $f(x_1,x_2)=x_1^2+3x_1{x}_2+x_2^2$，

1. 求一阶偏导：
   $$\frac{\partial f}{\partial x_1}=2x_1+3x_2,\frac{\partial f}{\partial x_2}=3x_1+2x_2.$$

2. 求二阶偏导，构造 Hessian 矩阵：
   $$\mathbf{H}=\left[\begin{array}{cc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}\end{array}\right]=\left[\begin{array}{cc}2& 3\\ 3& 2\end{array}\right].$$

---

Hessian 矩阵与凸性：

• 如果 Hessian 矩阵的所有特征值均非负，则函数是凸函数；
• 如果存在负特征值，则函数不是凸函数（某些方向上是凹的）。