二次规划——Hessian矩阵为什么要求是半正定矩阵

本文链接：https://blog.youkuaiyun.com/weixin_44873133/article/details/132920634

文章探讨了二次规划目标函数为凸函数的条件，强调了Hessian矩阵的半正定性。通过证明g(x)=0.5x^TPx的凸性，得出当P为半正定矩阵时，二次规划函数f(x)=g(x)+q^Tx+r也是凸的结论。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在学习资料满天飞的大环境下，知识变得非常零散，体系化的知识并不多，这就导致很多人每天都努力学习到感动自己，最终却收效甚微，甚至放弃学习。我的使命就是过滤掉大量的无效信息，将知识体系化，以短平快的方式直达问题本质，把大家从大海捞针的痛苦中解脱出来。

文章目录

- 1 原因
- 2 证明

1 原因

二次规划目标函数为凸函数的充分必要条件是，目标函数的Hessian矩阵是半正定的。具体来说，对于二次规划目标函数:

$\frac{1}{2} x^T P x + q^T x + r$

其中，P是一个对称矩阵。

充分条件：如果P是一个半正定矩阵，则目标函数f(x)是凸函数。

必要条件：如果目标函数f(x)是凸函数，则P是一个半正定矩阵。

需要注意的是，这里的凸函数指的是二次规划目标函数在定义域上的凸性。

2 证明

二次规划的目标函数可以表示为：

$\frac{1}{2} x^T P x + q^T x + r$

其中， $P$ 是一个 $\times n$ 的半正定矩阵， $q$ 和 $r$ 是 $n$ 维列向量。

我们需要证明，当 $P$ 是半正定矩阵时， $f (x)$ 是一个凸函数，即对于任意的 $x_1$ 和 $x_2$ ，以及 $\leq \lambda \leq 1$ ，都有：

$f(\lambda x_1 + (1-\lambda) x_2) \leq \lambda f(x_1) + (1 - \lambda) f(x_2)$

我们可以先考虑函数 $\frac{1}{2} x^T P x$ 是否是凸函数。对于任意的 $x_1$ 和 $x_2$ ，以及 $\leq \lambda \leq 1$ ，都有：

$g(\lambda x_1 + (1-\lambda) x_2) = \frac{1}{2} (\lambda x_1 + (1-\lambda) x_2)^T P (\lambda x_1 + (1-\lambda) x_2)$

$\frac{1}{2} \lambda^2 x_1^T P x_1 + \lambda (1-\lambda) x_1^T P x_2 + \frac{1}{2} (1-\lambda)^2 x_2^T P x_2$

我们需要证明：

$g(\lambda x_1 + (1-\lambda) x_2) \leq \lambda g(x_1) + (1-\lambda) g(x_2)$

即：

$\frac{1}{2} \lambda^2 x_1^T P x_1 + \lambda (1-\lambda) x_1^T P x_2 + \frac{1}{2} (1-\lambda)^2 x_2^T P x_2 \leq \lambda \left(\frac{1}{2} x_1^T P x_1\right) + (1-\lambda) \left(\frac{1}{2} x_2^T P x_2\right)$

将两边乘以 $2$ ，得到：

$\lambda^2 x_1^T P x_1 + 2 \lambda (1-\lambda) x_1^T P x_2 + (1-\lambda)^2 x_2^T P x_2 \leq \lambda x_1^T P x_1 + (1-\lambda) x_2^T P x_2$

化简得：

$(\lambda x_1 - (1-\lambda) x_2)^T P (\lambda x_1 - (1-\lambda) x_2) \geq 0$

由于 $P$ 是半正定矩阵，因此上式成立，即 $g (x)$ 是凸函数。

接下来，我们可以将 $f (x)$ 表示为 $g(x) + q^T x + r$ 的形式，即：

$\frac{1}{2} x^T P x + q^T x + r = g(x) + q^T x + r$

由于 $g (x)$ 是凸函数，而 $q^T x$ 和 $r$ 都是线性函数，因此 $f (x)$ 也是凸函数。因此，当 $P$ 是半正定矩阵时，二次规划的目标函数是凸函数。

恭喜你又坚持看完了一篇博客，又进步了一点点！如果感觉还不错就点个赞再走吧，你的点赞和关注将是我持续输出的哒哒哒动力~~