2021-08-13

为什么 $A^{T}A+\lambda I,\lambda >0$ 一定是正定矩阵（positive definite）

标题的问题来自 最优化 问题中对高斯牛顿法改进的 列文伯格-马克夸特法（LM）的增量方程。
本文默认读者对“二次型”及“二次型对应的矩阵”和“正定二次型”以及“正定矩阵”有了解。如果对上述概念了解不多，没关系，请看 二次型PPT，武汉大学数学与统计学院。
下面给出 “正定矩阵” 的一种定义。
定义：设有二次型
$$f={\mathbf{x}}^{T}A\mathbf{x},$$
如果对任何 $\mathbf{x}\ne \vec{0}$， 都有 $f(\mathbf{x})>0$（显然 $f(\vec{0})=0$），则称 $f$ 为正定二次型 ，并且称矩阵 $A$ 是正定的。

证明：
记 $$B=A^{T}A+\lambda I,\lambda >0$$
其中 $A$ 是 $m\times n$ 的任意矩阵，$I$ 是 $n\times n$ 的单位矩阵。
取 $${\mathbf{x}}^{T}B\mathbf{x}$$
将 $B=A^{T}A+\lambda ，I\lambda >0$ 代入，得
$${\mathbf{x}}^T(A^{T}A+\lambda I)\mathbf{x}\text{\hspace{1em}(1)}$$
根据矩阵乘法对加法的分配律，$(1)$ 等于
$$({\mathbf{x}}^T{A}^{T}A+\lambda {\mathbf{x}}^{T}I)\mathbf{x}$$
进一步，
$${\mathbf{x}}^T{A}^{T}A\mathbf{x}+\lambda {\mathbf{x}}^T\mathbf{x}$$
由于 ${\mathbf{x}}^T{A}^{T}A\mathbf{x}=(A\mathbf{x}{)}^{T}A\mathbf{x}\ge 0$
$\lambda {\mathbf{x}}^T\mathbf{x}$ 当 $\mathbf{x}=\vec{0}$ 时为 0，其他情况都大于0。
故 $${\mathbf{x}}^{T}B\mathbf{x}>0,$$ 当$\mathbf{x}\ne \vec{0}$
而且显然 $B$ 是对称矩阵。
所以 $B$ 是正定矩阵。