6.5 正定矩阵

一、正定矩阵

这一节关注的是特征值都是正数的对称矩阵。如果对称使得矩阵很重要，那么这个额外的性质（所有的 $\lambda >0$）会使得它更加的特殊。我们所说的特殊并不表示它稀有，特征值都是正数的对称矩阵几乎是所有应用的中心，称之为正定（positive definite）。
第一个问题是如何识别正定矩阵。当然求出所有的特征值然后测试 $\lambda >0$ 是可以的，但是特征值的计算工作量挺大的，当我们需要 ${\lambda }^{\prime }s$，我们可以计算，但是我们仅仅是想知道它的所有 ${\lambda }^{\prime }s$ 是不是都是正的，会有很多种更快的方法。本节有两个目标：

• 找出快速判定对称矩阵是正数特征值的方法。
• 说明正定的重要应用。

由于是对称矩阵，所以它的每个特征值都是实数。
$从2\times 2的矩阵开始，什么时候S=\left[\begin{array}{cc}a& b\\ b& c\end{array}\right]有{\lambda }_1>0且{\lambda }_2>0?$

测试： $S$ 的特征值都是正数当且仅当 $a>0且ac-b^2>0.$

$S_1=\left[\begin{array}{cc}1& 2\\ 2& 1\end{array}\right]$ 不是正定，因为 $ac-b^2=1-4<0$

$S_2=\left[\begin{array}{cc}1& -2\\ -2& 6\end{array}\right]$ 正定，因为 $a=1$ 且 $ac-b^2=6-4>0$

$S_3=\left[\begin{array}{cc}-1& 2\\ 2& -6\end{array}\right]$ 不是正定（尽管 $\det A=+2$），因为 $a=-1$
$S_1$ 的特征值是 $3$ 和 $-1$，可以确认 $S_1$ 不是正定，有正数迹 $3-1=2$，但是负数行列式 $(3)(-1)=-3$。$S_3=-S_2$ 是负定（negative definite）。$S_2$ 有两个正数特征值，$S_3$ 有两个负数特征值。
证明：当 ${\lambda }_1>0$ 和 ${\lambda }_2>0$ 时，可以通过 $2\times 2$ 的测试。乘积 ${\lambda }_1{\lambda }_2$ 是行列式所以 $ac-b^2>0$，它们的和 ${\lambda }_1+{\lambda }_2$ 是迹 $a+c>0$，则 $a$ 和 $c$ 都是正数（如果 $a$ 和 $c$ 不是正数，$ac-b^2$ 就不会成立）。这个证明反之亦然，可以证明 $a>0$ 和 $ac>b^2$ 能够保证 ${\lambda }_1>0$ 和 ${\lambda }_2>0$。
这个测试使用了 $1\times 1$ 的行列式 $a$ 和 $2\times 2$ 的行列式 $ac-b^2$，当 $S$ 是 $3\times 3$ 时，第三步测试是要求 $\det S>0$。
下一个测试要求正主元。

测试：$S$ 的特征值都是正数当且仅当主元都是正数：
$$a>0且\frac{ac-b^2}{a}>0$$

这两项测试中都要求 $a>0$，所以对于行列式的测试以及现在的主元测试，$ac>b^2$ 也是必要的。重点是得到 $S$ 的第二主元：$$\left[\begin{array}{cc}a& b\\ b& c\end{array}\right]\underset{乘数是b/a}{\overset{第一主元是a}{\to }}\left[\begin{array}{cc}a& b\\ 0& c-\frac{b}{a}b\end{array}\right]第二主元是c-\frac{b^2}{a}=\frac{ac-b^2}{a}$$这个将线性代数的两大部分联系在了一起，对于对称矩阵正数特征值意味着正数主元，反之亦然。每个主元都是左上角行列式的比值，通过主元可以快速判定 $\lambda >0$，这比计算特征值要快很多。
$$3\times 3的例子S=\left[\begin{array}{ccc}2& 1& 1\\ 1& 2& 1\\ 1& 1& 2\end{array}\right]正定\begin{array}{l}特征值是:1,1,4\\ 行列式是:2,3,4\\ 主元是:2,3/2,4/3\end{array}$$$S-I$ 会是半正定（semidefinite）矩阵：特征值是 $0,0,3$；$S-2I$ 是不定的，因为它的特征值是 $\lambda =-1,-1,2$。
下面有一个不同的方法来验证对称矩阵是否是正特征值。

二、能量基定义

由正定矩阵 $S\mathbf{x}=\lambda \mathbf{x}$，两边同时左乘 ${\mathbf{x}}^T$ 得 ${\mathbf{x}}^{T}S\mathbf{x}=\lambda {\mathbf{x}}^T\mathbf{x}$，右边是一个正数 $\lambda$ 乘一个正数 ${\mathbf{x}}^T\mathbf{x}=||\mathbf{x}|{|}^2$，所以左边 ${\mathbf{x}}^{T}S\mathbf{x}$ 对任意的特征向量也是正数。
而对于任意的非零向量 $\mathbf{x}$ 都可以写成特征向量的组合 $\mathbf{x}=c_1{\mathbf{x}}_1+c_2{\mathbf{x}}_2+\cdots +c_n{\mathbf{x}}_n$，那么 ${\mathbf{x}}^{T}S\mathbf{x}=(c_1{\mathbf{x}}_1+c_2{\mathbf{x}}_2+\cdots +c_n{\mathbf{x}}_n{)}^T({\lambda }_1{c}_1\mathbf{x}+{\lambda }_2{c}_2{\mathbf{x}}_2+\cdots +{\lambda }_n{c}_n{\mathbf{x}}_n)=c_1^2{\lambda }_1{\mathbf{x}}_1^T{\mathbf{x}}_1+c_2^2{\lambda }_2{\mathbf{x}}_2^T{\mathbf{x}}_2+\cdots +c_n^2{\lambda }_n{\mathbf{x}}_n^T{\mathbf{x}}_n$，由于是对称矩阵，所以特征向量均正交，即所有交叉项 ${\mathbf{x}}_i^T{\mathbf{x}}_j=0$，故可得上式，若所有的 $\lambda >0$，则对于任意的非零向量 $\mathbf{x}$ 都有 ${\mathbf{x}}^{T}S\mathbf{x}>0$.
重点：新的概念是 ${\mathbf{x}}^{T}S\mathbf{x}$ 对于所有的非零向量 $\mathbf{x}$ 都是正数，而不仅仅是特征向量。很多应用中 ${\mathbf{x}}^{T}S\mathbf{x}$ （或 $\frac{1}{2}{\mathbf{x}}^{T}S\mathbf{x}$）是系统的能量（energy）。正能量得到要求给出了正定矩阵的另一个定义，这个能量基（energy-based）的定义是基础的一个。
特征值和主元是两种等效的检验 ${\mathbf{x}}^{T}S\mathbf{x}>0$ 的方法。

定义： 如果对于任意的非零向量 $\mathbf{x}$ 都有 ${\mathbf{x}}^{T}S\mathbf{x}>0$，则 $S$ 正定：
$$2\times 2{\mathbf{x}}^{T}S\mathbf{x}=\left[\begin{array}{cc}x& y\end{array}\right]\left[\begin{array}{cc}a& b\\ b& c\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=a{x}^2+2bxy+c{y}^2>0(\mathrm{6.5.1})$$

四个元素 $a,b,b,c$ 得到 ${\mathbf{x}}^{T}S\mathbf{x}$ 的四个部分，从 $a$ 和 $c$ 得到了纯平方项 $a{x}^2$ 和 $c{y}^2$，从非对角线处的 $b$ 和 $b$ 得到相同的两个交叉项 $bxy$ 和 $byx$，将这四项加起来得到 ${\mathbf{x}}^{T}S\mathbf{x}$。这个能量基的定义可以得到一个基础的事实：$$如果S和T对称正定，那么S+T也是。$$原因： ${\mathbf{x}}^T(S+T)\mathbf{x}$ 就是 ${\mathbf{x}}^{T}S\mathbf{x}+{\mathbf{x}}^{T}T\mathbf{x}$，若 $\mathbf{x}\ne 0$，则这两项都是正数，所以 $S+T$ 也正定。当两个矩阵相加时，主元和特征值并不容易追踪，但是能量只需要简单的相加。
${\mathbf{x}}^{T}S\mathbf{x}$ 和我们其它确认正定矩阵的方法相联系。从任意矩阵 $A$ 开始，也可以是矩形矩阵，我们知道 $S=A^{T}A$ 是一个对称的方阵，不仅如此，如果 $A$ 的列线性无关，则 $S$ 正定：$$测试：如果A的列线性无关，则S=A^{T}A正定。$$这里使用特征值和主元判断并不容易，但是数字 ${\mathbf{x}}^{T}S\mathbf{x}$ 和 ${\mathbf{x}}^T{A}^{T}A\mathbf{x}$ 相同，${\mathbf{x}}^T{A}^{T}A\mathbf{x}$ 就是 $(A\mathbf{x}{)}^T(A\mathbf{x})=||A\mathbf{x}|{|}^2$ —— 这是又一个使用括号的重要证明！由于 $A$ 的列是无关列，所以当 $\mathbf{x}\ne 0$ 时，向量 $A\mathbf{x}$ 也不为零，则 ${\mathbf{x}}^{T}S\mathbf{x}$ 是一个正数 $||A\mathbf{x}|{|}^2$，所以这个矩阵 $S$ 正定。
到目前为止，有五个等效的判断正定矩阵的判据。这个关键的概念联系了线性代数的整个主题：主元、行列式、特征值和最小二乘（从 $A^{T}A$）。

当一个对称矩阵 $S$ 有下面五个中的任意一个性质时，它就有下面所有的性质：
1、$S$ 的所有 $n$ 个主元是正数。
2、所有的 $n$ 个左上行列式（主子式）都是正数。
3、$S$ 的所有 $n$ 个特征值都是正数。
4、除 $\mathbf{x}=0$ 外，${\mathbf{x}}^{T}S\mathbf{x}$ 对于任意的向量 $\mathbf{x}$ 都是正数。这是能量基的定义。
5、$S$ 等于 $A^{T}A$，其中 $A$ 有无关列。

“左上行列式（upper left determinants）” 即主子式是 $1\times 1$，$2\times 2$，$\cdots$ 一直到 $n\times n$ 的行列式，最后一个就是整个矩阵 $S$ 的行列式。这个定理将线性代数的所有内容都联系结合在了一起。

【例1】测试下面的对称矩阵 $S$ 和 $T$ 的正定性：$$S=\left[\begin{array}{ccc}2& -1& 0\\ -1& 2& -1\\ 0& -1& 2\end{array}\right]和T=\left[\begin{array}{ccc}2& -1& b\\ -1& 2& -1\\ b& -1& 2\end{array}\right]$$解： $S$ 的主元是 $2$、$\frac{3}{2}$ 和 $\frac{4}{3}$，都是正数。它的左上行列式是 $2$、$3$ 和 $4$，都是正数。$S$ 的特征值是 $2-\sqrt{2}$、$2$ 和 $2+\sqrt{2}$，都是正数。这些就完成了性质 $1$、$2$、$3$ 的测试，每一个测试都可以决定它的正定。
对于性质 $5$，有三个候选矩阵 $A_1$、$A_2$ 和 $A_3$，使得 $S=A^{T}A$，都可以证明 $S$ 的正定性。$A_1$ 是一个 $4\times 3$ 的一阶差分矩阵，得到 $S$ 中的 $-1$、$2$ 和 $-1$:$$S=A_1^T{A}_1\left[\begin{array}{ccc}2& -1& 0\\ -1& 2& -1\\ 0& -1& 2\end{array}\right]=\left[\begin{array}{cccc}1& -1& 0& 0\\ 0& 1& -1& 0\\ 0& 0& 1& -1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ -1& 1& 0\\ 0& -1& 1\\ 0& 0& -1\end{array}\right]$$$A_1$ 的三个列是无关的，因此 $S$ 正定。
$A_2$ 来自于 $S=LD{L}^T$（$S=LU$ 的对称版本），消元法可以得到 $D$ 中的主元 $2,\frac{3}{2},\frac{4}{3}$，$L$ 中的乘数 $-\frac{1}{2},0,-\frac{2}{3}$，令 $A_2=(L\sqrt{D}{)}^T$。$$LD{L}^T=\left[\begin{array}{ccc}1& & \\ -\frac{1}{2}& 1& \\ 0& -\frac{2}{3}& 1\end{array}\right]\left[\begin{array}{ccc}2& & \\ & \frac{3}{2}& \\ & & \frac{4}{3}\end{array}\right]\left[\begin{array}{ccc}1& -\frac{1}{2}& 0\\ & 1& -\frac{2}{3}\\ & & 1\end{array}\right]=\begin{array}{l}\\ (L\sqrt{D})(L\sqrt{D}{)}^T=A_2^T{A}_2\\ A_2是S的\text{Cholesky}因子\end{array}$$这个 $A$ 的三角形矩阵中出现了平方根，没有那么漂亮。这个是 $S$ 的 “Cholesky factor”，MATLAB 中的指令是 $A=\text{chol}(S)$。在应用中，矩形 $A_1$ 是我们如何建立的 $S$，而 Cholesky $A_2$ 是如何分解它。
特征值得到对称的选择 $A_3=Q\sqrt{\Lambda }{Q}^T$，其中 $A_3^T{A}_3=Q\Lambda Q^T=S$，所有的测试都证明了 $-1,2,-1$ 矩阵 $S$ 是正定的。
要看能量 ${\mathbf{x}}^{T}S\mathbf{x}$ 是不是正的，我们将它写成平方和的形式。这三个选择 $A_1,A_2,A_3$ 有三种不同的分离 ${\mathbf{x}}^{T}S\mathbf{x}$ 的方式：$$\begin{array}{ll}{\mathbf{x}}^{T}S\mathbf{x}=2x_1^2-2x_1{x}_2+2x_2^2-2x_2{x}_3+2x_3^2& 改写成平方\\ ||A_1\mathbf{x}|{|}^2=x_1^2+(x_2-x_1{)}^2+(x_3-x_2{)}^2+x_3^2& 使用差分的A_1\\ ||A_2\mathbf{x}|{|}^2=2(x_1-\frac{1}{2}{x}_2{)}^2+\frac{3}{2}(x_2-\frac{2}{3}{x}_3{)}^2+\frac{4}{3}{x}_3^2& 使用S=LD{L}^T\\ ||A_3\mathbf{x}|{|}^2={\lambda }_1({\mathbf{q}}_1^T\mathbf{x}{)}^2+{\lambda }_2({\mathbf{q}}_2^T\mathbf{x}{)}^2+{\lambda }_3({\mathbf{q}}_3^T\mathbf{x}{)}^2& 使用S=Q\Lambda Q^T\end{array}$$下面看矩阵 $T$，$(1,3)$ 和 $(3,1)$ 元素从 $0$ 变成了 $b$，这个 $b$ 一定不能太大！行列式的测试是最简单的，$1\times 1$ 行列式是 $2$，$2\times 2$ 的行列式还是 $3$，$3\times 3$ 的行列式包含 $b$：$$对T进行测试\det T=4+2b-2b^2=(1+b)(4-2b)一定要是正数$$在 $b=-1$ 和 $b=2$ 时得到 $\det T=0$，当 $-1<b<2$ 时矩阵 $T$ 正定。矩阵 $S$ 角落中的元素 $b=0$，它在 $-1$ 和 $2$ 之间，所以是安全的。

三、半正定矩阵

很多时候我们会在正定的边缘，此时行列式为零，最小的特征值是零，这个特征向量的能量是 ${\mathbf{x}}^{T}S\mathbf{x}={\mathbf{x}}^{T}0\mathbf{x}=0$。这些边缘情况的矩阵称为半正定（positive semidefinite）。下面是两个例子（不可逆）：$$S=\left[\begin{array}{cc}1& 2\\ 2& 4\end{array}\right]和T=\left[\begin{array}{ccc}2& -1& -1\\ -1& 2& -1\\ -1& -1& 2\end{array}\right]都是半正定$$$S$ 的特征值是 $5$ 和 $0$，它的左上行列式分别是 $1$ 和 $0$，秩只有 $1$。这个矩阵 $S$ 可分解成 $A^{T}A$，但是 $A$ 是有相关列：$$\begin{array}{l}A有相关列\\ 半正定的S\end{array}\left[\begin{array}{cc}1& 2\\ 2& 4\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 2& 0\end{array}\right]\left[\begin{array}{cc}1& 2\\ 0& 0\end{array}\right]=A^{T}A$$如果 $4$ 再稍微变大一点，矩阵 $S$ 就变成正定的了。循环 $T$ 的行列式也是零（例 $1$ 中当 $b=-1$ 时），$T$ 是奇异的，特征向量 $\mathbf{x}=(1,1,1)$ 有 $T\mathbf{x}=0$ 且能量 ${\mathbf{x}}^{T}T\mathbf{x}=0$。其它方向的向量 $\mathbf{x}$ 都得到正能量。这个 $T$ 可以写成很多种 $A^{T}A$ 的形式，但是 $A$ 一定有相关列，因为 $(1,1,1)$ 在它的零空间：$$\begin{array}{l}二阶差分T\\ 来自于一阶差分A\\ 循环T来自于循环A\end{array}\left[\begin{array}{ccc}2& -1& -1\\ -1& 2& -1\\ -1& -1& 2\end{array}\right]=\left[\begin{array}{ccc}1& -1& 0\\ 0& 1& -1\\ -1& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& -1\\ -1& 1& 0\\ 0& -1& 1\end{array}\right]$$半正定矩阵的所有 $\lambda \ge 0$ 且所有的 ${\mathbf{x}}^{T}S\mathbf{x}\ge 0$，这些弱不等式（$\ge$ 而不是 $>$）包括正定 $S$ 和处于边缘的奇异矩阵。

四、椭圆 $a{x}^2+2bxy+c{y}^2=1$

考虑一下如 Figure 6.7a 所示的倾斜的椭圆（ellipse） ${\mathbf{x}}^{T}S\mathbf{x}=1$，它的中心是 $(0,0)$，将它旋转到与坐标轴对齐（$X$ 和 $Y$ 轴），就是 Figrue 6.7(b)。这两张图展示了 $S=Q\Lambda Q^{-1}=Q\Lambda Q^T$ 这种分解背后的几何意义：

1. 倾斜的椭圆对应于 $S$，它的方程是 ${\mathbf{x}}^{T}S\mathbf{x}=1$。
2. 与坐标轴对齐的椭圆对应于 $\Lambda$，它的方程是 $X^T\Lambda X=1$。
3. 使得椭圆旋转到与坐标轴对齐的旋转矩阵是特征向量矩阵 $Q$。

【例2】求出倾斜椭圆 $5x^2+8xy+5y^2=1$ 的轴。
解： 从匹配这个方程的正定矩阵开始：$$方程是\left[\begin{array}{cc}x& y\end{array}\right]\left[\begin{array}{cc}5& 4\\ 4& 5\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=1矩阵是\boxed{S=\left[\begin{array}{cc}5& 4\\ 4& 5\end{array}\right]}$$特征向量是 $\left[\begin{array}{c}1\\ 1\end{array}\right]$ 和 $\left[\begin{array}{c}1\\ -1\end{array}\right]$，除以 $\sqrt{2}$ 得到单位向量，则 $S=Q\Lambda Q^T$：$$\begin{array}{l}特征向量在Q中\\ 特征值是9和1\end{array}\left[\begin{array}{cc}5& 4\\ 4& 5\end{array}\right]=\frac{1}{\sqrt{2}}\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]\left[\begin{array}{cc}9& 0\\ 0& 1\end{array}\right]\frac{1}{\sqrt{2}}\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]$$现在左乘 $\left[\begin{array}{cc}x& y\end{array}\right]$ 再右乘 $\left[\begin{array}{c}x\\ y\end{array}\right]$ 得到 ${\mathbf{x}}^{T}S\mathbf{x}=({\mathbf{x}}^{T}Q)\Lambda (Q^T\mathbf{x})$：$${\mathbf{x}}^{T}S\mathbf{x}=平方和5x^2+8xy+5y^2=9(\frac{x+y}{\sqrt{2}}{)}^2+1(\frac{x-y}{\sqrt{2}})(\mathrm{6.5.2})$$系数不是来自于 $D$ 的主元 $5$ 和 $9/5$，而是来自于 $\Lambda$ 的特征值 $9$ 和 $1$。平方里面是特征向量 ${\mathbf{q}}_1=\frac{1}{\sqrt{2}}\left[\begin{array}{c}1\\ 1\end{array}\right]$ 和 ${\mathbf{q}}_2=\frac{1}{\sqrt{2}}\left[\begin{array}{c}1\\ -1\end{array}\right]$。
倾斜椭圆的轴指向特征向量。这个解释了为什么 $S=Q\Lambda Q^T$ 称为 “主轴定理”，因为它显示了轴。不仅有轴的方向（来自于特征向量），还有轴的长度（来自于特征值）。要完全看到这些，我们用大写字母作为对齐坐标轴后的椭圆的新坐标：$$\text{Lineup}对齐\frac{x+y}{\sqrt{2}}=X和\frac{x-y}{\sqrt{2}}=Y和9X^2+Y^2=1$$$X^2$ 的最大值是 $1/9$，短轴的端点是 $X=1/3$ 和 $Y=0$。
注意：大的特征值 ${\lambda }_1=9$ 得到的是短轴，半长（half-length）是 $1/\sqrt{{\lambda }_1}=1/3$；小的特征值 ${\lambda }_2=1$ 得到长轴，半长是 $1/\sqrt{{\lambda }_2}=1$。
在 $xy$ 系统中，轴是沿着 $S$ 的特征向量；在 $XY$ 系统中，轴是沿着 $\Lambda$ 的特征向量 —— 即坐标轴。这些全部都来自于 $S=Q\Lambda Q^T$。

当所有的 ${\lambda }_i>0$ 时，$S=Q\Lambda Q^T$ 正定，${\mathbf{x}}^{T}S\mathbf{x}=1$ 的图形是一个椭圆：$$\boxed{椭圆\left[\begin{array}{cc}x& y\end{array}\right]Q\Lambda Q^T\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{cc}X& Y\end{array}\right]\Lambda \left[\begin{array}{c}X\\ Y\end{array}\right]={\lambda }_1{X}^2+{\lambda }_2{Y}^2=1}(\mathrm{6.5.3})$$轴指向 $S$ 的特征向量，半长是 $1/\sqrt{{\lambda }_1}$ 和 $1/\sqrt{{\lambda }_2}$。

$S=I$ 得到圆 $x^2+y^2=1$，如果一个特征值是负的（交换 $S$ 中的 $4^{\prime }s$ 和 $5^{\prime }s$），椭圆将变成一个双曲线（hyperbola），平方和变成了平方的差：$9X^2-Y^2=1$。若是一个负定矩阵如 $S=-I$，它两个特征值 $\lambda$ 都是负数，$-x^2-y^2=1$ 的图形就没有一个点。
如果 $S$ 是 $n\times n$ 的矩阵，${\mathbf{x}}^{T}S\mathbf{x}=1$ 是 ${\text{R}}^n$ 中的一个 “椭球体（ellipsoid）”，它轴的方向是 $S$ 的特征向量。

五、重要应用：最小值判断

在点 $(x,y)=(0,0)$ 处，如果 $\partial F/\partial x=0$ 且 $\partial F/\partial y=0$，那么 $F(x,y)$ 有极小值吗？
对于 $f(x)$，我们通过微积分来判断是否存在极小值：$df/dx=0$ 且 $d^{2}f/d{x}^2>0$。对于$F(x,y)$， 它的两个变量得到一个对称矩阵 $S$，它包含了四个二阶导数。$d^{2}f/d{x}^2$ 为正数的要求变成了矩阵 $S$ 正定：如果 $\partial F/\partial x=\partial F/\partial y=0$ 且 $S$ 正定时，$F(x,y)$ 存在极小值。
原因：$S$ 显示了 $a{x}^2+2bxy+c{y}^2$ 在 $(x,y)=(0,0)$ 附近全部的重要项，$F$ 的二阶导数是 $2a,2b,2b,2c$。对于 $F(x,y,z)$ 矩阵 $S$ 是 $3\times 3$ 的。

六、主要内容总结

1. 正定矩阵的特征值和主元都是正数。
2. 通过左上行列式（主子式）可以快速判断正定：$a>0$ 且 $ac-b^2>0$。
3. 能量 ${\mathbf{x}}^{T}S\mathbf{x}$ 的图是一个从 $\mathbf{x}=0$ 处朝上的 “碗”：$${\mathbf{x}}^{T}S\mathbf{x}=a{x}^2+2bxy+c{y}^2除了(x,y)=(0,0)，均为正数$$
4. 如果 $A$ 是无关列，则 $S=A^{T}A$ 正定。
5. 椭球体 ${\mathbf{x}}^{T}S\mathbf{x}=1$ 的轴沿着 $S$ 的特征向量，半长是 $1/\sqrt{\lambda }$。
6. 如果 $\frac{\partial F}{\partial x}=\frac{\partial F}{\partial y}=0$ 且二阶导数矩阵正定，则 $F(x,y)$ 有极小值。

七、例题

【例3】对称矩阵的分解：$S=LD{L}^T$ 来自于主元和乘数；$S=Q\Lambda Q^T$ 来自于特征值和特征向量。测试下面的矩阵的正定性：pascal(6)、ones(6)、hilb(6) 和 rand(6)+rand(6)'。
解： pascal(6) 正定，因为它所有的主元都是 $1$
ones(6) 半正定，因为它的特征值是 $0,0,0,0,0,6$
H = hilb(6) 正定，尽管 eig(H) 得到的特征值非常接近于零。
希尔伯特矩阵 Hilbert matrix： ${\mathbf{x}}^{T}H\mathbf{x}={\int }_0^1(x_1+x_{2}s+\cdots +x_6{s}^5{)}^{2}ds>0,H_{ij}=1/(i+j-1)$
rand(6)+rand(6)’ 也可能正定，也可能不是正定。使用 MATLAB 测试 $20000$ 次中正定矩阵的个数。

n = 20000;
p = 0;
for k=1:n
    A = rand(6);
    p = p + all(eig(A+A')>0);   % 正定矩阵的个数
end
disp(p);	% 输出 p 的值

可能每次结果不同，本次输出结果是 $7$：

【例4】什么时候对称的分块矩阵 $M=\left[\begin{array}{cc}A& B\\ B^T& C\end{array}\right]$ 正定？
解： $M$ 第二行减去第一行左乘 $B^T{A}^{-1}$，得到一个零块，角落里得到舒尔补 $S=C-B^T{A}^{-1}B$：$$\left[\begin{array}{cc}I& 0\\ -B^T{A}^{-1}& I\end{array}\right]\left[\begin{array}{cc}A& B\\ B^T& C\end{array}\right]=\left[\begin{array}{cc}A& B\\ 0& C-B^T{A}^{-1}B\end{array}\right]=\left[\begin{array}{cc}A& B\\ 0& S\end{array}\right](\mathrm{6.5.4})$$这两块 $A$ 和 $S$ 一定要正定。它们的主元就是 $M$ 的主元。

【例5】求 $-1,2,-1$ 三对角 $n\times n$ 矩阵 $S$ 的特征值。
解： 最好的方法是猜 $\lambda$ 和 $\mathbf{x}$，然后检验 $S\mathbf{x}=\lambda \mathbf{x}$。虽说大部分矩阵都无法猜测，但是特殊情况也占了数学的一大部分（纯数学与应用）。
关键信息隐藏在了一个微分方程中，二阶差分矩阵 $S$ 就像二阶导数，这些特征值会更容易得到：

$$\begin{array}{l}特征值{\lambda }_1,{\lambda }_2,\cdots \\ 特征函数y_1,y_2,\cdots \end{array}\frac{d^{2}y}{d{x}^2}=\lambda y且\begin{array}{c}y(0)=0\\ y(1)=0\end{array}(\mathrm{6.5.5})$$

尝试 $y=\sin cx$，它的二阶导数是 $y^{\prime \prime }=-c^2\sin cx$，假设的 $y=\sin cx$ 满足端点条件 $y(0)=0=y(1)$，所以式（6.5.5）的特征值是 $\lambda =-c^2$。
$\sin 0=0$ 满足端点条件（这里余弦就被排除了），另一个端点是 $x=1$ 时 $y(1)=\sin c=0$，则数字 $c$ 一定时 $k\pi$，它是 $\pi$ 的倍数，则 $\lambda =-k^2{\pi }^2$：$$$$\begin{array}{l}特征值\lambda =-k^2{\pi }^2\\ 特征函数y=\sin k\pi x\end{array}\frac{d^2}{d{x}^2}\sin k\pi x=-k^2{\pi }^2\sin k\pi x(\mathrm{6.5.6})$$ 现在回到矩阵 $S$，猜它的特征向量。$\sin kx$ 在 $n$ 个点 $x=h,2h,\cdots ,nh$ 是 $0$ 到 $1$ 之间相等的空间点，空间距离 $\Delta x$ 是 $1/(n+1)$，所以第 $n+1$ 个点有 $(n+1)h=1$，$S$ 乘正弦向量 $\mathbf{x}$：$$\begin{array}{ll}S的特征值是正数& S\mathbf{x}={\lambda }_k\mathbf{x}=(2-2\cos k\pi h)\mathbf{x}\\ S的特征向量是正弦向量& \mathbf{x}=(\sin k\pi h,\cdots ,\sin nk\pi h)\end{array}(\mathrm{6.5.7})$$