线性代数学习笔记8-2：对称矩阵和Hermitian矩阵、共轭转置、正定矩阵

对称矩阵特征值为实数并且拥有一套正交特征向量，正定矩阵的性质则更好。

对称矩阵 Symmetric matrices

对称矩阵：
实矩阵$\mathbf{A}$满足$\mathbf{A}={\mathbf{A}}^T$，为对称矩阵；
或复矩阵$\mathbf{A}$满足$\mathbf{A}={\bar{\mathbf{A}}}^T={\mathbf{A}}^H(共轭转置)$，为对称矩阵/Hermitian矩阵

下面出现$\mathbf{A}={\mathbf{A}}^T$时，都应该知道，说的是实矩阵的情况

我们研究复/实对称矩阵的特征值和特征向量

特征向量的特点：

• 一定能得到一套（n个）正交的特征向量（即使有重特征值，也有足够的线性无关特征向量），所有特征向量相互垂直/正交，即两两内积为0
  对于特征值无重根的情况，各特征值对应的特征向量必然互相正交；
  对于特征值有重根的情况，多个重特征值对应的特征向量可能在同一平面内，但是也可以人为选择出正交的特征向量（一个例子是单位阵$\mathbf{I}$，它是对称矩阵，但所有特征值为1，特征向量充满整个空间，可从中选择正交的特征向量）

证明：
对于对称矩阵$\mathbf{S}={\mathbf{S}}^T$，两个不同的特征向量满足$\mathbf{Sx}=\lambda \mathbf{x}，\mathbf{Sy}=\alpha \mathbf{y}(\lambda \ne \alpha )$
①$\mathbf{Sx}=\lambda \mathbf{x}$转置得到${\mathbf{x}}^T{\mathbf{S}}^T=\lambda {\mathbf{x}}^T$，右乘$\mathbf{y}$得到${\mathbf{x}}^T{\mathbf{S}}^T\mathbf{y}={\mathbf{x}}^T\mathbf{Sy}=\lambda {\mathbf{x}}^T\mathbf{y}$
②$\mathbf{Sy}=\alpha \mathbf{y}$左乘${\mathbf{x}}^T$得到${\mathbf{x}}^T\mathbf{Sy}=\alpha {\mathbf{x}}^T\mathbf{y}$
结合①②可知$\lambda {\mathbf{x}}^T\mathbf{y}=\alpha {\mathbf{x}}^T\mathbf{y}$，而$\lambda \ne \alpha$，故${\mathbf{x}}^T\mathbf{y}=0$，即两特征向量正交

以前知道有n个无关特征向量就能对角化，又根据上述性质，对称矩阵的对角化结果更简洁

• 谱定理（spectral theorem，“谱”就是指特征值，物理上称为“主轴定理”，其意义在8-3中有介绍）
  对于复/实对称矩阵$\mathbf{A}$，一定有$\mathbf{A}=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^{-1}=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^T$，其中$\mathbf{Q}$为正交矩阵（原因：对称矩阵的特征向量正交，而正交矩阵满足${\mathbf{Q}}^{-1}={\mathbf{Q}}^T$）

理解：为何特征向量正交，对角化时就一定能得到正交矩阵（列向量标准正交）
首先，对称矩阵必有一套正交的特征向量；
我们将其长度缩放，即可得到一套标准正交向量，从而特征向量的矩阵$\mathbf{S}$就是正交矩阵$\mathbf{Q}$，满足${\mathbf{Q}}^{-1}={\mathbf{Q}}^T$

利用谱定理，可以得出进一步的推论：
$$\begin{gathered} \mathbf{A}=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^{-1}=\left[\begin{array}{llll}{\mathbf{q}}_1& {\mathbf{q}}_2& \cdots & {\mathbf{q}}_{\mathrm{n}}\end{array}\right]\left[\begin{array}{llll}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_{\mathrm{n}}\end{array}\right]\left[\begin{array}{c}{\mathbf{q}}_1{}^T\\ {\mathbf{q}}_2{}^T\\ ⋮\\ {\mathbf{q}}_{\mathrm{n}}{}^T\end{array}\right] \\ ={\lambda }_1{\mathbf{q}}_1{\mathbf{q}}_1{}^T+{\lambda }_2{\mathbf{q}}_2{\mathbf{q}}_2{}^T+\cdots +{\lambda }_{\mathrm{n}}{\mathbf{q}}_{\mathrm{n}}{\mathbf{q}}_{\mathbf{n}}{}^T \end{gathered}$$
其中的${\mathbf{q}}_k{\mathbf{q}}_k^T$可以视为一维向量${\mathbf{q}}_k$的投影矩阵$\frac{{\mathbf{q}}_k{\mathbf{q}}_k^T}{{\mathbf{q}}_k^T{\mathbf{q}}_k}$（标准正交向量，分母为1）
可见，任何实对称矩阵，可以看作是多个投影矩阵（就是对各个正交的特征向量${\mathbf{q}}_k$的投影矩阵）的线性组合

特征值的特点

首先回顾：我们下面希望追求具有如下良好性质的矩阵：

• 特征值全为实数（已经知道，复数特征值对应了旋转）
• 特征向量相互正交 / 垂直

• 对于实对称矩阵$\mathbf{A}={\mathbf{A}}^T$（或复对称矩阵$\mathbf{A}={\bar{\mathbf{A}}}^T={\mathbf{A}}^H$），其所有特征值为实数

证明：
特征向量满足①$\mathbf{Ax}=\lambda \mathbf{x}$，两侧同时取共轭得到②$\bar{\mathbf{A}}\overline{\mathrm{x}}=\bar{\lambda }\overline{\mathrm{x}}$
进一步可以得到${\overline{\mathbf{x}}}^T\mathbf{A}\mathbf{x}=\lambda {\overline{\mathbf{x}}}^T\mathbf{x}$（①式左乘${\overline{\mathbf{x}}}^T$） 和 ${\overline{\mathbf{x}}}^T{\bar{\mathbf{A}}}^T\mathbf{x}=\bar{\lambda }{\overline{\mathbf{x}}}^T\mathbf{x}$（②式转置后，右乘$\mathbf{x}$）
对比两式，只要有$\mathbf{A}={\bar{\mathbf{A}}}^T$（实矩阵下就是$\mathbf{A}={\mathbf{A}}^T$），那么上面两式左侧相等，进而$$\lambda {\overline{\mathbf{x}}}^T\mathbf{x}=\bar{\lambda }{\overline{\mathbf{x}}}^T\mathbf{x}$$
由于特征向量非零，即${\overline{\mathbf{x}}}^T\mathbf{x}\ne 0$（对应复向量模长的平方），故有$\bar{\lambda }=\lambda$，即证得$\lambda$为实数

• 对称阵的特征值的正负符号 和 对称阵（消元后）的主元 相匹配，即正 / 负主元的数目等于正 / 负特征值的数目

证明：
[前置知识：合同矩阵的惯性定理]若有可逆矩阵$\mathbf{A}$满足$\mathbf{A}=\mathbf{C}\mathbf{B}{\mathbf{C}}^T$（A=LU,$U=D{L}^T$），则称$\mathbf{A}$和$\mathbf{B}$为合同矩阵，惯性定理是指，合同变换后矩阵的特征值符号不发生变化；
[证明：对称阵的特征值的正负符号 和 对称阵的主元 相匹配]
对称阵$\mathbf{A}$对角化得到$\mathbf{A}=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^T$，而将对称阵消元得到$\mathbf{A}=\mathbf{L}\mathbf{D}{\mathbf{L}}^T$，则$\mathbf{D}=\left({\mathbf{L}}^{-1}\mathbf{Q}\right)\mathbf{\Lambda }{\left({\mathbf{L}}^{-1}\mathbf{Q}\right)}^T$；$\mathbf{D}$和$\mathbf{\Lambda }$为合同矩阵，由惯性定理，$\mathbf{D}$中正主元的个数等于$\mathbf{\Lambda }$中正特征值的个数

上一个性质应用：
由$\mathbf{A}$的主元，可以判断$\mathbf{A}$的特征值的正负号情况

若$\mathbf{A}$的特征值为$\lambda$，则矩阵$\mathbf{A}+b\mathbf{I}$的特征值为$\lambda +b$（求解$det(\mathbf{A}+b\mathbf{I}-\lambda \mathbf{I})=0$可知），从而可以通过$\mathbf{A}+b\mathbf{I}$的主元正负号情况来判断$\mathbf{A}$的特征值与$b$的大小关系

由上，估计出$\mathbf{A}$的特征值正负情况和大概取值后，可以巧妙判断微分方程中体系的稳定与否（对于复杂的矩阵，无需具体计算特征值）

正定矩阵 Positive definite matrices

在满足对称矩阵的基础上，具有更好性质的一类对称矩阵是正定矩阵

正定矩阵的性质：

• 正定矩阵的所有特征值都为正实数（不仅是实数），它消元后所有主元也都为正数（根据对称矩阵的性质：正 / 负主元的数目等于正 / 负特征值的数目）

• 正定矩阵的行列式必为正数（因为所有特征值为正）；并且，正定矩阵左上角的所有任意k阶（1<=k<=n）子矩阵的行列式均为正
  例如$\left[\begin{array}{ll}5& 2\\ 2& 3\end{array}\right]$是正定矩阵，可以验证上述性质；而$\left[\begin{array}{ll}-1& 0\\ 0& -3\end{array}\right]$不是正定矩阵（主元为负数、左上角一阶子矩阵行列式为-1）

注意，这里将之前的主元、行列式和特征值的概念统一了（对于正定矩阵这些值都是正的），当完全掌握了它们的性质后会推广到非对称矩阵，甚至非方阵