#机器学习--线性代数基础--第四章：相似矩阵及二次型

1、向量内积

        定义：设有 $n$ 维向量 $x，y$ ，令 $[x,y]=x_1{y}_1+x_2{y}_2+\cdots +x_n{y}_n$ ，称 $[x,y]$ 为向量 $x$ 与 $y$ 的内积。

        性质：
        1） $[x,y]=[y,x]$
        2） $[\lambda x,y]=\lambda [x,y]$
        3） $[x+y,z]=[x,z]+[y,z]$
        4） 当 $x=0$ 时， $[x,x]=0$ ；当 $x\ne 0$ 时， $[x,x]>0$
        5）施瓦茨(Schwarz)不等式： $[x,y{]}^2\le [x,x][y,y]$

---

2、向量的长度

        定义：令 $||x||=\sqrt{[x,x]}=\sqrt{x_1^2+x_2^2+\cdots +x_n^2}$ ， $||x||$ 称为 $n$ 维向量 $x$ 的长度或范数。特殊地，当 $||x||=1$ 时，称 $x$ 为单位向量。

        性质：
        1）非负性，当 $x\ne 0$ 时， $||x||>0$ ；当 $x=0$ 时， $||x||=0$
        2）齐次性， $||\lambda x||=|\lambda |||x||$

---

3、向量的正交性

        定义1：当 $x\ne 0、y\ne 0$ 时， $$\theta =arccos\frac{\left[x,y\right]}{||x||\cdot ||y||}$$
         $\theta$ 称为 $n$ 维向量 $x$ 与 $y$ 的夹角。当 $[x,y]=0$ 时，称向量 $x$ 与 $y$ 正交。显然，零向量与任何向量都正交。

        定义2：设 $n$ 维向量 $e_1,e_2,\dots ,e_r$ 是向量空间 $V(V\subseteq R^n)$ 的一个基，如果 $e_1,e_2,\dots ,e_r$ 两两正交，且都是单位向量，则称 $e_1,e_2,\dots ,e_r$ 是 $V$ 的一个标准正交基。

        定义3：设 $a_1,a_2,\dots ,a_r$ 是向量空间 $V$ 的一个基，我们把求 $V$ 的一个标准正交基的操作称为把基 $a_1,a_2,\dots ,a_r$ 标准正交化。

        定义4：如果 $n$ 阶矩阵 $A$ 满足 $A^{T}A=E$ （即 $A^{-1}=A^T$ ），那么称 $A$ 为正交矩阵，简称正交阵。

        定义5：若 $P$ 为正交矩阵，则线性变换 $y=Px$ 称为正交变换。

        定理：
        1）若 $n$ 维向量 $a_1,a_2,\dots ,a_r$ 是一组两两正交的非零向量，则 $a_1,a_2,\dots ,a_r$ 线性无关。
        2）方阵 $A$ 为正交矩阵的充分必要条件是 $A$ 的列(行)向量都是单位向量，且两两正交。
        3）我们可以用以下办法把 $a_1,a_2,\dots ,a_r$ 标准正交化：取
$$\begin{gathered} b_1=a_1, \\ b2=a_2-\frac{[b_1,a_2]}{[b_1,b_1]}{b}_1, \\ \dots \\ {b}_r=a_r-\frac{[b_1,a_r]}{[b_1,b_1]}{b}_1-\frac{[b_2,a_r]}{[b_2,b_2]}{b}_2-\cdots -\frac{[b_{r-1},a_r]}{[b_{r-1},b_{r-1}]}{b}_{r-1} \end{gathered}$$
        然后把它们单位化，即取$$e_1=\frac{1}{||b_1||}{b}_1,e_2=\frac{1}{||b_2||}{b}_2,\dots ,e_r=\frac{1}{||b_r||}{b}_r$$
        就是 $V$ 的一个标准正交基。并把从线性无关向量组 $a_1,a_2,\dots ,a_r$ 导出正交向量组 $b_1,b_2,\dots ,b_r$ 的过程称为施密特(Schmidt)正交化，满足：对于任何 $k(1\le k\le r)$ ，向量组 $b_1,b_2,\dots ,b_k$ 与 $a_1,a_2,\dots ,a_k$ 等价。

---

4、方阵的特征值与特征向量

        定义1：设 $A$ 是 $n$ 阶矩阵，如果数 $\lambda$ 和 $n$ 维非零列向量 $x$ 使关系式 $Ax=\lambda x$ 成立，那么，数 $\lambda$ 称为矩阵 $A$ 的特征值，非零向量 $x$ 称为 $A$ 的对应于特征值 $\lambda$ 的特征向量。

        定义2：定义1中的关系式可写成 $(A-\lambda E)x=0$ ，这是 $n$ 个未知数 $n$ 个方程的齐次线性方程组，它有非零解的充分必要条件是系数行列式 $|A-\lambda E|=0$ ，这是以 $\lambda$ 为未知数的一元 $n$ 次方程，称为矩阵 $A$ 的特征方程，其左端 $|A-\lambda E|$ 是 $\lambda$ 的 $n$ 次多项式，记作 $f(\lambda )$ ，称为矩阵 $A$ 的特征多项式。

        定理：
        1）设 $n$ 阶矩阵 $A=(a_{ij})$ 的特征值为 ${\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n$ ，则有：
                (i) ${\lambda }_1+{\lambda }_2+\cdots +{\lambda }_n=a_{11}+a_{22}+\cdots +a_{nn}$
                (ii) ${\lambda }_1{\lambda }_2\dots {\lambda }_n=|A|$
                (iii) $A$ 是可逆矩阵的充分必要条件是它的 $n$ 个特征值不全为零。
        2）设 $\lambda ={\lambda }_i$ 为矩阵 $A$ 的一个特征值，则由方程 $(A-{\lambda }_{i}E)x=0$ 可求得非零解 $x=p_i$ ，那么 $p_i$ 便是 $A$ 的对应于特征值 ${\lambda }_i$ 的特征向量。
        3）设 ${\lambda }_1,{\lambda }_2,\dots ,{\lambda }_m$ 是方阵 $A$ 的 $m$ 个特征值， $p_1,p_2,\dots ,p_m$ 依次是与之对应的特征向量，如果${\lambda }_1,{\lambda }_2,\dots ,{\lambda }_m$ 各不相等，则 $p_1,p_2,\dots ,p_m$ 线性无关。
        4）设 ${\lambda }_1$ 和 ${\lambda }_2$ 是方阵 $A$ 的两个不同的特征值， ${\xi }_1,{\xi }_2,\dots ,{\xi }_s$ 和 ${\eta }_1,{\eta }_2,\dots ,{\eta }_t$ 分别是对应于 ${\lambda }_1$ 和 ${\lambda }_2$ 的线性无关的特征向量，则 ${\xi }_1,{\xi }_2,\dots ,{\xi }_s,{\eta }_1,{\eta }_2,\dots ,{\eta }_t$ 线性无关。

---

5、相似矩阵

        定义：设 $A、B$ 都是 $n$ 阶矩阵，若有可逆矩阵 $P$ ，使 $P^{-1}AP=B$ ，则称 $B$ 是 $A$ 的相似矩阵，或者说矩阵 $A$ 与 $B$ 相似。对 $A$ 进行运算 $P^{-1}AP$ 称为对 $A$ 进行相似变换，特殊地，如果矩阵 $B$ 是对角矩阵，这就称为把矩阵 $A$ 对角化。可逆矩阵 $P$ 称为把 $A$ 变成 $B$ 的相似变换矩阵。

        定理：
        1）若 $n$ 阶矩阵 $A$ 与 $B$ 相似，则 $A$ 与 $B$ 的特征多项式相同，从而 $A$ 与 $B$ 的特征值亦相同。
        2）若 $n$ 阶矩阵 $A$ 与对角矩阵 $\Lambda$ 相似，则对角矩阵 $\Lambda$ 的对角线元素即是 $A$ 的 $n$ 个特征值。
        3） $n$ 阶矩阵 $A$ 与对角矩阵相似（即 $A$ 能对角化）的充分必要条件是 $A$ 有 $n$ 个线性无关的特征向量。
        4）如果 $n$ 阶矩阵 $A$ 的 $n$ 个特征值互不相等，则 $A$ 与对角矩阵相似。
        5）对称矩阵的特征值为实数。
        6）设 ${\lambda }_1,{\lambda }_2$ 是对称矩阵 $A$ 的两个特征值， $p_1,p_2$ 是对应的特征向量，若 ${\lambda }_1\ne {\lambda }_2$ ，则 $p_1$ 与 $p_2$ 正交。
        7）设 $A$ 为 $n$ 阶对称矩阵，则必有正交矩阵 $P$ ，使 $P^{-1}AP=P^{T}AP=\Lambda$ ，其中 $\Lambda$ 是以 $A$ 的 $n$ 个特征值为对角元的对角矩阵。
        8）设 $A$ 为 $n$ 阶对称矩阵， $\lambda$ 是 $A$ 的特征方程的 $k$ 重根，则矩阵 $A-\lambda E$ 的秩 $R(A-\lambda E)=n-k$ ，从而对应特征值 $\lambda$ 恰有 $k$ 个线性无关的特征向量。

---

6、二次型及其标准形

        定义1：含有 $n$ 个变量 $x_1,x_2,\dots ,x_n$ 的二次齐次函数 $f(x_1,x_2,\dots ,x_n)=a_{11}{x}_1^2+a_{22}{x}_2^2+\cdots +a_{nn}{x}_n^2+2a_{12}{x}_1{x}_2+2a_{13}{x}_1{x}_3+\cdots +2a_{n-1,n}{x}_{n-1}{x}_n$ 称为二次型，特殊地，将只包含平方项的二次型称为标准形（法式），若标准形的系数只在 $1,-1,0$ 三个数中取值，则称为规范形。

        定义2：二次型和对称矩阵之间存在一一对应的关系，因此，我们把对称矩阵 $A$ 叫做二次型 $f$ 的矩阵，也把 $f$ 叫做对称矩阵 $A$ 的二次型，对称矩阵 $A$ 的秩就叫做二次型 $f$ 的秩。

        定义3：设 $A$ 和 $B$ 是 $n$ 阶矩阵，若有可逆矩阵 $P$ ，使 $B=P^{t}AP$ ，则称矩阵 $A$ 与 $B$ 合同。

        定义4：二次型的标准形中正系数的个数称为二次型的正惯性指数，负系数的个数称为负惯性指数。

        定义5：设二次型 $f(x)=x^{T}Ax$ ，如果对任何 $x\ne 0$ ，都有 $f(x)>0$ （显然 $f(0)=0$ ），则称 $f$ 为正定二次型，并称对称矩阵 $A$ 是正定的；如果对任何 $x\ne 0$ 都有 $f(x)<0$ ，则称 $f$ 为负定二次型，并称对称矩阵 $A$ 是负定的。

        定理：
        1）任给二次型 $f={\sum }_{i,j=1}^n{a}_{ij}{x}_i{x}_j(a_{ij}=a_{ji})$ ，总有正交变换 $x=Py$ ，使 $f$ 化为标准形 $f={\lambda }_1{y}_1^2+{\lambda }_2{y}_2^2+\cdots +{\lambda }_n{y}_n^2$ ，其中 ${\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n$ 是 $f$ 的矩阵 $A=(a_{ij})$ 的特征值。

        2）任给 $n$ 元二次型 $f(x)=x^{T}Ax$ $(A^T=A)$ ，总有可逆变换 $x=C_z$ ，使 $f(Cz)$ 为规范形。

        3）惯性定理：设二次型 $f=x^{T}Ax$ 的秩为 $r$ ，且有两个可逆变换 $x=Cy$ 及 $x=Pz$ 使 $f=k_1{y}_1^2+k_2{y}_2^2+\cdots +k_r{y}_r^2$   $(k_i\ne 0)$ 及 $f={\lambda }_1{z}_1^2+{\lambda }_2{z}_2^2+\cdots +{\lambda }_r{z}_r^2$   $({\lambda }_i\ne 0)$ ，则 $k_1,\dots ,k_r$ 中正数的个数与 ${\lambda }_1,\dots ,{\lambda }_r$ 中正数个数相等。

        4） $n$ 元二次型 $f=x^{T}Ax$ 为正定的充分必要条件是：它的标准形的 $n$ 个系数全为正，即它的规范形的 $n$ 个系数全为 $1$ ，亦即它的正惯性指数等于 $n$ 。

        5）对称矩阵 $A$ 为正定的充分必要条件是： $A$ 的特征值全为正。

        6）对称矩阵 $A$ 为正定的充分必要条件是： $A$ 的各阶主子式都为正，即 $a_{11}>0,\left|\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right|>0,\dots ,\left|\begin{array}{ccc}{a}_{11}& \dots & a_{1n}\\ ⋮& & ⋮\\ a_{n1}& \dots & a_{nn}\end{array}\right|>0$ ，对称矩阵 $A$ 为负定的充分必要条件是：奇数阶主子式为负，而偶数阶主子式为正，即 $(-1{)}^r\left|\begin{array}{ccc}{a}_{11}& \dots & a_{1r}\\ ⋮& & ⋮\\ a_{r1}& \dots & a_{rr}\end{array}\right|>0$  $(r=1,2,\dots ,n).$