线代二次型部分零碎知识点

1. 正交性

1.1 正交与正交投影

$u_i\cdot u_j=u_i^T\cdot u_j=0$， 则$u_i$和$u_j$相互正交

定理：假设$u_1,\cdots ,u_p$是$R^n$中子空间$W$的正交基，对$W$中的每个向量$y$，线性组合$y=c_1{u}_1+\cdots +c_p{u}_p$中的权可以由$c_j=\frac{y\cdot u_j}{u_j\cdot u_j}(j=1,\cdots ,p)$计算
[证] $$y\cdot u_1=(c_1\cdot u_1+c_2\cdot u_2+\cdots +c_p\cdot u_p)\cdot u_1=c_1(u_1\cdot u_1)$$
由于$u_1\cdot u_1$非零，从上面方程中可以解出系数$c_1$
从几何角度理解，即为正交投影，y在$u$上的投影$pro{j}_{L}y=\frac{y\cdot u}{u\cdot u}$

1.2 格拉姆-施密特标准正交化

$$v_{k+1}=x_{k+1}-pro{j}_{W_k}{x}_{k+1}$$
每次减去之前求得的正交基所围成空间，确保这次求得的正交基是之前的正交补

2. 正交矩阵

正交矩阵各列标准正交，一个正交矩阵就是一个可逆的方阵，且满足：
$$Q^T=Q^{-1}$$
[证] $$Q^{T}Q=\left[\begin{array}{c}{q}_1^T\\ q_2^T\\ ⋮\\ q_n^T\end{array}\right]\left[\begin{array}{cccc}{q}_1& q_2& \cdots & q_n\end{array}\right]=\left[\begin{array}{cccc}1& 0& \cdots & 0\\ 0& 1& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & 1\end{array}\right]，得证。$$

3. 特征值和特征向量

$$Ax=\lambda x$$

3.1 特征值的性质

1. ${\sum }_{i=1}^n{\lambda }_i={\sum }_{i=1}^n{a}_{ii}=tra(A)$
2. $\prod _{i=1}^n{\lambda }_i=|A|$

3.2 矩阵A的特征向量必然在A的列空间中

$$\begin{gathered} 由Av=\lambda v,得Av=\left[\begin{array}{cccc}{a}_1& a_2& \cdots & a_r\end{array}\right]\left[\begin{array}{c}{v}_1\\ v_2\\ ⋮\\ v_r\end{array}\right]=v_1{a}_1+v_2{a}_2+\cdots +v_r{a}_r \\ 所以\lambda v=Av,为A的列线性组合而成 \end{gathered}$$

4. 对角化

$$S^{-1}AS=\wedge$$
其中矩阵S是特征向量按列组成，S可逆，对角阵$\wedge 的对角元素为S$特征向量对应的特征值
[证]：$AS=\cdots =SA$
对角化有前提条件限制：$n\times n$矩阵A可对角化充分必要条件是A有n个线性无关的特征向量

5. （实）对称矩阵

实对称矩阵一定可以相似对角化
$$A=Q\wedge Q^{-1}=Q\wedge Q^T$$

性质

1. 实对称矩阵特征值也为实数
2. 实对称矩阵特征向量相互正交

6. 正定矩阵

$$x^{T}Ax>0（A为对称矩阵，x不为零向量）$$

7. 相似

$$若M^{-1}AM=B，则A，B特征值相同$$
[证]：$$\begin{gathered} Ax=\lambda ｘ \\ \iff M^{-1}AM{M}^{-1}x=\lambda M^{-1}x \\ \iff B{M}^{-1}x=\lambda M^{-1}x \end{gathered}$$

8. 奇异值分解

奇异值分解