MathBase_03工程数学基础（第十五讲-第十九讲）

MathBase 工程数学基础（第十五讲-第十九讲）

• Author：Dargon
• Note date：2020/10/19-2020/10/21
• 学习视频来源：国防科技大学 MOOC

第十五讲，矩阵分解

回顾

方阵的两个重要分解

1. 相似对角化 $$A=Pdiag[{\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n]P^{-1}$$
2. jordan标准型$$A=Pdiag[J_1({\lambda }_1),J_2({\lambda }_2),\cdots ,J_n({\lambda }_n)$$

上下三角阵的性质

1. 上下三角阵的和、差、乘积、逆让是上下三角阵
2. 单位上下三角阵的乘积、逆 仍是单位上下三角阵
3. Ax =b是，若A为上下三角矩阵时候，会更加容易求解

• 三角分解

  1. 定义： 若方阵A 可分解为 A =LR
     注：L（left）为单位下三角阵，R（right）为上三角阵
     称为三角分解 或者 Doolittle分解

  2. 方便求解：
     若方阵A有三角分解 A =LR
     令 RX =y
     则Ax =b可分解为两个非齐次的线性方程组：

     1. Ly =b (前推方程组)
     2. Rx =y (后退方程组)
        L 是一个单位下三角矩阵
        $$\left[\begin{array}{cccc}1& & & \\ L_{21}& 1& & \\ ⋮& \ddots & \ddots & \\ L_{n1}& \cdots & L_{n(-1)}& 1\end{array}\right]\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]=\left[\begin{array}{c}{b}_1\\ b_2\\ ⋮\\ b_n\end{array}\right]\text{\hspace{1em}(15.1)}$$
        可以很快速的求出 $$y_1=b_1,y_2=b_2-L_2,y_1\to \cdots y_n$$

  3. 对于后退方程组的求解：

  $$\left[\begin{array}{cccc}{R}_{11}& R_{12}& \cdots & R_{1n}\\ & R_{22}& \cdots & R_{2n}\\ & & \ddots & ⋮\\ & & & R_{nn}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]\text{\hspace{1em}(15.2)}$$
  将其做向前分解：
  $$X_n\to X_{n-1}\to \cdots \to X_1$$
  方便求解，更加直观，经程序循环一下子就计算出来了，简化Ax =b的计算

LR分解

1. 定义 因为矩阵$[R|L^{-1}]$ 是由矩阵[A | I]通过初等变换得到的，所以存在一个可逆矩阵P，使得
   $$P[A⋮I]=[R⋮L^{-1}]$$
   $$PA=R,P=L^{-1}$$
   $$A=P^{-1}R=LR$$
   so A有三角分解
2. 若A是n 阶可逆方阵，则存在置换矩阵P，使得PA 有唯一的三角分解即有
   $$PA=LR$$
3. LR 分解过程（高斯消元法）
   1. 类似于矩阵求逆过程一样将[A | I]化成$[R|L^{-1}]$形式，前面就是R 后面是L的逆
   2. 求出L 则LR就是分解矩阵
   3. 若不能分解，先利用置换矩阵P（就是单位阵换来换去的）作用一下，再利用LR进行分解。
4. 例题

LDR分解

在前面的A =LR 中L 是单位下三角矩阵，但是R只是上三角矩阵，可以更简化将R化简成对角阵 乘以 单位上三角矩阵
$$R=\left[\begin{array}{cccc}{d}_1& & & \\ & d_2& & \\ & & \ddots & \\ & & & d_n\end{array}\right]\left[\begin{array}{cccc}1& R_{12}& \cdots & R_{1n}\\ & 1& \cdots & R_{2n}\\ & & \ddots & ⋮\\ & & & 1\end{array}\right]$$
则A = L D R

• 平方根分解 $A=G{G}^T$
  相比于上面的分解更加束缚
  对于方阵A 是正定的，A =LDR
  则有对角阵 $D=diag[d_1,d_2,\cdots ,d_n]$其中对角元 d >0de

  若有$A^T=A$ 则有$L^T=R,R^T=L$
  令 $$\sqrt{D}=\left[\begin{array}{cccc}\sqrt{d_1}& & & \\ & \sqrt{d_2}& & \\ & & \ddots & \\ & & & \sqrt{d_n}\end{array}\right]$$
  则有 $$A=LDR=L\sqrt{D}\sqrt{D}{L}^T=(L\sqrt{D})(L\sqrt{D}{)}^T=G{G}^T$$
  这就是平方根分解
  过程：

  1. 将A 化成上三角阵 R
  2. 分解 R =D R1
  3. L的转置 = R
  4. $G=L\sqrt{D}$
  5. 写成 $A=G{G}^T$

• 总结
  矩阵三角分解 LR 出发
  顺序主子式不唯一 PA = LR
  A =LDR
  A 为正定矩阵，进行平方根分解

第十六讲，矩阵的正交三角分解

正交三角分解

定义：若n 阶复方阵A 可分解为 A =QR形式
其中 Q 为酉矩阵$Q^H=Q^{-1}$
酉矩阵 矩阵的共轭转置 等于 矩阵的逆 就相当于 正交矩阵 矩阵的转置 等于 该矩阵的逆这一层关系
R是一个上三角矩阵

分解的应用

1. 解方程组 Ax =b （利用前推 和后退 一次求解 和前面所用方法一样）
2. 求复杂矩阵的特征值、特征向量（QR算法/没接触到！）

正交三角分解Schmidt 方法

若n 方阵是可逆的，则A 有唯一的QR分解
具体步骤：
1) 将矩阵A 进行每一列进行单位正交化（运用之前的schmidit公式）
2) 将前面就相当于一组标准正交基 为Q 矩阵，后面的R 相当于过渡矩阵
3) 说白了 这个方法就是将 schmidt正交化方法用矩阵表示一下
$$A=[{\xi }_1{\xi }_2{\xi }_3]\left[\begin{array}{ccc}\Vert |{\mathrm{B}}_1||& <{\alpha }_2,{\xi }_1>& <{\alpha }_3,{\xi }_1>\\ & ||{\mathrm{B}}_2||& <{\alpha }_3,{\xi }_2>\\ & & ||{\mathrm{B}}_3||\end{array}\right]$$

Householder 方法分解

1. 对于schmidt方法有可逆的限制，就有了Householder 方法分解不可逆矩阵
   实质（作用）：可以将一个向量正交变换到指定方向。
   象征性的给出定理说明：
   设 $e\subset C^n$ 是一给定的单位向量，则对任意的向量 $x\subset C^n$,存在n 阶Householder矩阵 H使得
   $$Hx=ae$$
   H 就是Householder 矩阵 $H=I-2\omega {\omega }^H$
   其中a 是复数 且满足条件1) |a| =||a|| 二范数 2) $a{X}^{H}e$是实数
   公式证明如下：
   

2. 向量QR 分解步骤

   1. 根据向量x 确定a = x 的2-范数
   2. 计算 $\omega =\frac{X-ae}{||X-ae|{|}_2}$ 相当于将X-ae 单位化
   3. 公式计算 $H=I-2\omega {\omega }^H$
   4. 将H 矩阵作用到X 向量 ，就转换到 e 向量的方向上了

3. 矩阵的QR 分解

   1. 利用 Hx =ae ，一层一层，计算一系列的Householder矩阵，且计算的H矩阵均是酉矩阵
   2. 最终 Q矩阵就是 = 一系列 H1 H2 …… 的乘积 （Q 仍旧是酉矩阵）
   3. R 就是H2 H1 A
   4. 计算验证 A =QR
      

注 自己忘的时候，可以来翻一翻这道例题

第十七讲，矩阵的满秩分解

满秩分解意义在于

1. 不是方阵的矩阵进行分解（前面所学的分解都是在方阵的条件下）

Hermite标准型

1. 理解的定义：将矩阵化为阶梯型矩阵，每个阶梯所对应值为1，且列上的元素除自己外 全部为0
2. 计算： 可利用高斯消元法进行计算
   相当于对增广矩阵进行初等变换，之后左边就是 阶梯矩阵，后面就是P，我们的作用矩阵。

满秩分解过程

1. 先求A 的hermite标准型，找出最大的线性无关组（相当于单位子矩阵）所对应的列（找到是原始A 里面列的）就是对应的F 矩阵
2. 取H 矩阵的前r 行 （独立序列）构成行满秩矩阵 G
3. 分解完成 A =FG
   

理解：F 里面的列是矩阵的最大线性无关组，其实相当于A 的一组基向量，每一列向量均可以用F 来表示，对应基向量下的坐标，G也就是其它列向量用F 来进行线性组合的系数

关于满秩分解的证明：
/插入照片

行满秩、列满秩

1. 定义
   对于$A\subset C^{(}m\times n)$
   若rank（A）= m 则称A 为行满秩 且m <= n;
   若rank（A）= n 则称A 为列满秩 且n <= m;

2. 性质行满秩(列满秩)

   1. $F^{H}F(G{G}^H)$的特征值>0;
   2. $F^{H}F(G{G}^H)$是正定Hermite矩阵;
   3. $F^{H}F(G{G}^H)$是r 阶满秩矩阵;

左逆和右逆

由于只有方阵才可能有逆，所以对于不是方阵的来说，只能是形式上的逆

1. 定义
   设$A\subset C^{m\times n}$,$B\subset C^{n\times m}$
   若AB =$I_m$
   由于AB 不是方阵，
   则B 为A 的右逆 记作：$A_R^{-1}=B$ 条件：A要行满秩
   则A 为B 的左逆 记作：$B_L^{-1}=A$ 条件：A要列满秩

2. 证明
   设m X n 的矩阵A 是行满秩的，$A{A}^H$可逆（根据行满秩的性质）
   $$(A{A}^H)(A{A}^H{)}^{-1}=I_m$$
   若是AB =$I_m$ 则
   A的右逆：$$A^H(A{A}^H{)}^{-1}$$
   同理则可以证明求得
   A的左逆： $$(A^{H}A{)}^{-1}{A}^H$$

第十八讲，奇异值分解

知识回顾以及问题

1. 方阵的重要分解
   $$A=P\Lambda P^{-1}$$
   $$A=PdiagJ({\Lambda }_1,{\Lambda }_2,\cdots ,J({\Lambda }_n))$$
   P 就是由特征向量组成的矩阵，若有足够的特征向量则可以相似对角化成对角阵，否成为Jordan阵
2. 存在的限制
   1. 矩阵A 必须是方阵，非方阵没有Jordan标准型
   2. Jordan阵不一定是对角阵
   3. 相似变换矩阵P 不是酉（正交）矩阵

奇异值

1. 引理Lemma ：
   1. $Rank(A{A}^H)=Rank(A^{H}A)=RankA$
   2. $A{A}^H,A^{H}A$ 有相同的特征值
2. 若记非负定的Hermite矩阵$A^{H}A$的n 个特征值为${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$
   则称${\sigma }_1=\sqrt{{\lambda }_1},{\sigma }_2=\sqrt{{\lambda }_2},\cdots ,{\sigma }_n=\sqrt{{\lambda }_n}$ 为 A的奇异值
   同时，为了区分0 和正值对于如下：
   $${\lambda }_1\ge {\lambda }_2\ge \cdots {\lambda }_r>{\lambda }_{r+1}>\cdots >{\lambda }_n$$
   则称${\sigma }_1=\sqrt{{\lambda }_1},{\sigma }_2=\sqrt{{\lambda }_2},\cdots ,{\sigma }_r=\sqrt{{\lambda }_r}$ 为 A的正奇异值
3. 步骤
   1. 求出A的共轭装置和A矩阵的乘积$A^{H}A$的 特征值 进行开方，有多少像就是多少个，重根也算
   2. 技巧利用 $A^{H}A和A{A}^H$的特征值相同，最后在补上相应的项为 0 即可完成

奇异值分解（前面都是铺垫）

1. 定义

   1. 若存在一个m行n列的矩阵A，且A的秩Rank（A）> 0的，则必存在m 阶的酉矩阵U 和n阶酉矩阵V 使得
      $$U^{H}AV=\left[\begin{array}{cc}{\Sigma }_r& 0\\ 0& 0\end{array}\right]$$
      其中${\Sigma }_r=diag[{\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_r]$全是正奇异值，这就是A的奇异值分解。

2. 奇异值分解的简单推理

   1. 推理的步骤图片
      
      

3. 奇异分解步骤

   1. 先求$A^{H}A$的特征值以及单位正交特征向量$${\lambda }_1\ge {\lambda }_2\ge \cdots {\lambda }_r>{\lambda }_{r+1}=\cdots ={\lambda }_n$$,对于大于0 的特征值所对应的特征向量就是$V_1=[V_1,V_2,\cdots ,v_r]$,则等于0的特征值所对于应的特征向量$V_2=[V_{r+1},\cdots ,V_n]$
   2. 令$$V=[V1,V2]$$ 由正奇异值构成对角阵$$\Sigma =\left[\begin{array}{ccc}\sqrt{{\lambda }_1}& & \\ & \ddots & \\ & & \sqrt{{\lambda }_r}\end{array}\right]$$ 且$$U_1=A{V}_1{\Sigma }^{-1}$$,其中U1 中列向量$[U_1,U_2,\cdots ,U_r]$是 $C^m$的单位向量，里面两两正交。
   3. 将U1中的列向量进行基扩张，到 $C^m$的空间内，后面就多加了（n-r）列并且都能被前面r个所线性表示，组合成大U 矩阵

4. 奇异值分解例题过程
   基本是两种过程，可以计算$A^{H}A$或者$A{A}^H$求特征值的时候，后面的方法需要进行，补0的特征值。//插入图片
   

   

   

   

奇异值分解的应用

1. 最小二乘问题
   1. 设$A\subset C^{mxn},b\subset C^m,ForX\subset C^n$使得$$||A{x}^{\ast }-b|{|}_2=mi{n}_{x\subset C^n}||Ax-b|{|}_2$$
   2. 下面是简单利用奇异值分解找一下最小值
      
      应用解析的方法证明求出最小二乘值。
   3. 理解，在空间里面就是要找一个使得b 到在A的列空间里面的距离最小，也就是当b 做垂直投影下来的时候，这时候从空间里面来看就是，Ax 是在A 的列空间C(A)里面，处置距离正好是在A 的行空间R(A)里面。

奇异值分解的应用

1. 最小二乘问题
   1. 设$A\subset C^{mxn},b\subset C^m,ForX\subset C^n$使得$$||A{x}^{\ast }-b|{|}_2=mi{n}_{x\subset C^n}||Ax-b|{|}_2$$
   2. 下面是简单利用奇异值分解找一下最小值 应用解析的方法证明求出最小二乘值。
   3. 理解，在空间里面就是要找一个使得b 到在A的列空间里面的距离最小，也就是当b 做垂直投影下来的时候，这时候从空间里面来看就是，Ax 是在A 的列空间C(A)里面，处置距离正好是在A 的行空间R(A)里面。
2. 数据压缩
   1. 存储矩阵$A\subset C^{mxn}$,需要在矩阵A 里面存储mxn 个数据，我们希望利用奇异值分解，用尽可能的数据来逼近A，（当然，需要牺牲一点像素）
   2. 我们可以用矩阵的秩Rank（A）来度量数据矩阵A 冗余，比如说 Rank(A) =1的话，则我们只需要（m + n）个数据就可以来逼近这张图片，因为后面的代表的东西，都可以有这个向量进行线性表示
   3. 一个计算过程

• 奇异值分解暂时到此结束！！！

矩阵的广义逆

来源

1. 一个仿真不一定可逆，长方矩阵更谈不上可逆，这样看，逆矩阵的定义是非常 的苛刻的，所以引入 矩阵的广义逆来推广矩阵逆的概念
2. 回顾左逆和右逆的概念
   1. A的右逆：$$A^H(A{A}^H{)}^{-1}$$
      同理则可以证明求得
      A的左逆 $$(A^{H}A{)}^{-1}{A}^H$$

定义A 的加号逆

1. $$A^{-1}=G_R^{-1}\times F_L^{-1}$$
2. 定义一个加号逆需要满足以下条件
   1. $$AGA=A$$
   2. $$GAG=G$$
   3. $$(AG{)}^H=AG$$
   4. $$(GA{)}^H=GA$$ 则可以称G 为A 一个广义逆（M-P广义逆/加号逆）记作$A^{+}$

$A^{+}$的求解

1. 满秩分解法

   1. 先根据公式求满秩分解 A =FG
   2. 计算F（列满秩） 的左逆，G（行满秩） 的右逆
   3. 带入公式$A^{-1}=G_R^{-1}\times F_L^{-1}$计算
   4. 例题看一下流程 //插入图片

2. 奇异值分解法

   1. 设A 的奇异值分解为 $A=U\Sigma V^H$ ,则$$A^{+}=V\Sigma U^H$$

应用

1. 求解方程组，若是相容（直面意思是方程组有解）且解可用广义逆来表示为$$X=A^{+}b+(I-A^{+}A)t$$ 其中 前面一项是非齐次的特解，后面一项是齐次的通解。

2. 一道例题的解析过程 //插入图片

3. 最小二乘解的求解过程和解方程本质是相同的

后记

• 至此，花费了大约一周的时间，系统的归纳了自己所学习到的知识点，并写入自己的博客里面，算是总结性的笔记，把基础做好，才能做得更好一点，看得更远一点，才能在看待一些问题上少一些局限性。工程数学的学习笔记记录到此结束！！！