全网最详细的矩阵分解算法

目录

参考资料

MATLAB数值分析

矩阵的分解

​ 矩阵的分解是矩阵分析的一个重要工具，如求矩阵的特征值和特征向量、求矩阵的逆以及矩阵的秩等都要利用到矩阵分解。

Cholesky分解

Cholesky分解的使用

​ Cholesky分解是把一个对称正定矩阵 $\mathbf{A}$ 分解成为一个上三角矩阵 $\mathbf{R}$ 和其转置矩阵的乘积：
$$\mathbf{A}={\mathbf{R}}^{\prime }\mathbf{R}$$
​ 从理论的角度来看，并不是所有的对称矩阵都可以进行Cholesky分解，需要进行 Cholesky分解的矩阵必须是正定的。

[!NOTE]

对称正定矩阵即可进行Cholesky分解

在 MATLAB 中提供了 chol函数实现矩阵的Cholesky分解，其调用格式如下。

1. $\mathbf{R}=\mathrm{chol}(\mathbf{A})$ ：
   1. 其中 $\mathbf{A}$ 为对称正定矩阵， $\mathbf{R}$ 为上三角矩阵，使得 $\mathbf{X}={\mathbf{R}}^{\prime }\mathbf{R}$ 。
   2. 如果矩阵 $\mathbf{A}$是非正定矩阵，则使用该调用格式会返回错误信息。
2. $[\mathbf{R},p]=\mathrm{chol}(\mathbf{A})$：
   1. 当 $\mathbf{A}$ 为正定矩阵，返回矩阵 $\mathbf{R}$ 是上三角矩阵，满足等式 $\mathbf{X}={\mathbf{R}}^{\prime }\mathbf{R}$ 同时返回参数 $\mathrm{p}=0$
   2. 当 $\mathbf{A}$ 不是正定矩阵时，返回参数 p 是正整数， $\mathbf{R}$ 是三角矩阵，且矩阵阶数为p-1,并且满足等式 $\mathbf{A}(1:\mathbf{p}-1,1:p-1)={\mathbf{R}}^{\prime }\mathbf{R}$ ．

---

利用pascal函数创建对称正定矩阵并进行Cholesky分解:

%矩阵分解-Cholesky分解
clear all
n=5
X=pascal(n) %创建对称矩阵
R=chol(X)		%对对称正定矩阵进行正定分解

X(n,n)=X(n,n)-1 %修改矩阵为非正定矩阵
[R1,p]=chol(X)		%对非正定矩阵进行三角分解

Chlolesky分解求解线性方程组

​ 使用 Cholesky分解求解得到的线性方程组的数值解和使用左除法求解线性方程组的数值解相一致。其数学原理为：

​ 对于线性方程组 $\mathbf{Ax}=\mathbf{b}$ ，其中 $\mathbf{A}$ 为对称正定矩阵，其 $\mathbf{A}={\mathbf{R}}^{\mathrm{T}}\mathbf{R}$ ，则根据上面的定义，线性方程组可以转换为 ${\mathbf{R}}^{\mathrm{T}}\mathbf{Rx}=\mathbf{b}$ ，该方程组的数值为:
$$\mathbf{x}=({\mathbf{R}}^T\mathbf{R}{)}^{-1}\mathbf{b}=\mathbf{R}\backslash \left({\mathbf{R}}^{\mathrm{T}}\backslash \mathbf{b}\right)$$

---

使用 Cholesky 分解求解线性方程组：
$$\{\begin{array}{l}{x}_1+x_2+x_3+x_4=1\\ x_1+2x_2+3x_3+4x_4=4\\ x_1+3x_2+6x_3+10x_4=6\\ x_1+4x_2+10x_3+20x_4=13\end{array}$$
可以看到系数矩阵是对称正定的，故可直接使用cholesky分解求解：

%使用cholesky分解求解系数矩阵为对称正定矩阵的线性方程组：
A=[1,1,1,1;1,2,3,4;1,3,6,10;1,4,10,20]
b=[1,4,6,13]'
x=A\b %使用左除法求解线性方程组
R=chol(A) %Cholesky分解
Rt=transpose(R)
x1=R\(Rt\b)		%x1=R\(b/Rt)=(b/Rt)/R

[!NOTE]

算数左除\与算数右除/:

​ MATLAB 的除法运算对于简单数值而言，算术左除与算术右除是不同的。算术右除与传统的除法相同，即 $a/b=a÷b$ ；而算术左除与传统的除法相反，即 $a\backslash b=b÷a$ 。

​ 对矩阵而言，算术右除相当于求解线性方程组；算术左除与传统的高斯消元法解线性方程或者用最小二乘法解欠定方程(超定方程)相似。点左除与点右除与上面的点运算相似，是变量对应于元素进行除法运算。

LU分解

LU分解的使用

​ LU 分解可用于求行列式，求逆矩阵，求解线性方程组等。设 $\mathbf{A}$ 是 $\mathbf{M}\times \mathbf{N}$ 矩阵，如果 $\mathbf{A}$(或 $\mathbf{A}$ 的某个排列 $\mathbf{PA},\mathbf{P}$ 为置换矩阵)可分解 $\mathbf{A}=\mathbf{LU}$(或 $\mathbf{PA}=\mathbf{LU}$ )，其中 $\mathbf{L}$ 为 $\mathbf{M}$下三角矩阵， $\mathbf{U}$ 为 $\mathbf{M}\times \mathbf{N}$ 阶梯形，则上式称 $\mathbf{A}$ 的 LU分解，Cholesky分解可看做 LU分解的特列。

[!NOTE]

LU分解将一个 $\mathbf{M}\times \mathbf{N}$ 矩阵的$\mathbf{A}$，分解为$\mathbf{M}$下三角矩阵的$\mathbf{L}$和$\mathbf{M}\times \mathbf{N}$ 阶梯形矩阵的$\mathbf{U}$

在 MATLAB 中提供了 lu函数实现 LU分解，其调用格式如下。

1. [L,U]=lu(A):
   1. 对矩阵 $\mathbf{A}$ 进行 $LU$ 分解，其中 $\mathbf{L}$ 为单位下三角矩阵或其变换形式， $\mathbf{U}$ 为上三角矩阵。
2. [L,U,P]=lu(A):
   1. 对矩阵 $\mathbf{A}$ 进行 $LUP$ 分解,其中 $\mathbf{L}$ 为单位下三角矩阵， $\mathbf{U}$ 为上三角矩阵， $\mathbf{P}$ 为置换矩阵，满足 $\mathbf{LU}=\mathbf{PA}$ 。
3. Y=lu(A):
   1. 其中 $\mathbf{A}$ 为任意方阵，把上三角矩阵和下三角矩阵合并在矩阵 $\mathbf{Y}$ 中给出，满足 $\mathbf{Y}=\mathbf{L}+\mathbf{U}-\mathbf{I}$ ，该调用格式将损失置换矩阵 $\mathbf{P}$ 的信息。
4. [L,U,P,Q]=lu(A):
   1. 其中 $\mathbf{L}$ 为单位下三角矩阵， $\mathbf{U}$ 为上三角矩阵， $\mathbf{P}$ 与 $\mathbf{Q}$ 为为置换矩阵，满足 $\mathbf{PAQ}=\mathbf{LU}$
5. [L,U,P,Q,R]=lu(A):
   1. 其中 $\mathbf{L}$ 为单位下三角矩阵， $\mathbf{U}$ 为上三角矩阵， $\mathbf{P}$ 与 $\mathbf{Q}$ 为为置换矩阵， $\mathbf{R}$ 为对角矩阵，满足 $\mathbf{P}(\mathbf{R}\backslash \mathbf{A})\mathbf{Q}=\mathbf{LU}$ 。

---

利用lu函数对矩阵进行LU分解：

clear all;
A=[1,2,3;4,5,6;7,8,0]
[L1,U]=lu(A)		%LU分解
[L2,U,P]=lu(A)	%LUP分解

LU分解求解线性方程组

利用LU求解线性方程组就没有QR求解的要求高了，其不需要系数矩阵是对称正定的。

---

$$\{\begin{array}{l}5.8x_1-x_2-x_3+4.6x_4=21.3\\ 7x_1-8x_2+x_3-30.3x_4=-15.7\\ 9.5x_1+2x_2+5x_3-x_4=16.6\\ 6x_1-x_2+12.9x_3+10x_4=7.9\end{array}$$

利用LU分解求解上述线性方程组：

%矩阵分解-LU分解
clear all
A=[5.8,-1,-1,4.6;7,-8,1,-30.3;9.5,2,5,-1;6,-1,12.9,10]
b=[21.3,-15.7,16.6,7.9]'
det(A)  %先看一下A是不是可逆的
x=A\b		%左除法求解
[L,U]=lu(A) %LU分解求解
y1=L\b
x1=U\y1		%用LU分解求线性方程组的解

[L,U,P]=lu(A)	%lu分解
y2=L\b
x2=U\y2

[!NOTE]

此处的运算得到的是Px

QR分解

​ QR分解在解决最小二乘问题，特征值计算等方面有十分重要的应用。设 $\mathbf{A}$ 为 $M\times N$ 矩阵，如果存在 $M\times N$ 酉矩阵 $\mathbf{Q}$（即 ${\mathbf{Q}}^{\mathrm{T}}\mathbf{Q}=\mathbf{Q}{\mathbf{Q}}^{\mathrm{T}}=\mathbf{I}$ ）和 $M\times N$ 阶梯形矩阵 $\mathbf{R}$ ，使得 $\mathbf{A}=\mathbf{QR}$ ，则称此分解为 $\mathbf{A}$ 的 QR分解。

[!NOTE]

将任意矩阵$M\times N$的$\mathbf{A}$,分解成$M\times N$的酉矩阵$\mathbf{Q}$和$M\times N$的阶梯形矩阵$\mathbf{R}$

在 MATLAB 中提供了qr函数实现 QR分解，其调用格式如下。

1. [Q, R]=qr(A) ：
   1. 求得正交矩阵 $\mathbf{Q}$ 和上三角矩阵 $\mathbf{R},\mathbf{Q}$ 和 $\mathbf{R}$ 满足 $\mathbf{A}=\mathbf{QR}$ 。
2. [Q,R]=qr(A,0):
   1. 产生矩阵 $\mathbf{A}$ 的＂经济大小＂分解。
3. [Q,R,E]=qr(A):
   1. 求得正交矩阵 $\mathbf{Q}$ ，上三角矩阵 $\mathbf{R}$ 和单位矩阵的变换形式矩阵 $\mathbf{E},\mathbf{R}$ 的对角线元素按大小降序排列，满足 $\mathbf{AE}=\mathbf{QR}$ 。
4. [Q,R,E]=qr(A,0):
   1. $\mathbf{E}$的使用使得 $\mathbf{R}$ 的对角线元素降序，且 $\mathbf{QR}=\mathbf{A}(:,\mathbf{E})$ 。
5. R=qr(A)
   1. 稀疏矩阵 $\mathbf{A}$ 的分解，只产生一个上三角矩阵 $\mathbf{R}$ ，满足 ${\mathbf{R}}^{\mathrm{T}}\mathbf{R}={\mathbf{A}}^{\mathrm{T}}\mathbf{A}$ ，这种方法计算 ${\mathbf{A}}^{\mathrm{T}}\mathbf{A}$ 时减少了内在数字信息的损耗。
6. [C,R]=qr(A,B,0):
   1. $[\mathrm{C},\mathrm{R}]=\mathrm{qr}(\mathrm{A},\mathrm{B},0):$ 针对稀疏矩阵最小二乘问题的经济型分解。
7. [Q,R]=qrdelete(Q,R,j):
   1. 返回将矩阵 $\mathbf{A}$ 的第 j 列移去后的新矩阵的 $QR$ 分解。
8. [Q,R]=qrinsert(Q,R,j,x);
   1. 在矩阵 $A$ 中第 $j$ 列插入向量 $x$ 后的新矩阵进行 $QR$ 分解。
   2. 如果 $j$大于 $\mathbf{A}$ 的列数，表示在 $\mathbf{A}$ 的最后插入列 $\mathbf{x}$ 。

---

对矩阵 $\mathbf{A}=\left(\begin{array}{lll}1& 2& 3\\ 4& 5& 6\\ 1& 0& 1\\ 0& 1& 1\end{array}\right)$ 进行 QR分解:

%QR分解
A=[1,2,3;4,5,6;1,0,1;0,1,1]
[Q,R]=qr(A)

对上例中的矩阵$\mathbf{A}$,去掉其第2行以及插入第2行，求新矩阵的QR分解：

clear all
A=[1,2,3;4,5,6;1,0,1;0,1,1]
[Q,R]=qr(A)		%qr分解
[Q1,R1]=qrdelete(Q,R,2,'row') %去掉A的第2行后的新矩阵进行QR分解
Q1*R1			%验证去掉第2行的矩阵

clear all
A=[1,2,3;4,5,6;1,0,1;0,1,1]
[Q,R]=qr(A)		%qr分解
[Q2,R2]=qrinsert(Q,R,2,1:3,'row') %插入第2行后(1,2,3)的新矩阵进行QR分解
Q2*R2			%验证插入第2行的矩阵

SVD分解

​ 设 $\mathbf{A}$ 是 $\mathrm{M}\times \mathrm{N}$ 矩阵， ${\mathbf{A}}^{\mathrm{H}}\mathbf{A}$ 的特征值为 ${\lambda }_1⩾{\lambda }_2⩾\cdots ⩾{\lambda }_{\mathrm{r}}⩾{\lambda }_{\mathrm{r}+1}=\cdots ={\lambda }_{\mathrm{n}}=0$ ，则称：
$${\sigma }_i=\sqrt{{\lambda }_i}(i=1,2,\cdots ,r)$$
为矩阵 $\mathbf{A}$ 的奇异值，$r$ 为 $\mathbf{A}$ 的秩。

存在 $M$ 阶酉矩阵 $\mathbf{U}$ 和 $N$ 阶酉矩阵$\mathbf{V}$,使得：
$$\mathbf{A}=\mathbf{U}\left(\begin{array}{cc}\sum & 0_{\mathrm{r}\times (\mathrm{N}-\mathrm{r})}\\ 0_{(M-r)\times r}& 0_{(M-r)\times (\mathrm{N}-\mathrm{r})}\end{array}\right)\mathbf{V}$$
其中 $\Sigma =\left(\begin{array}{cccc}{\sigma }_1& & & \\ & {\sigma }_2& & \\ & & \ddots & \\ & & & {\sigma }_r\end{array}\right)$ ，上式称 $\mathbf{A}$ 的 SVD分解(奇异值分解)。

---

在 MATLAB 中提供了svd函数实现奇异值分解，其调用格式如下：

1. s=svd(X):
   1. 返回向量 $\mathbf{s}$ 包含矩阵 $\mathbf{X}$ 分解所得到的全部奇异值向量。
2. [U,S,V]=svd(X):
   1. 返回一个与 $\mathbf{X}$ 同大小的对角矩阵 $\mathbf{S}$ 和两个酉矩阵 $\mathbf{U}$ 与 $\mathbf{V}$ ，且满足 $\mathbf{X}=$ $\mathbf{US}{\mathbf{V}}^{\prime }$ 。
3. [U,S,V]=svd(X,0):
   1. 得到一个经济大小的分解。
   2. 如果 $\mathrm{m}>\mathrm{n}$ 维矩阵 $\mathbf{X}$ 中， $\mathrm{m}>\mathrm{n}$ 只能计算出矩阵 $\mathbf{U}$ 的前 $n$ 列，矩阵 $\mathbf{S}$ 的大小为 $n\times n$ 。
4. [U,S,V]=svd(X,‘econ’):
   1. 参数 econ 也采用经济分解的方式。
   2. 当 $\mathrm{m}>\mathrm{n}$ 时，与 $\mathrm{svd}(\mathrm{X},0)$相同；
   3. 当 $\mathrm{m}<\mathrm{n}$ 时，函数仅计算 V 的前 m 列， S 为 m 阶方阵。

---

求矩阵 $\mathbf{A}=\left(\begin{array}{ll}1& 2\\ 3& 4\\ 5& 6\\ 7& 8\end{array}\right)$ 的奇异值和 SVD分解：

%矩阵的SVD分解
clear all
A=[1,2;3,4;4,6;7,8]
s=svd(A)	%求A的奇异值
[U,S,V]=svd(A)		%求A的奇异值分解
[U,S,V]=svd(A,0)	%对A进行经济型奇异分解

Schur分解

对任意方阵 $\mathbf{A}$ ，其 $\mathbf{Schur}$分解为：
$$\mathbf{A}={\mathbf{USU}}^{\mathrm{H}}$$
其中 $\mathbf{U}$ 为标准正交矩阵（即 ${\mathbf{UU}}^{\mathrm{H}}=\mathbf{I}$ ）， $\mathbf{S}$ 为上三角矩阵， $\mathbf{S}$ 对角线上的元素为 $\mathbf{A}$ 的特征值。

在 MATLAB 中提供了schur函数实现 Schur 分解，其调用格式如下：

1. T=schur(A):
   1. 返回 $\mathrm{Schur}$ 矩阵 $\mathbf{T}$ ，如果 $\mathbf{A}$ 有复特征值，则相应的对角元以 $2\times 2$ 的块矩阵形式给出。
2. T=schur(A,flag):
   1. 如果 $\mathbf{A}$ 有复特征值，则 flag＝complex；否则 flag＝real。
3. [U,T]=schur(A,…):
   1. 返回酉矩阵 $\mathbf{U}$ 和 Schur矩阵 $\mathbf{T}$

---

求矩阵 $\mathbf{A}=\left(\begin{array}{lll}1& 2& 3\\ 2& 3& 1\\ 1& 3& 0\end{array}\right)$ 的 Schur分解及其 Schur复分解。

clear all
A=[1,2,3;2,3,1;1,3,0]
[U,T]=schur(A)		%矩阵A的schur分解
[CU,CT]=schur(A,'complex')		%矩阵A的schur复分解

Hessenberg分解

​ 如果矩阵 $\mathbf{H}$ 的第一子对角线下元素都是 0 ，则 $\mathbf{H}$(或其转置形式)称为上(下) Hessenberg 矩阵。这种矩阵在零元素所占比例及分布上都接近三角矩阵，虽然其在特征值等性质方面不如三角矩阵那样简单，但在实际应用中，应用相似变换将一个矩阵化为 Hessenberg矩阵是可行的，而化为三角矩阵不易实现；而且通过化为 Hessenberg 矩阵来处理矩阵计算问题能够大大节省计算量，因此在工程计算中，Hessenberg分解也是常用的工具之一。

在MATLAB中提供了hess函数实现了Hessenberg分解：

1. H=hess(A):
   1. 返回矩阵 $\mathbf{A}$ 上的 Hessenberg 形式。
2. [P,H]=hess(A):
   1. 返回一个上Hessenberg矩阵 $\mathbf{H}$ 及一个酉矩阵 $\mathbf{P}$ ，满足 $\mathbf{A}=\mathbf{PHP}$ 且 ${\mathbf{P}}^{\ast }\mathbf{P}=\mathbf{I}$ 。
3. [AA,BB,Q,Z]=hess(A,B):
   1. 对于方阵 $\mathbf{A},\mathbf{B}$ ，返回上Hessenberg矩阵 $\mathbf{AA}$ ，上三角矩阵$\mathbf{BB}$ 及酉矩阵 $\mathbf{Q},\mathbf{Z}$
   2. 满足 $\mathbf{QAZ}=\mathbf{AA}$ 且 $\mathbf{QBZ}=\mathbf{BB}$ 。

---

将矩阵 $\mathbf{A}=\left(\begin{array}{ccc}-149& -50& -154\\ 537& 180& 546\\ -27& -9& -25\end{array}\right)$ 化为 Hessenberg形式并求出变换矩阵 $\mathbf{P}$ 。

clear all;
A=[-149,-50,-154;537,180,546;-27,-9,-25]
[P,H]=hess(A)