线性代数（数值分析）

目录

一，奇异值分解（SVD）

1，奇异值分解

2，性质

3，二维SVD

二，伪逆矩阵

1，伪逆矩阵

2，python求解

3，伪逆矩阵的性质

4，伪逆矩阵的应用——求方程组的解

三，向量微分

1，标量对向量的微分

2，向量对向量的微分

3，向量微分的计算方法

四，矩阵的范数、条件数

1，矩阵的范数

2，条件数

3，线性方程的稳定性

五，Cholesky分解

1，Cholesky分解

2，LDLT分解

六，近似正定对称矩阵

1，正定试探算法

2，修正LDLT分解

七，格拉姆-施密特正交化

1，格拉姆-施密特过程

2，格拉姆-施密特QR分解

---

一，奇异值分解（SVD）

1，奇异值分解

每个实对称矩阵A都可以进行特征值分解：  其中Q是正交矩阵，是对角矩阵。

据此可推出奇异值分解：

每个矩阵都可以表示成 

其中A是m*n的矩阵，U是m*m的正交矩阵，D是m*n的对角矩阵，V是n*n的正交矩阵。

U的列向量叫A的左奇异向量，V的列向量叫A的右奇异向量，D的对角线上元素叫做A的奇异值。

2，性质

（1）如果一个方阵可以进行特征值分解，那么它的特征值分解和奇异值分解是相同的。

（2）非零奇异值的个数就是矩阵的秩。

（3）矩阵的特征值有可能是是复数(即使是实数矩阵，其特征值也有可能是复数)，但是矩阵的奇异值一定是非负实数(即使矩阵是复数矩阵，其奇异值也一定是非负实数)。

3，二维SVD

二，伪逆矩阵

1，伪逆矩阵

任意非0矩阵的伪逆矩阵：

 用特征值分解可以得到它的等价定义：

其中对角矩阵 D 的伪逆矩阵是D的所有非零元素各自取倒数之后再转置得到的。

如果一个方阵有逆矩阵，那么它的逆矩阵和伪逆矩阵是相同的。

2，python求解

A = [[1,2,3]]
u,d,vt = linalg.svd(A)
print(u)
print(d)
print(vt)

输出;

[[-1.]]
[3.74165739]
[[-0.26726124 -0.53452248 -0.80178373]
 [-0.53452248  0.77454192 -0.33818712]
 [-0.80178373 -0.33818712  0.49271932]]

即

3，伪逆矩阵的性质

对于m行n列的矩阵A，如果n>=m，则

4，伪逆矩阵的应用——求方程组的解

如果方程组的秩小于变量个数，那么就有无穷多解，

用Ax=b表示方