矩阵分解与高级线性代数-优快云博客

一，奇异值分解（SVD）

1，奇异值分解

2，性质

一，奇异值分解（SVD）

1，奇异值分解

每个实对称矩阵A都可以进行特征值分解： $A=Q\Lambda Q^T$ 其中Q是正交矩阵， $\Lambda$ 是对角矩阵。

据此可推出奇异值分解：

每个矩阵都可以表示成 $A=UDV^T$

其中A是m*n的矩阵，U是m*m的正交矩阵，D是m*n的对角矩阵，V是n*n的正交矩阵。

U的列向量叫A的左奇异向量，V的列向量叫A的右奇异向量，D的对角线上元素叫做A的奇异值。

2，性质

（1）如果一个方阵可以进行特征值分解，那么它的特征值分解和奇异值分解是相同的。

（2）非零奇异值的个数就是矩阵的秩。

（3）矩阵的特征值有可能是是复数(即使是实数矩阵，其特征值也有可能是复数)，但是矩阵的奇异值一定是非负实数(即使矩阵是复数矩阵，其奇异值也一定是非负实数)。

3，二维SVD

二，伪逆矩阵

1，伪逆矩阵

任意非0矩阵的伪逆矩阵：

用特征值分解可以得到它的等价定义：

$A=UDV^T, A^+=VD^+U^T$

其中对角矩阵 D 的伪逆矩阵是D的所有非零元素各自取倒数之后再转置得到的。

如果一个方阵有逆矩阵，那么它的逆矩阵和伪逆矩阵是相同的。

2，python求解

A = [[1,2,3]]
u,d,vt = linalg.svd(A)
print(u)
print(d)
print(vt)

输出;

[[-1.]]
[3.74165739]
[[-0.26726124 -0.53452248 -0.80178373]
[-0.53452248 0.77454192 -0.33818712]
[-0.80178373 -0.33818712 0.49271932]]

即 $\left ( 1\, 2 \, 3 \right )=\left ( -1 \right )\left ( 3.741\: 0\: 0 \right )\begin{pmatrix} -0.267\: -0.534\: -0.801\\ -0.534\: 0.774\: -0.338\\ -0.801\: -0.3382\: 0.492 \end{pmatrix}$

3，伪逆矩阵的性质

对于m行n列的矩阵A，如果n>=m，则 $A^+A=E$

4，伪逆矩阵的应用——求方程组的解

如果方程组的秩小于变量个数，那么就有无穷多解，

用Ax=b表示方程组，用伪逆矩阵可以求出一个解 $x=A^+y$

而且，这个解是所有解中，欧几里得范数最小的解。

三，向量微分

标量的微分还是标量，列向量的微分还是列向量。

1，标量对向量的微分

假设有一个n维向量x，和一个n元函数y=f(x)，y是标量

假设x是列向量，则

$\frac{dy}{dx}=(\frac{\partial y}{\partial x_1},\frac{\partial y}{\partial x_2}...\frac{\partial y}{\partial x_n})$

即 $dy=(\frac{\partial y}{\partial x_1},\frac{\partial y}{\partial x_2}...\frac{\partial y}{\partial x_n})dx$ ，行向量乘以列向量等于标量。

2，向量对向量的微分

假设有一个n维向量x，和n维向量y，其中y的每个元素都是关于x的n个元素的n元函数，

不妨设x和y都是列向量，则：

$\frac{dy}{dx}=\begin{pmatrix} \frac{dy_1}{dx}\\ ...\\ \frac{dy_n}{dx} \end{pmatrix}=\begin{pmatrix} \frac{\partial y_1}{\partial x_1}...\frac{\partial y_1}{\partial x_n}\\ ...\\ \frac{\partial y_n}{\partial x_1} ...\frac{\partial y_n}{\partial x_n}\end{pmatrix}$

即 $dy=\begin{pmatrix} \frac{\partial y_1}{\partial x_1}...\frac{\partial y_1}{\partial x_n}\\ ...\\ \frac{\partial y_n}{\partial x_1} ...\frac{\partial y_n}{\partial x_n}\end{pmatrix}dx$ ，方阵乘以列向量等于列向量