SVD的理论推导
通
过
S
V
D
分
解
计
算
矩
阵
A
=
[
3
2
2
2
3
−
2
]
的
伪
逆
通过SVD分解计算矩阵A=\begin{bmatrix}3&2&2\\2&3&-2\end{bmatrix}的伪逆
通过SVD分解计算矩阵A=[32232−2]的伪逆
(
1
)
计
算
A
T
A
的
特
征
值
λ
1
,
λ
2
,
λ
3
(
λ
1
≥
λ
2
≥
λ
3
)
和
对
应
的
特
征
向
量
v
1
,
v
2
,
v
3
。
要
求
使
得
∣
∣
v
i
∣
∣
=
1
且
第
一
个
坐
标
非
负
,
i
=
1
,
2
,
3
(1) 计算 A^TA 的特征值 λ_1,λ_2,λ_3(λ_1 ≥ λ_2 ≥ λ_3) 和对应的特征向量v_1,v_2,v_3。\tiny要求使得 ||v_i|| = 1 且第一个坐标非负,i = 1,2,3
(1)计算ATA的特征值λ1,λ2,λ3(λ1≥λ2≥λ3)和对应的特征向量v1,v2,v3。要求使得∣∣vi∣∣=1且第一个坐标非负,i=1,2,3
A
T
A
=
[
13
12
2
12
13
−
2
2
−
2
8
]
由
d
e
t
(
λ
I
−
A
T
A
)
=
0
求
得
λ
1
=
25
,
λ
2
=
9
,
λ
3
=
0
由
方
程
组
(
λ
i
I
−
A
T
A
)
x
=
0
解
得
特
征
向
量
为
v
1
=
[
2
2
2
2
0
]
,
v
2
=
[
1
18
−
1
18
4
18
]
,
v
3
=
[
2
3
−
2
3
−
1
3
]
A^TA =\begin{bmatrix}13&12&2\\12&13&-2\\2&-2&8\end{bmatrix}\\ 由det(\lambda I-A^TA)=0求得λ_1 =25, λ_2=9 , λ_3=0\\ 由方程组(\lambda_iI-A^TA)x =0解得特征向量为\\ v_1=\begin{bmatrix}\frac{\sqrt 2}{2}\\\frac{\sqrt 2}{2}\\0\end{bmatrix}, v_2=\begin{bmatrix}\frac{1}{\sqrt {18}}\\\frac{-1}{\sqrt {18}}\\\frac{4}{\sqrt {18}}\end{bmatrix}, v_3=\begin{bmatrix}\frac{2}{3}\\\frac{-2}{3}\\\frac{-1}{3}\end{bmatrix}
ATA=⎣⎡131221213−22−28⎦⎤由det(λI−ATA)=0求得λ1=25,λ2=9,λ3=0由方程组(λiI−ATA)x=0解得特征向量为v1=⎣⎢⎡22220⎦⎥⎤,v2=⎣⎢⎡18118−1184⎦⎥⎤,v3=⎣⎡323−23−1⎦⎤
(
2
)
计
算
A
v
1
,
A
v
2
,
A
v
3
(2) 计算 Av_1,Av_2,Av_3
(2)计算Av1,Av2,Av3
A
v
1
=
[
5
2
2
5
2
2
]
,
A
v
2
=
[
9
18
−
9
18
]
,
A
v
3
=
[
0
0
]
Av_1=\begin{bmatrix}\frac{5\sqrt{2}}{2}\\ \frac{5\sqrt{2}}{2} \end{bmatrix},Av_2=\begin{bmatrix}\frac{9}{\sqrt{18}}\\ \frac{-9}{\sqrt{18}} \end{bmatrix},Av_3=\begin{bmatrix}0\\ 0 \end{bmatrix}
Av1=[252252],Av2=[18918−9],Av3=[00]
(
3
)
由
此
给
出
A
的
S
V
D
分
解
(3) 由此给出 A 的 SVD 分解
(3)由此给出A的SVD分解
A
=
U
Σ
V
T
(
U
m
,
m
(
正
交
阵
)
,
Σ
m
,
n
,
V
n
,
n
(
正
交
阵
)
)
(
A
T
A
)
v
i
=
λ
v
i
,
σ
i
=
λ
i
,
u
i
=
1
σ
i
A
v
i
A=U\Sigma V^T(U_{m,m(正交阵)},{\Sigma}_{m,n},V_{n,n(正交阵)}) \\ \color{blue}(A^TA)v_i=\lambda v_i , \ \ \sigma_i =\sqrt {\lambda_i}\ \ ,u_i=\frac{1}{\sigma_i}Av_i
A=UΣVT(Um,m(正交阵),Σm,n,Vn,n(正交阵))(ATA)vi=λvi, σi=λi ,ui=σi1Avi
A
=
[
2
2
2
2
2
2
−
2
2
]
[
5
0
0
0
3
0
]
[
2
2
2
2
0
1
18
−
1
18
4
18
2
3
−
2
3
−
1
3
]
A=\begin{bmatrix} \frac{\sqrt 2}{2}& \frac{\sqrt 2}{2}\\ \frac{\sqrt 2}{2}&- \frac{\sqrt 2}{2}\end{bmatrix} \begin{bmatrix}5&0&0\\0&3&0\end{bmatrix} \begin{bmatrix} \frac{\sqrt 2}{2}& \frac{\sqrt 2}{2} & 0 \\\frac{1}{\sqrt {18}} & \frac{-1}{\sqrt {18}} &\frac{4}{\sqrt {18}} \\\frac{2}{3} &\frac{-2}{3} &\frac{-1}{3} \end{bmatrix}
A=[222222−22][500300]⎣⎡22181322218−13−201843−1⎦⎤
(
4
)
给
出
A
的
伪
逆
A
†
(4) 给出 A 的伪逆 A†
(4)给出A的伪逆A†
A
†
=
V
(
Σ
−
1
T
)
U
T
=
[
2
2
1
18
2
3
2
2
−
1
18
−
2
3
0
4
18
−
1
3
]
[
1
5
0
0
1
3
0
0
]
[
2
2
2
2
2
2
−
2
2
]
A†=V({\Sigma^{-1}}^T) U^T\\ =\begin{bmatrix}\frac{\sqrt 2}{2}& \frac{1}{\sqrt {18}} &\frac{2}{3} \\\frac{\sqrt 2}{2} & \frac{-1}{\sqrt {18}} &\frac{-2}{3} \\0 & \frac{4}{\sqrt {18}} &\frac{-1}{3} \end{bmatrix} \begin{bmatrix}\frac15&0\\0&\frac13\\ 0&0\end{bmatrix} \begin{bmatrix} \frac{\sqrt 2}{2}& \frac{\sqrt 2}{2}\\ \frac{\sqrt 2}{2}&- \frac{\sqrt 2}{2}\end{bmatrix}
A†=V(Σ−1T)UT=⎣⎢⎡2222018118−1184323−23−1⎦⎥⎤⎣⎡51000310⎦⎤[222222−22]