这篇笔记探讨了Singular Value Decomposition (SVD)如何与最小二乘法关联。当方程个数大于未知数时，最小二乘法寻求使残差平方和最小的解。通过A=UDVT的SVD分解，最小二乘问题转化为求解Dy最接近z的问题，其中D是对角矩阵，y和z由V和UT变换得到。在矩阵列满秩的情况下，最小二乘解为x=Vy。对于Ax=0的情况，最小化的是∥DVTx∥，优化问题转换为找到D的最小奇异值对应的y，此时x为VT的最后一维。
这边笔记主要记录SVD与最小二乘的一些关系，之前关于最小二乘法的一些了解主要就是服从高斯分布的模型下，最大似然求取相关参数与最小二乘的等价性。
对于矩阵m * n。当M > N时，方程个数大于未知数个数时，对于方程 A x = b Ax=b Ax=b,只 b b b位于A的列空间上时，x才存在与解析解，不然我们只能去求解x，使得
∥ A x − b ∥ \|Ax-b \| ∥Ax−b∥
最小，即我们只能取得一组最小二乘解。现在，我们使用SVD分解去寻找这组解，
对于任意矩阵有 A = U D V T A=UDV^T A=UDVT，向量模长经过正交变换后 ∥ a ∥ = ∥ P a ∥ \|a\|=\|Pa\| ∥a∥=∥Pa∥
多写一步免得到时候一下抽风了
∥ P a ∥ = ( P a ) T P a = a T a = ∥ a ∥ \|Pa\|=(Pa)^TPa=a^Ta=\|a\| ∥Pa∥=(Pa)TPa=aTa=∥a∥
这样，综合就会有
∥ U D V T x − b ∥ = ∥ D V T x − U T b ∥ \|UDV^Tx-b\|=\|DV^Tx-U^Tb\| ∥UDVTx−b∥=∥DVTx−UTb∥
令 y = V T x y=V^Tx y=V
最低0.47元/天 解锁文章
扫一扫
06-21
546
546
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
