学习笔记DL007:Moore-Penrose伪逆，迹运算，行列式，主成分分析PCA

最新推荐文章于 2023-01-31 09:07:05 发布

利炳根

最新推荐文章于 2023-01-31 09:07:05 发布

阅读量983

点赞数

分类专栏：深度学习文章标签：深度学习机器学习线性代数

本文链接：https://blog.youkuaiyun.com/weixin_38776853/article/details/78609994

版权

本文介绍了Moore-Penrose伪逆在解决非方程组问题中的应用，以及主成分分析PCA的基本原理。通过线性代数中的迹运算和行列式概念，阐述PCA如何通过最小化误差实现数据的低维表示。同时讨论了PCA的优化目标和求解方法，强调最大特征值对应特征向量的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Moore-Penrose伪逆(pseudoinverse)。

非方矩阵，逆矩阵没有定义。矩阵A的左逆B求解线性方程Ax=y。两边左乘左逆B，x=By。可能无法设计唯一映射将A映射到B。矩阵A行数大于列数，方程无解。矩阵A行数小于列数，矩阵有多个解。

矩阵A的伪逆A + =lim a->0 (A T A+aI) -1 A T。计算伪逆公式，A + =VD + U T。矩阵U、D、V是矩阵A奇异值分解得到矩阵。对角矩阵D伪逆D + 是非零元素取倒数后再转置。矩阵A列数多于行数，伪逆求解线性方程是可能解法。x=A + y是方程所有可行解中欧几里得范数||x|| 2 最小。矩阵A行数多于列数，没有解。伪逆得到x使得Ax和y的欧几里得距离||Ax-y|| 2 最小。

迹运算。

返回矩阵对角元素和，Tr(A)=Sum i A i,i 。通过矩阵乘法和迹运算符号清楚表示矩阵运算。描述矩阵Frobenius范数,||A|| F =SQRT(Tr(AA T ))。迹运算在转置运算下不变，Tr(A)=Tr(A T )。多个矩阵相乘方阵迹，矩阵最后一个挪到最前面相乘迹相同。需考虑挪动后矩阵乘积定义良好，Tr(ABC)=Tr(CAB)=Tr(BCA)，Tr(PRODUCT(n,i=1,F (i) ))=Tr(F (n) PRODUCT(n-1,i=1,F (i) ))。循环置换后矩阵乘积矩阵形状变了，迹运算结果依然不变。矩阵A ELEMENT(R m*n )，矩阵B ELEMENT(R n*m )，得到 Tr(AB)=Tr(BA)。AB ELEMENT(R m*m )，BA ELEMENT(R n*n )。标量在迹运算后仍是自己，a=Tr(a)。

行列式。

det(A)，