机器学习笔记 - Moore-Penrose 伪逆

最新推荐文章于 2024-02-04 21:48:45 发布
最新推荐文章于 2024-02-04 21:48:45 发布
阅读量975 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 机器学习 笔记 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/PlHtml/article/details/133024470
本文介绍了Moore-Penrose伪逆在机器学习中解决线性回归问题的作用，特别是在数据集有冗余或线性相关性时。通过奇异值分解，我们可以计算矩阵的伪逆，并用Python的NumPy库进行演示。这个方法广泛应用于各种机器学习任务。

在机器学习中，伪逆（Pseudoinverse）是一种用于求解线性回归问题的数学工具。当数据集存在冗余或线性相关性时，矩阵可能不可逆，而伪逆则提供了一种逼近解的方法。本文将介绍Moore-Penrose伪逆，它是一种常用的伪逆求解方法。

Moore-Penrose伪逆是由E. H. Moore和A. Penrose于1920年和1955年分别独立提出的。它是一种通过将矩阵分解为奇异值分解（Singular Value Decomposition, SVD）的形式来求解矩阵的伪逆的方法。奇异值分解将矩阵分解为三个矩阵的乘积：A = UΣVT，其中U和V是正交矩阵，Σ是对角矩阵。Moore-Penrose伪逆可以通过奇异值分解来表示为A+ = VΣ+UT，其中Σ^+是Σ的伪逆。

下面我们将使用Python来演示如何使用Moore-Penrose伪逆进行线性回归。

首先，我们需要导入必要的库，如NumPy：

import numpy as np

接下来，我们定义一个包含输入特征的矩阵X和相应的目标变量的向量y。这里我们使用一个简单的示例来说明：

X = np.array
了解本专栏 订阅专栏 解锁全文
学习笔记DL007:Moore-Penrose伪逆，迹运算，行列式，主成分分析PCA
利炳根
11-23 1011
Moore-Penrose伪逆(pseudoinverse)。非方矩阵，逆矩阵没有定义。矩阵A的左逆B求解线性方程Ax=y。两边左乘左逆B，x=By。可能无法设计唯一映射将A映射到B。矩阵A行数大于列数，方程无解。矩阵A行数小于列数，矩阵有多个解。矩阵A的伪逆A + =lim a->0 (A T A+aI) -1 A T。计算伪逆公式，A + =VD + U T。矩阵U、D、V是矩阵A奇异值分解得到
MATLAB实用教程系列——数值运算完全自学：摩尔-彭罗斯伪逆（pinv）
最新发布
985工科博士毕业，专攻定位、导航和滤波等算法研究。从业10年，主要使用MATLAB
09-23 957
摩尔-彭罗斯伪逆是一种矩阵，可在不存在逆矩阵的情况下作为逆矩阵的部分替代。此矩阵常被用于求解没有唯一解或有许多解的线性方程组。对于任何矩阵 A 来说，伪逆 B 都存在，是唯一的，并且具有与 A’ 相同的维度。如果 A 是方阵且非奇异，则 pinv(A) 只是一种成本比较高的计算 inv(A) 的方式。但是，如果 A 不是方阵，或者是方阵且奇异，则 inv(A) 不存在。在这些情况下，pinv(A) 拥有 inv(A) 的部分（但非全部）属性：pinv 通过奇异值分解来形成 A 的伪逆。
【线性代数】Moore-Penrose 伪逆
北境の守望者
08-02 4150
提到矩阵的逆，其背景是我们要求解线性方程 Ax=yAx=y\bf Ax = y, 如果 矩阵AA\bf A有逆矩阵的话，那么 x=A−1yx=A−1y\bf x = A^{-1}y, 解起来，轻松加愉快。但问题是，想要 A−1A−1A^{-1}存在且能求出来，这个条件太苛刻了。 如果 AAA 的行数大于列数，那么方程可能没有解 如果 AAA 的行数小于列数，那么方程可能有无数多个...
Moore-Penrose伪逆（Moore-Penrose广义逆）
狂想者
05-14 1万+
Moore-Penrose伪逆（Moore-Penrose广义逆）
Moore-Penrose 伪逆与 Hadamard 乘积
m0_60388871的博客
02-04 816
Moore-Penrose 伪逆是一种矩阵的广义逆，通常用于处理矩阵不可逆或奇异的情况。给定一个矩阵A，其Moore-Penrose 伪逆通常表示为A⁺。
Moore-Penrose伪逆
David's Notes
12-14 3141
Moore-Penrose伪逆1. 作用 对于方程Ax = y, 如果A可逆，我们可以求得 x = A^-1 y；当矩阵A的行数大于列数，那么方程可能没有解。当行数小于列数时，存在多个解。 此时，使用Moore-Penrose 伪逆(Moore-Penrose pseudoinverse)用来解决这类问题，来求得一个x，使得Ax和y的欧几里得距离最小。 2. 求法 矩阵A的伪逆定义
Moore-Penrose 伪逆
weixin_30647065的博客
11-22 771
1.Moore-Penrose 伪逆（Moore-Penrose pseudoinverse）　　 　　矩阵 A 的伪逆定义为：　　 　　A + = lima↘0 (A⊤ A + αI) −1 A ⊤ . 　　计算伪逆的实际算法没有基于这个定义，而是使用下面的公式：　　　　A + = VD + U ⊤ 　　其中，矩阵 U，D 和 V 是矩阵 A奇异值分解后得到的矩阵。对角矩阵 D 的伪逆D...
花书读书笔记（一）-线性代数（奇异值分解、伪逆、PCA）
scu-liu的博客
01-15 1205
全部笔记的汇总贴：《深度学习》花书-读书笔记汇总贴 一、标量、向量、矩阵和张量 二、矩阵和向量相乘 三、单位矩阵和逆矩阵 四、线性相关和生成子空间 五、范数 六、特殊类型的矩阵和向量 七、特征分解 以上相关概念就直接看课本了。 八、奇异值分解 奇异值分解是将矩阵AAA分解成三个矩阵的乘积： A=UDVTA=UDV^TA=UDVT 假设AAA是一个m∗nm*nm∗n的矩阵，那么UUU是一个m∗mm*mm∗m的矩阵，DDD是一个m∗nm*nm∗n的矩阵，VVV是一个n∗nn*nn∗n的矩阵。 矩阵UUU和VVV
2020-1-29 深度学习笔记5 - 机器学习基础（构建机器学习算法）
weixin_42555985的博客
02-28 1162
第5章 机器学习基础 https://exacity.github.io/deeplearningbook-chinese/Chapter5_machine_learning_basics/ 学习算法 机器学习算法是一种能够从数据中学习的算法。 所谓学习是指，对于某类任务T和性能度量P，一个计算机程序被认为可以从经验E中学习是指，通过经验E改进后，它在任务T上由性能度量P衡量的性能有所提升。 【任...
Moore-Penrose Pseudo-Inverse Rank-1 更新：Moore-Penrose 伪逆的 rank-1 更新-matlab开发
05-29
实值矩阵的 Moore-Penrose 伪逆的 1 级更新函数
Moore-Penrose 广义逆/伪逆 （The Moore-Penrose Pseudoinverse）
hoz_521的博客
10-25 2998
矩阵求逆运算一般是对于方阵而言，矩阵求逆没有对非方阵定义。非方阵求逆会给我们带来很多便捷，假设我们得到矩阵A的左逆矩阵B，对于线性方程组Ax=y，我们可以这样求得：x=By；根据问题的结构，有可能无法设计一个从A到B的单一映射。 如果矩阵A更高（行数m大于列数n，即未知数的约束方程可能大于未知数的数目），那么这个方程就有可能没有解。如果矩阵A更宽（行数m小于列数n，即未知数的约束方程一定大于未知数的数目），那么就有多种解 。在这些情况下，Moore-Penrose伪逆允许我...
Moore–Penrose pseudoinverse
热门推荐
zealfory
08-24 2万+
摩尔－彭若斯广义逆 在数学，特别是在线性代数中，一个矩阵的伪逆是广义的逆矩阵。其中最著名的伪逆要属摩尔－彭若斯广义逆 A+（Moore–Penrose pseudoinverse）。早在1903年，埃里克伊姆（Erik Ivar Fredholm）就引入了积分算子的伪逆的概念。之后摩尔－彭若斯广义逆先后被以利亚金·黑斯廷斯·摩尔（Eliakim Hastings Moore）（1920年）、阿恩·
Ｍoore-Penrose伪逆
Vic_Hao的博客
05-15 2387
对于非方阵而言，其逆矩阵没有定义。假设在下列问题中，我们希望通过矩阵AA\textit{A}的左逆BB\textit{B}来求解线性方程， Ax=yAx=y\textit{A}\textit{x}=\textit{y} 等式两边左乘左逆BB\textit{B}后，我们得到， x=Byx=By\textit{x}=\textit{B}\textit{y} 取决于问题的形式，我们可能无法设计一...
8.9 Moore-Penrose伪逆
很嗨
07-26 2574
对于非方矩阵而言，其逆矩阵没有定义。假设在下面的问题中，我们希望通过矩阵AA的左逆BB来求解线性方程， Ax=yAx=y 等式两边左乘左逆B后，我们得到 x=Byx=By 取决于问题的形式，我们可能无法设计一个唯一的映射将AA映射到BB。 　　如果矩阵AA的行数大于列数，那么上述方程可能没有解。如果矩阵AA的行数小于列数，那么上述矩阵可能有多个解。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值