协方差矩阵（均值、方差、标准差、协方差、PCA主成分分析）

原创 于 2024-07-29 14:12:37 发布 · 884 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#均值算法 #矩阵 #算法

1.概念

（1）均值：所有样本平均值。

公式：

（2）方差：各个样本与样本均值的差的平方和的均值。

用途：描述数据离散程度。

公式：

（3）标准差：方差开方即标准差。

公式：

（4）协方差：判断两个变量的同步程度，也就是判断A变量变化时B变量变化的相应程度。

协方差>0，A变量增大时B变量增大（二者负相关）。协方差=0，A变量和B变量线性无关。协方差<0，A变量增大时B变量减小（二者正相关）。

公式：【这个概念不重要，工作里用不大上】

（5）协方差矩阵：协方差矩阵中的每个元素是各个向量元素之间的协方差。

计算公式：

如n维随机变量XYZ的协方差矩阵为：

最低0.47元/天 解锁文章

200万优质内容无限畅学
均值、方差、协方差、协方差矩阵
子非鱼的博客
12-07 4010
1、均值E(X) (1)E(X)=ΣX/n (2)E(X±a)=E(X)±a (3)E(aX)=aE(X) (4)E(X±Y)=E(X)±E(Y) (5)E(XY)=E(X)E(Y)2、方差D(X) (1)D(X)=E{(X-E(X))^2} =E(X^2-2XE(X)+E(X)^2) =E(X^2)-E(2XE(X))+E[E(X)^2)] =E(X^2)-2E(X)^2+E(X
算法金 | 协方差、方差、标准差、协方差矩阵
最新发布
算法金「全网同名」的博客
06-29 1783
大侠幸会，在下全网同名「算法金」 0 基础转 AI 上岸，多个算法赛 Top 「日更万日，让更多人享受智能乐趣」
概率论：均值、方差与协方差矩阵
热门推荐
皮皮blog
09-28 4万+
http://blog.youkuaiyun.com/pipisorry/article/details/48788671要理解协方差矩阵，从以下几个步骤来说 期望 ——> 方差——>协方差——>协方差矩阵，这样更能理解它的由来和意义。本文主要讲意义和python里的使用，其实协方差矩阵有很强的实际意义和应用实例，有机会再补充。均值、方差和标准差给定一个含有n个样本的集合，可以得到样本的均值，方差和标准差。...
MATLAB中对于矩阵的平均数、中位数、方差、标准差、相关系数以及协方差等进行计算
qq_54186956的博客
09-23 1万+
在数据分析和数学统计的时候，常常需要对矩阵的平均数、中位数、方差、标准差、相关系数以及协方差进行计算，这些数据可以反映一组数的整体大小、离散程度、相关性等一系列性质，这些数据是进行数据处理时的重要指标，本文主要对于数据的平均数、中位数、方差、标准差、相关系数和协方差的关系进行简单的介绍。
关于协方差矩阵的理解
Allenlzcoder的博客
11-03 2588
关于协方差矩阵的理解 作者: peghoty  出处: http://blog.youkuaiyun.com/itplus/article/details/11452743         在《主成分分析》中，我们用到了协方差矩阵，但当时并没有对其进行深入的讨论。为此，本文将针对协方差矩阵做一个详细的介绍，其中包括协方差矩阵的定义、数学背景与意义以及计算公式的推导。
协方差矩阵和主成分分析
ahuang1900的专栏
06-04 7621
今天看论文的时候又看到了协方差矩阵这个破东西，以前看模式分类的时候就特困扰，没想到现在还是搞不清楚，索性开始查协方差矩阵的资料，恶补之后决定马上记录下来，嘿嘿~本文我将用自认为循序渐进的方式谈谈协方差矩阵。 统计学的基本概念 学过概率统计的孩子都知道，统计里最基本的概念就是样本的均值，方差，或者再加个标准差。首先我们给你一个含有n个样本的集合，依次给出这些概念的公式描述，这些高中学过数学的孩子
PCA主成分分析Matlab仿真代码
03-17
PCA（主成分分析，Principal Component Analysis）是一种广泛应用的统计学方法，主要用于高维数据的降维处理。在机器学习、图像处理、数据分析等领域，PCA能够提取数据的主要特征，减少数据冗余，同时保持数据集中的...
pca 矩阵 迹_再谈协方差矩阵之主成分分析PCA
weixin_28936865的博客
01-17 1177
上次那篇文章在理论层次介绍了下协方差矩阵，没准很多人觉得这东西用处不大，其实协方差矩阵在好多学科里都有很重要的作用，比如多维的正态分布，再比如今天我们今天的主角——主成分分析(Principal Component Analysis，简称PCA)。结合PCA相信能对协方差矩阵有个更深入的认识。PCA的缘起PCA大概是198x年提出来的吧，简单的说，它是一种通用的降维工具。在我们处理高维数据的时候，...
PCA（Principal Component Analysis，主成分分析）与矩阵X的协方差矩阵之间的联系
qlkaicx的博客
04-19 687
矩阵 (X) 的协方差矩阵告诉我们原始特征之间的线性关系和方差信息。而PCA的投影方程告诉我们如何将这些原始特征变换成新的特征，使得它们的方差最大化且彼此之间不相关。这两者的关系在于，PCA的投影方程实际上是在找到使得协方差矩阵中方差最大的特征向量。这些特征向量就是PCA找到的新特征的方向。所以，PCA的投影方程和协方差矩阵的特征向量是密切相关的，因为它们都是为了找到数据中最重要的方差方向。
主成分分析PCA之协方差矩阵的理解
AI蜗牛之家
11-30 2833
参考原博：http://blog.youkuaiyun.com/itplus/article/details/11452743
主成分分析和协方差矩阵
Sunsky0504的博客
07-15 4710
前言： 本文主要介绍机器学习中的无监督学习数据降维方法：主成分分析法。主成分分析法是一种无监督学习的线性变换技术，用于数据的特征提取和降维。本文主要介绍主成分分析的相关理论，并三种方法实现主成分分析：分别是通过scikit-learn库实现主成分分析，numpy库实现主成分分析以及通过spss软件实现主成分分析。 理论分析： 理解好理论的推导需要一定的数学知识基础，我在这里罗列下来： 线性空间理论 协方差矩阵 拉格朗日乘子法 我们提到主成分分析是一种降维的方法，所谓降维就是把很多个随机变量降到我们想要
协方差矩阵如何拿到主成分分析（PCA）总结
哪有什么合适不合适的博客
12-02 2435
协方差矩阵法： 形成样本矩阵，对样本中心化 计算样本矩阵的协方差矩阵 对协方差矩阵进行特征值求解，选取最大的p个特征值对应的特征向量组成投影矩阵 对原始样本矩阵进行投影，得到降维后的新样本矩阵 ...
对协方差矩阵 与 PCA(主成分分析) 的理解
Leviathan的博客
10-20 2230
协方差矩阵 与 主成分分析 一、协方差矩阵 我们知道，一个向量的方差的求法为： 至于为什么分母为n-1，这里需要用到无偏估计的知识。 协方差矩阵就是描述两两维度间关系的矩阵： 两个维度的关系为： 那么一个三维矩阵数据集{x,y,z}的协方差矩阵就为： 因此，协方差矩阵是一个对称的矩阵，且对角线是各个维度的方差。 协方差矩阵还可以这样计算，先让样本矩阵中心化，即每一维度减去该维度的均值，使每一维度上的均值为0，然后直接用新的到的样本矩阵乘上它的转置，然后除以(N-1)即可。 二、主成分分析 主成分分析
主成分分析 从协方差矩阵出发求主成分
jiemona的博客
04-26 3935
主成分分析的基本思想是通过构造多个变量的线性组合，产生一系列互不相关的新变量，并从中选出少数的几个新变量使它们包含尽可能多的原变量所包含的数据信息。代替原变量分析问题，从而避免原变量之间产生共线性。
【机器学习】深入剖析主成分分析（PCA）与协方差矩阵
齐在的专栏
12-20 6338
1. 概念   主成分分析（Pricipal Component Analysis，PCA）是最常用的一种降维方法，通过一个投影矩阵将可能存在相关性和冗余的特征转换为一组更低维度的线性不相关的特征，转换后的特征就叫做主成分。 2. 原理   在降维的过程中，我们希望损失的信息尽可能少，也就是希望保留的信息尽可能多。PCA用方差来度量信息量，在某个维度上，样本分布越分散，方差越大，信息越多。因此，...
均值、方差、协方差、协方差矩阵、特征值、特征向量
weixin_30920091的博客
04-28 1007
均值：描述的是样本集合的中间点。 方差：描述的是样本集合的各个样本点到均值的距离之平均，一般是用来描述一维数据的。 协方差： 是一种用来度量两个随机变量关系的统计量。 只能处理二维问题。 计算协方差需要计算均值。 如下式： 方差与协方差的关系 方差是用来度量单个变量 “ 自身变异”大小的总体参数，方差越大表明该变量的变异越大协方差是用来度量两个变量之...
[转]浅谈协方差矩阵
weixin_33802505的博客
07-10 3806
一、统计学的基本概念 统计学里最基本的概念就是样本的均值、方差、标准差。首先，我们给定一个含有n个样本的集合，下面给出这些概念的公式描述： 均值： 标准差： 方差： 均值描述的是样本集合的中间点，它告诉我们的信息是有限的，而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。 以这两个集合为例，[0, 8, 12, 20]和[8, 9, 11, 12]，两个集合的均值都是10，...
均值、方差、标准差及协方差、协方差矩阵详解
努力努力努力
03-02 1万+
一、均值 均值是表示一组数据集中趋势的量数，是指在一组数据中所有数据之和再除以这组数据的个数。它是映数据集中趋势的一项指标。均值和标准差是描述数据集中趋势和离散程度的两个最重要的测度值。 二、方差，标准差 方差（variance)是 衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。统计中的方差（样本方差）是各个数据分别与其平均数之差的平方的和的平均数。在许多实际问题中，研究方差即偏离程度有着重要意义。方差是衡量源数据和期望值相差的度量值
协方差矩阵
qq_38844711的博客
12-05 1万+
先讨论下方差的概念和样本方差。图一为标准差，标准差提供了一种衡量数据在特征空间的分布程度。 我们知道无偏估计的样本方差公式可以通过如下方式获得： 但是，方差只能用于解释数据在平行于特征空间轴上的扩展。参考图二中的二维特征空间： 对于这个数据，我们可以用x轴方向计算出方差σ(x,x)，用y轴方向计算出方差σ(y,y)。然而，数据的水平扩展和垂直扩展不能清晰解释对角线上的相关性。图二清晰表明，整...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值