从概念到应用:期望、方差与协方差的实战解析

协方差矩阵-Covariance Matrix 协方差矩阵-Covariance Catrix 阅读详情

1. 从“平均”到“预测”:期望到底是什么?

很多朋友一听到“期望”这个词,就觉得特别数学,特别抽象。其实,它离我们特别近。我刚开始做数据分析的时候,也总把期望和平均数搞混,后来踩过几次坑才彻底明白。简单来说,期望是“理论上的平均”,而平均数是我们“实际算出来的平均”。

想象一下,你面前有一个骰子。在扔它之前,我问你:“平均每次能扔出几点?”你可能会想,每个面出现的概率都是1/6,那么理论上的平均点数就是 (1+2+3+4+5+6)/6 = 3.5。这个3.5,就是骰子点数的数学期望。它是一个基于概率规则的“预测值”。哪怕你只扔了一次骰子,结果是4点,这个期望值3.5依然存在,它描述的是这个骰子如果被扔无数次,其点数的长期平均趋势。

那平均数呢?平均数是你真的动手扔了100次骰子,把这100次的点数加起来除以100,得到的一个具体数字,比如3.47。这个3.47是你的样本均值,是期望值在现实世界中的一个具体“估计”。根据大数定律,你扔的次数越多,这个样本均值就会越接近理论期望值3.5。

在实际工作中,我们几乎永远无法知道总体的真实期望(比如全中国所有人的平均收入),我们只能通过手头的样本数据(比如抽样调查的1000个人的收入)来计算样本均值,并用它来估计总体期望。所以,期望更像是一个我们永远在努力逼近的“真相”,而均值是我们用来窥探这个真相的工具。

在Python里,计算一组数据的均值(即样本期望的估计)简单得不能再简单:

import numpy as np

# 假设这是我们抽样调查的10个人的月收入(单位:千元)
incomes = [8, 15, 22, 30, 12, 18, 25, 9, 40, 17]
sample_mean = np.mean(incomes)
print(f“样本均值(对总体期望的估计)是:{sample_mean:.2f}千元”)

这段代码会输出一个具体的数值。这个数值的意义在于,它给了我们一个关于“这群人”收入水平的直观锚点。在做业务报告时,我们经常会说:“根据样本数据,我们估计目标用户的平均月收入约为XX元。”这里的XX元,就是样本均值,它承载着我们对总体期望的推断。

期望有几个非常实用的性质,能帮我们简化很多计算。比如,和的期望等于期望的和,这个性质是无条件成立的。假设你开网店,单品A的期望利润是50元,单品B的期望利润是30元,那么卖出一套(A+B)的期望利润就是80元,非常简单直接。另一个性质是,对于相互独立的随机变量,乘积的期望等于期望的乘积。这个在评估联合事件发生的平均收益时很有用。理解期望的这些性质,能让你在构建复杂的业务指标模型时,快速拆解和组合,而不是一头扎进繁琐的数据计算里。

2. 波动与风险:方差如何衡量不确定性?

知道了“平均”水平(期望)之后,下一个自然而然的问题就是:“实际情况围绕这个平均水平波动得厉害吗?”这就是方差要回答的问题。方差衡量的是数据的离散程度,或者说,不确定性或风险。

还是用收入的例子。假设有两个部门,A部门和B部门,员工的平均月收入都是20千元。但A部门所有人的收入都在19-21千元之间,非常稳定;而B部门有的人月入5千,有的人月入35千,差距巨大。虽然平均数一样,但这两个部门的收入状况天差地别。A部门的方差很小,B部门的方差巨大。在业务上,方差小意味着稳定、可预测;方差大则意味着波动大、风险高。

方差的计算公式是每个数据点与均值之差的平方的平均。为什么要平方?就是为了消除正负偏差相互抵消的影响。一个比均值大10,一个比均值小10,平均偏差是0,但这显然不能反映波动,平方后两者都贡献了100,再平均就能真实反映波动幅度了。

在Python中,计算样本方差时需要注意一个关键点:np.var()函数默认计算的是“总体方差”(除以n),而我们通常需要的是“样本方差”(除以n-1),作为对总体方差的无偏估计。

# 继续使用收入数据
variance_biased = np.var(incomes) # 默认,除以n
variance_unbiased = np.var(incomes, ddof=1) # 使用ddof=1,除以n-1

print(f“总体方差(有偏估计)为:{variance_biased:.2f}”)
print(f“样本方差(无偏估计)为:{variance_unbiased:.2f}”)

你会发现两个值略有不同。在样本量小的时候,这个区别很重要。简单记住:当你手头的数据是来自更大总体的一个样本时,用ddof=1来计算方差和标准差,这样估计更准确。

方差在机器学习中的一个核心应用就是特征标准化。想象你在构建一个房价预测模型,特征包括“房屋面积(平方米)”和“房间数”。面积的值域可能是50-200,房间数的值域是1-5。如果不做处理,模型会认为面积数值的微小变化(比如1平方米)比房间数的变化(1个房间)重要得多,因为它的绝对数值更大、方差更大。这显然不合理。我们需要通过标准化,将每个特征都拉到均值为0、方差为1的同一尺度上:

from sklearn.preprocessing import StandardScaler

# 假设X是我们的特征矩阵,有两列:面积和房间数
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

print(“标准化后的特征均值:”, X_scaled.mean(axis=0)) # 应接近 [0, 0]
print(“标准化后的特征方差:”, X_scaled.var(axis=0))  # 应接近 [1, 1]

标准化之后,模型才能公平地看待每一个特征,梯度下降等优化算法也能更快更稳定地收敛。我遇到过不止一个案例,模型效果死活调不上去,最后发现就是因为没做特征标准化,几个量纲大的特征“绑架”了模型。

此外,方差是诊断模型过拟合的关键指标之一。在训练集上,你的模型可能拟合得非常好,损失函数值(方差的一种体现)很低。但如果在从未见过的测试集上,预测结果的方差急剧增大,这就强烈暗示模型可能过拟合了——它只记住了训练数据的噪声,而没有学到普适规律。监控训练集和验证集上方差的变化趋势,是调参过程中必做的功课。

3. 协同变化:协方差揭示特征间的隐秘关系

当我们分析的数据对象有多个特征时,单看每个特征的期望和方差就不够了。我们迫切想知道:这些特征之间是不是有联系?一个变大的时候,另一个是倾向于一起变大,还是反而变小?协方差就是用来量化这种线性协同变化趋势的工具。

协方差的公式和方差很像,只是把其中一个“自己与均值的差”换成了“另一个变量与均值的差”。如果X和Y倾向于同时高于或同时低于各自的平均值,那么(X-mean(X))和(Y-mean(Y))同号,乘积为正,协方差为正,我们称它们正相关。如果一个高于均值时另一个却低于均值,乘积为负,协方差为负,就是负相关。如果两者没有线性关系,这些正负乘积会相互抵消,使得协方差接近0。

让我们看一个实际的业务场景:分析一个电商App中“用户每日浏览时长”和“购买转化率”之间的关系。直觉上,浏览时间越长,可能购买意愿越强,转化率越高。我们可以用协方差来验证这个直觉:

import pandas as pd

# 假设df是一个DataFrame,包含‘daily_browse_minutes’和‘conversion_rate’两列
df = pd.read_csv(‘user_behavior.csv’)
# 计算协方差矩阵
cov_matrix = df[[‘daily_browse_minutes’, ‘conversion_rate’]].cov()
print(“协方差矩阵:\n”, cov_matrix)

# 单独计算这两个变量的协方差
cov_value = df[‘daily_browse_minutes’].cov(df[‘conversion_rate’])
print(f“‘浏览时长’与‘转化率’的样本协方差为:{cov_value:.4f}”)

如果输出的协方差是一个显著的正数,那就证实了我们的业务假设:浏览时长和转化率存在正相关关系。市场部门或许就可以据此优化策略,比如通过优化内容来增加用户停留时间,以期提升转化。

但这里有个非常重要的坑我踩过:协方差的大小受变量自身量纲影响极大。假设浏览时长以分钟计,协方差可能是120;如果以小时计,协方差就变成了(120/60/60≈0.033)。数字看起来天差地别,但关系强弱其实没变。因此,协方差的值本身主要用来判断方向(正/负相关),不宜直接用于比较不同对变量之间相关性的强弱。

为了消除量纲影响,我们可以将协方差标准化,得到相关系数(通常是皮尔逊相关系数),它的值永远在-1到1之间,非常直观。

# 计算皮尔逊相关系数
corr_value = df[‘daily_browse_minutes’].corr(df[‘conversion_rate’])
print(f“‘浏览时长’与‘转化率’的相关系数为:{corr_value:.4f}”)

相关系数接近1,表示强正相关;接近-1,表示强负相关;接近0,表示没有线性关系。这个指标在特征工程中至关重要。如果两个特征高度相关(比如“房屋面积”和“房间数”),意味着它们提供的信息大量冗余,我们可能需要剔除其中一个以降低模型复杂度、防止多重共线性问题。

4. 从二维到高维:协方差矩阵的强大威力

当特征数量超过两个时,两两计算协方差会变得非常繁琐。这时,协方差矩阵就闪亮登场了。它是一个非常优雅且强大的工具,用一个矩阵就封装了所有特征两两之间的协方差,以及每个特征自身的方差。

假设我们有一个三维数据集,包含三个特征:身高(cm), 体重(kg), 肺活量(ml)。它的协方差矩阵是一个3x3的对称矩阵:

C = [[Var(身高),    Cov(身高, 体重), Cov(身高, 肺活量)],
     [Cov(体重, 身高), Var(体重),    Cov(体重, 肺活量)],
     [Cov(肺活量,身高), Cov(肺活量,体重), Var(肺活量)]]

对角线上的元素就是各个特征的方差,非对角线上的元素就是不同特征间的协方差。由于Cov(X, Y) = Cov(Y, X),所以这个矩阵是对称的。

在Python中,我们可以轻松计算整个数据集的协方差矩阵:

# 假设data是一个DataFrame,包含多个特征列
data = pd.DataFrame({
    ‘height’: [170, 175, 165, 180, 172],
    ‘weight’: [65, 70, 60, 80, 68],
    ‘lung_capacity’: [3000, 3200, 2900, 3500, 3100]
})

cov_matrix = data.cov() # pandas直接计算协方差矩阵
print(“数据的协方差矩阵:\n”, cov_matrix)

协方差矩阵远不止是一个整理数据的工具。它是许多高级数据分析方法的基石:

  1. 主成分分析(PCA):PCA的目标是找到数据中方差最大的方向(主成分),从而实现降维。这些主成分正是通过对协方差矩阵进行特征值分解得到的。特征值代表对应主成分的方差,特征向量指示主成分的方向。我常用PCA来压缩高维特征,比如图像数据,在尽可能保留信息的前提下大幅减少计算量。
  2. 多元高斯分布:描述多个相关联随机变量的分布时,协方差矩阵定义了各个维度之间的“形状”关系。对角线元素控制每个维度的“胖瘦”,非对角线元素控制它们的“倾斜”程度。
  3. 马氏距离:这是一种考虑了特征间相关性的距离度量。在异常检测中,比起普通的欧氏距离,马氏距离能更准确地识别出在特征联合分布中真正的“离群点”,因为它用到了协方差矩阵的逆来标准化距离。

理解协方差矩阵,相当于拿到了一把打开高维数据关系大门的钥匙。它让你从看待一个个孤立的特征,升级到审视整个特征空间的结构。

5. 实战串联:用一个案例打通任督二脉

光说不练假把式。我们用一个完整的、贴近实际的案例,把期望、方差、协方差和协方差矩阵全部串起来。假设你在一家房地产数据公司,手头有一份波士顿房价数据集(这里我们用sklearn内置的简化版示例),任务是初步探索数据,为后续建模做准备。

import numpy as np
import pandas as pd
from sklearn.datasets import load_boston
import matplotlib.pyplot as plt

# 加载数据
boston = load_boston()
df = pd.DataFrame(boston.data, columns=boston.feature_names)
df[‘PRICE’] = boston.target # 房价,我们的目标变量

print(“数据形状:”, df.shape)
print(“\n前几行数据:\n”, df.head())

第一步:计算关键特征的期望(均值)与方差 我们先关注两个可能重要的特征:RM(每套住宅的平均房间数)和LSTAT(低收入人群比例)。

# 计算期望(样本均值)和方差(无偏估计)
rm_mean, rm_var = df[‘RM’].mean(), df[‘RM’].var(ddof=1)
lstat_mean, lstat_var = df[‘LSTAT’].mean(), df[‘LSTAT’].var(ddof=1)

print(f“特征 ‘RM’ (房间数): 均值 = {rm_mean:.3f}, 方差 = {rm_var:.3f}”)
print(f“特征 ‘LSTAT’ (低收入比例): 均值 = {lstat_mean:.3f}, 方差 = {lstat_var:.3f}”)

从方差大小,你能直观感受到LSTAT的波动范围比RM大得多。这意味着LSTAT这个特征在不同区域差异显著,可能对房价有很强的影响力。

第二步:分析特征与目标的相关性 我们想知道RM和LSTAT哪个与房价PRICE的关系更紧密?这时先计算协方差和相关系数。

# 计算协方差和相关系数
cov_rm_price = df[‘RM’].cov(df[‘PRICE’])
cov_lstat_price = df[‘LSTAT’].cov(df[‘PRICE’])

corr_rm_price = df[‘RM’].corr(df[‘PRICE’])
corr_lstat_price = df[‘LSTAT’].corr(df[‘PRICE’])

print(f“‘RM’与‘PRICE’的协方差:{cov_rm_price:.3f}, 相关系数:{corr_rm_price:.3f}”)
print(f“‘LSTAT’与‘PRICE’的协方差:{cov_lstat_price:.3f}, 相关系数:{corr_lstat_price:.3f}”)

你会发现,RM和房价是正相关(房间越多,房价越高),LSTAT和房价是负相关(低收入比例越高,房价越低)。而且通过相关系数(比如0.7和-0.74),可以定量比较出LSTAT与房价的线性关系似乎略强于RM。这个结论可以直接指导特征筛选:这两个都是强相关特征,应该保留。

第三步:考察特征间的多重共线性 如果两个特征之间高度相关,同时放入模型可能会引发问题。我们检查一下RM和LSTAT本身的关系。

corr_rm_lstat = df[‘RM’].corr(df[‘LSTAT’])
print(f“‘RM’与‘LSTAT’的相关系数:{corr_rm_lstat:.3f}”)

如果这个值绝对值很大(例如>0.8),说明它们共线性强,可能需要考虑只保留其中一个,或者使用PCA提取新特征。

第四步:构建协方差矩阵,全面审视数据关系 最后,我们选取几个核心特征,看看它们整体的协方差结构。

selected_features = [‘RM’, ‘LSTAT’, ‘PTRATIO’ (师生比), ‘PRICE’]
cov_matrix_selected = df[selected_features].cov()
corr_matrix_selected = df[selected_features].corr()

print(“选定特征的协方差矩阵:\n”, cov_matrix_selected)
print(“\n选定特征的相关系数矩阵:\n”, corr_matrix_selected)

# 可视化相关系数矩阵
plt.figure(figsize=(8, 6))
plt.imshow(corr_matrix_selected, cmap=‘coolwarm’, interpolation=‘nearest’, vmin=-1, vmax=1)
plt.colorbar()
plt.xticks(range(len(selected_features)), selected_features, rotation=45)
plt.yticks(range(len(selected_features)), selected_features)
plt.title(‘特征间相关系数热力图’)
plt.show()

热力图能让你一眼看出所有特征对的关联强度。深红色代表强正相关,深蓝色代表强负相关,浅色代表弱相关。这张图是数据探索阶段最有力的工具之一,它能帮你快速形成对数据集整体关系的直觉。

走完这个流程,你就完成了一次从单点统计量(期望、方差)到关系度量(协方差、相关系数),再到全局结构把握(协方差矩阵)的完整数据分析循环。这些不再是书本上枯燥的公式,而是你手中有血有肉、能直接产生业务洞察的利器。在实际项目中,我习惯在建模前先花时间做这样一番探索,对数据“手感”好了,后面模型调优的方向才会更清晰。

机器学习:协方差的全面理解 先从方差开始,我们有一组样本x1、x2、x3····xn,这组样本的均值为E(X),每一个样本都与E(X)之间存在误差,那么这组样本的方差被定义为:所有误差的和的均值,也即 [Σ(xi-E(X))^2]/(n-1), 方差的作用就是用来“衡量样本偏离均值的程度”。 下面开始看协方差,协方差的计算公式如下图: 仔细观察上述定义式,可知:如果两个变量的变化趋势一致,也就是说如果X大于自身均值时Y也大于自身均值,那么X与Y变量的协方差就是正值;如果两个变量的变化趋势相反,即X变量大于自身的均值时另外一个却小于自 阅读详情

相关推荐

从轻量化到高精度:3DXML 转 STP 的工程数据升级技术指南

本文详细解析了3DXML转STP格式的工程数据升级技术,对比了两种格式在轻量化和高精度方面的特性差异,并提供了CATIA、FreeCAD及Python编程等多种专业级转换方案。通过实际案例展示了如何确保转换过程中的数据精度,适用于CAD设计、精密制造等场景,帮助工程师实现工程数据的高效升级。

weixin_29201859的博客 215

平均值,标准差,方差,协方差,期望,均方误差

1、写在前面 平均值,标准差,方差,协方差都属于统计数学;期望属于概率数学。 统计数学 1)平均值,标准差,方差 统计学里最基本的概念就是样本的均值、方差、标准差。首先,我们给定一个含有n个样本的集合,下面给出这些概念的公式描述: 均值: 方差: 标准差: 均值描述的是样本集合的中间点,它告诉我们的信息是有限的。 方差(variance)是在概率论和统计方差衡量随机变量或一组数据...

mjiansun的专栏 7万+

ADS仿真设计平行定向耦合器学习笔记

ADS仿真设计平行定向耦合器

qq_36521926的博客 1万+

透彻理解协方差与协方差矩阵

文章目录基础预备知识协方差简介协方差矩阵简介协方差矩阵的向量表述必备的基本结论通过图形解释协方差矩阵协方差矩阵的变量变换任意方向的发散程度 本篇内容主要是对于基本书籍教材协方差相关章节所写的学习笔记,结合自己的理解尽可能表述得通俗易懂,主要思路内容取自《程序员的数学之概率统计》。 基础预备知识 协方差简介 先来直接看协方差的定义式,所有其他关于协方差的公式都是基于如下定义式的推导: Cov⁡[X,...

nstarLDS的博客 1万+

Fluent 中多相流模型全面解析

3.颗粒或液滴在连续相中的运动:若关注颗粒或液滴在连续相中的运动轨迹、分布规律以及与连续相的相互作用,如喷雾干燥、气力输送等过程,Eulerian-Lagrangian 模型则是最佳选择。Eulerian-Eulerian 模型可以准确模拟气体在固体颗粒中的流动情况,包括颗粒的流化状态、气体与颗粒之间的传热传质过程,为气固流化床的优化设计和操作提供依据。通过该模型,可以了解混合器内不同位置的混合程度、颗粒的运动轨迹以及液固相间的相互作用,从而改进混合器的结构和操作条件,提高混合效率。

khhdp的博客 3087

Word | 简单可操作的快捷公式编号、右对齐和引用方法

在理工科论文的写作中,涉及到大量的公式输入,我们希望能够按照章节为公式进行编号,并且实现公式居中,编号右对齐的效果。网上有各种各样的方法来实现,操作繁琐和简单的混在一起,让没有接触过公式编号的人感觉比较混乱。笔者自己博览相关博客,亲身实践,总结出一套自认为比较简便的公式编号、对齐和引用方法,在这里分享给大家~

qq_43466146的博客 3万+

概率论:均值、方差与协方差矩阵

http://blog.youkuaiyun.com/pipisorry/article/details/48788671要理解协方差矩阵,从以下几个步骤来说 期望 ——> 方差——>协方差——>协方差矩阵,这样更能理解它的由来和意义。本文主要讲意义和python里的使用,其实协方差矩阵有很强的实际意义和应用实例,有机会再补充。均值、方差和标准差给定一个含有n个样本的集合,可以得到样本的均值,方差和标准差。...

皮皮blog 4万+

FastGPT智能体开发:FastGPT OpenAPI 知识库接口

FastGPT OpenAPI 知识库接口

王国平的博客 327

均值、期望、方差、标准差与协方差:基础概念解析

均值帮助我们了解数据的中心位置。期望是概率论中的一个重要概念,描述了随机变量的平均值。方差和标准差是衡量数据波动性的关键指标。协方差则揭示了两个变量之间的关系强度和方向。掌握这些概念,能够帮助我们更好地理解和分析数据,在实际应用中,如金融分析、机器学习和数据科学中,它们是不可或缺的工具。

chenxiemin的专栏 5327

基于深度学习的火焰检测系统:YOLOv8 + UI界面 + 数据集详解

YOLO(You Only Look Once)是一种端到端的目标检测算法,其最大优势在于将目标检测任务转化为一个回归问题,可以在一次前向传播中同时完成目标定位和分类。YOLOv8是YOLO系列中的最新版本,相比之前的版本,YOLOv8在精度和推理速度上都做了显著提升,特别是在小物体检测方面表现更加优秀。实时性:YOLOv8具有较高的推理速度,适用于实时火焰检测。高精度:相较于YOLOv7,YOLOv8在精度和小物体检测上有所改进。简单易用:YOLOv8的API简单直观,易于集成和使用。

YOLO 662

Docker:快速部署 Temporal 工作流引擎的技术指南

Temporal是一个开源的分布式工作流引擎,适用于复杂业务流程(如订单处理、支付流程等),提供状态持久化、自动重试、多语言SDK支持等特性。部署简单,支持Docker Compose,包含核心服务、Web UI及数据库。以TypeScript为例,开发者可快速编写工作流(如订单处理)和Worker,通过CLI或SDK启动和管理。Temporal简化了分布式系统的可靠性设计,适合电商、自动化任务等场景。

木头 644

期望、方差、协方差、协方差矩阵

文章目录期望样本空间我对期望的数学直觉期望的一般计算方法期望的性质方差方差的数学直觉方差的数学定义方差的推论方差的性质协方差与相关系数协方差定义计算方法性质Pearson相关系数定义性质协方差矩阵定义作用实对称阵 期望 样本空间 我们将随机实验E的一切可能基本结果(或实验过程如取法或分配法)组成的集合称为E的样本空间,记为S。样本空间的元素,即E的每一个可能的结果,称为样本点。 我对期望的数学直觉...

任尔东西南北风 2938

人群仿真软件:Pathfinder_(14).与其他软件的集成与互操作

在人群仿真软件的二次开发中,与其他软件的集成和互操作是非常重要的。通过数据导入导出、接口调用和脚本编写,可以显著提升仿真的准确性和实用性。Pathfinder提供了多种数据格式的支持和丰富的API,使得与其他软件的集成变得简单高效。无论是建筑模型的导入、仿真结果的导出,还是实时数据的交换,Pathfinder都能满足用户的需求。

kkchenjj的博客 1017

协方差详解

今天面算法,面试官问协方差是什么,因为平时基本可能用不到,所以一脸懵逼,今天来温习一下什么是协方差。 期望(Expection) 函数f(x)关于某分布P(x)的期望或者期望值是指,当x是由P产生时,f作用于x时,f(x)的平均值。对于离散型随机变量,通过求和得到: Ex∼P[f(x)]=∑xP(x)f(x)\mathbb{E}_{x\sim P}[f(x)]=\sum_xP(x)f(x)Ex...

Steve Wang's blog 1万+

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

误差、方差、协方差的传播

文章目录0. 绝对误差与相对误差0.1绝对误差(简称误差):0.2相对误差1. 误差的传播2. 方差传播2.1 简单线性函数2.2 复杂函数3. 协方差传播4. 参考文献 误差分析在 0. 绝对误差与相对误差 一般的,称x∗x^*x∗为准确值xxx的一个近似值,可定义以下两种常用误差: 0.1绝对误差(简称误差): 绝对误差(简称误差): e(x∗)=x−x∗e(x^*)=x-x^*e(x∗)=x...

leida_wt的博客 1万+

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

关于协方差,协方差矩阵的个人理解

文章目录协方差协方差定义举例说明方差相关系数协方差矩阵(covariance matrix)举例说明数学符号表示协方差矩阵的应用马氏距离数学符号定义PCA降维使用sklearn中的np.cov遇到的坑 协方差 协方差定义 协方差(Covariance)在概率论和统计学中用于衡量两个变量的总体误差。 设有随机变量XXX和随机变量YYY,则协方差定义为: Cov(X,Y)=E((X−E[x])(Y−E[Y]))=E((Y−E[Y])(X−E[X])) Cov(X,Y)=E((X-E[x])(Y-E[Y]))

Tiko的博客 2726

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

期望、方差、协方差及相关系数的基本运算

这篇文章总结了概率统计中期望、方差、协方差和相关系数的定义、性质和基本运算规则。 一、期望 定义: 设P(x)是一个离散概率分布函数自变量的取值范围是。那么其期望被定义为: 设P(x)是一个连续概率分布函数,那么他的期望是: ...

kyle1314608的博客 5675

数理统计-随机变量的数字特征:期望、方差、协方差、矩、协方差矩阵

课程地址:https://www.bilibili.com/video/av49495924?from=search&seid=2719872283891182472 课程名称:数理统计: 第37讲 数学期望 (I) 第38讲 数学期望 (II) 第39讲 数学期望 (III) 第40讲 方差 (I) 第41讲 方差 (II) 第42讲 协方差及相关系数 (I) 第43讲 协方差及相关系数...

AbiUni(YY熊) 1056

期望E,方差D,协方差Cov,主成分分析PCA

期望E,方差D,协方差Cov,主成分分析PCA,应用于图像分类识别1、期望方差的理解2、协方差与协方差矩阵3、数据降维的需求背景4、PCA就是从解决特征之间的相关性入手,剔除冗余特征PCA的细节 1、期望方差的理解 关于此主题,网上可以搜到很多,我写下来的目的是让自己理解透彻一些。同时,也发现自己学生时代学习的数学知识,仅仅停留在单纯的计算上,几乎没有联系实际,更不用说在具体问题上去利用数学规律来解决实际问题了。这是此文章的初衷! 首先,期望衡量的是一组变量X取值分布的平均值,记作:E[X],反应不同数据集

人工智能视觉分析算法学习实践和经验分享。 2791

协方差、协方差矩阵

在机器学习中,理解协方差矩阵的关键在于牢记它计算的是同一个样本不同特征维度之间的协方差,而不是不同样本之间。 拿到样本矩阵之后,我们首先要明确一行是样本还是特征维度。 一般来说,样本矩阵中一行是一个样本,一列为一个特征维度。所以要按列计算均值(期望),再按行计算出协方差矩阵,把每一行的协方差矩阵相加再除以行数(即样本数),得到样本矩阵的协方差矩阵 一、协方差 从公式上看,协方差是两个变量与自身...

babychrislee3的博客 4786

概率论实战:从数学期望到协方差矩阵的完整解析与应用

本文系统解析了概率论中从数学期望、方差到协方差矩阵的核心概念及其实际应用。通过投资决策、用户行为分析等案例,阐释了数学期望作为加权平均的决策价值,并深入探讨了协方差矩阵在量化多变量关系、金融风控及数据降维(如PCA)中的关键作用。文章结合Python代码示例,提供了从理论到实战的完整指南。

xxx12的博客 627

协方差矩阵

要理解协方差矩阵,我们从以下几个步骤来说 方差——>协方差——>协方差矩阵。这样更能理解它的由来和意义,本文主要讲意义和python里的使用,其实协方差矩阵有很强的实际意义和应用实例,有机会再补充。方差在概率论中我们学过期望和方差的概念。 期望 参见wiki中的数学定义如下: 方差 一个随机变量的方差描述的是它的离散程度,也就是该变量离其期望值的距离。 方差的算术平方根称为该随机变量的标

sherryllll 5608

方差与数学期望:从基础概念到实际应用解析

本文深入解析了数学期望与方差的核心概念及其实际应用。通过工作选择、投资组合等生活化案例,阐明期望衡量“平均回报”,方差量化“风险波动”。文章系统介绍了常见分布的期望与方差公式、性质,并拓展至协方差、相关系数及在数据分析与机器学习中的关键作用,帮助读者建立量化决策的数据思维。

xray4的博客 649

协方差和相关系数

什么是协方差(Covariance)? 协方差表示的是两个变量的总体的误差,这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致,也就是说如果其中一个大于自身的期望值,另外一个也大于自身的期望值,那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反,即其中一个大于自身的期望值,另外一个却小于自身的期望值,那么两个变量之间的协方差就是负值。 以上是某百科的解释。等等!是不是还...

麦地与诗人 1万+

协方差的理解

1. 协方差的意义: 协方差的定义,两个变量总体误差的期望: 定理:数据0中心化后, (X * X转置) /n 等于协方差矩阵 解决多维样本之间的特征联系: 协方差矩阵: 可见:协方差矩阵是一个对称的矩阵,而且对角线是各个维度上的方差。 ①协方差就是看两个变量是否正负相关,也就是数值上变化是否同或反向; ②相关系数直接衡量的就是线性相关关系,取值就在+-1之间,体现的含义是X和Y多大程度在一条斜率存在且不为0的直线上; 相关系数值域在[-1,1]之间,-1表示最强负相关,.

tim514的博客 1万+
上一篇: 星光云720全景VR系统源码深度解析:从技术栈到全景生态构建
下一篇: MBD实战指南:Simulink工程管理与团队协作
寂静夜空35
博客等级 码龄3年 60粉丝 1797原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值