Conditional Expectation & Entropy

最新推荐文章于 2022-10-07 01:07:57 发布
原创 最新推荐文章于 2022-10-07 01:07:57 发布 · 542 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了条件期望的概念，特别关注于两个离散随机变量X和Y之间的关系。通过详细的推导过程，阐述了如何计算E(Y|X)，并强调了其作为关于X的函数特性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Conditional Expectation(条件期望)

1.Derivation

假设有两个离散随机变量X，Y。他们的概率密度分别用$P(X=x_{i}), P(Y=y_{j})$ 表示。则条件期望E(Y|X)为：

$$E(Y|X=x_{i})= \sum_{j}^{m} p(Y=y_{j}) P(Y=y_{j}| X=x_{i})$

And:

$$E(Y) = \sum_{i}^{n} p(X=x_{i})E(Y|X=x_{i})$$

 

 

Remark:

$$E(Y|X)$$ 是关于X的函数。有：$$E(E(Y|X)) = E(Y)$$

 

 

通俗理解贝叶斯网络(BNN)
AI天才研究院
08-24 1972
本文的主要目的是为读者提供一个直观、易懂的贝叶斯网络(Bayesian Network, BNN)介绍。我们将从基本概念出发，逐步深入到实际应用，帮助读者建立对贝叶斯网络的全面认识。贝叶斯网络的基本概念和组成元素贝叶斯网络的工作原理和推理过程贝叶斯网络的构建方法和应用场景贝叶斯网络在实际问题中的应用示例贝叶斯网络的优势和局限性通过本文，读者将能够理解贝叶斯网络如何模拟复杂系统中的不确定性和因果关系，以及如何利用这一工具进行概率推理和决策支持。背景介绍：概述文章的目的、范围和预期读者。
证据下界（Evidence Lower Bound，ELBO）
最新发布
Rhett_Butler0922的博客
04-28 906
在概率模型中，我们通常需要处理两类变量：我们希望通过贝叶斯推断，计算后验分布 p(z∣x)p(z|x)p(z∣x)，即给定数据 xxx 时，潜在变量 zzz 的概率分布： p(z∣x)=p(x,z)p(x)=p(x∣z)p(z)∫p(x∣z)p(z)dzp(z|x) = \frac{p(x, z)}{p(x)} = \frac{p(x|z)p(z)}{\int p(x|z)p(z) dz}p(z∣x)=p(x)p(x,z)​=∫p(x∣z)p(z)dzp(x∣z)p(z)​问题：计算 p(x)=∫p(x∣z
【概率论】4-7:条件期望(Conditional Expectation)
Tony的博客
09-22 3万+
title: 【概率论】4-7:条件期望(Conditional Expectation) categories: - Mathematic - Probability keywords: - Expectation - Prediction - Law of total Probability toc: true date: 2018-03-27 10:53:24 Abstract: 本文介绍...
条件数学期望
热门推荐
左超
04-28 6万+
中秋之际，得留下点东西纪念一下才行。主要说一下条件数学期望（Conditional Expectation）吧。以前本科的时候学过这玩意儿，但是当时理解太肤浅。今天看了一遍别的书，颇有心得。理科生讲究定义明确，概念清晰，下面就从定义开始。Definition：    The conditional expectation of X given Y=y is:    ①E(X|Y=y) = ∑x
条件期望：Conditional Expectation 举例详解之入门之入门之草履虫都说听懂了
m0_56069948的博客
10-07 1497
\left{ G_{1}, G_{2}, \ldots \right} 的最小 σ\sigma-algebra，即，任意 G\mathcal{G} 的元素都可以写作 ⋃n∈IGn\bigcup\limits_{n \in I} G_{n} 的形式，其中 I⊂N+I \subset \mathbb{N}^{+} (II 为 N+\mathbb{N}^{+} 的某些子集)。现在考虑条件期望： E[X | G]\mathbb{E}\left[ X ~ | ~ \mathcal{G} \right]。
Information Theory: Self-Information, Entropy, Relative entropy,Cross entropy, Conditinal Entropy
weixin_32334291的博客
04-13 261
Self-Information: I(x)=log⁡1P(x)I(x) = \log \frac{1}{P(x)}I(x)=logP(x)1​ Entropy :H(X)=E[I(X)]=E(log⁡1P(X))=∑x∈XP(x)log⁡1P(x)H(X)=E[I(X)] =E(\log \frac{1}{P(X)})=\sum_{x \in X} P(x)\log \frac{1}{P(x)}...
条件期望误差的有限性
分析101
06-05 657
1 CEF error的有限性问题 在回归中，记条件期望函数（conditional expectation function，CEF）为E[Y∣X=x]E[Y|X=x]E[Y∣X=x]，则可将因变量YYY分解为 Y=E[Y∣X=x]+e Y=E[Y|X=x]+e Y=E[Y∣X=x]+e 可记e=Y−E[Y∣X=x]e=Y-E[Y|X=x]e=Y−E[Y∣X=x]为条件期望函数误差（CEF error）。 显然，eee满足E[e∣X]=0E[e|X]=0E[e∣X]=0，E[e]=0E[e]=0E[e]=
一本基于matlab的数理统计电子书-Crc Press - Computational Statistics Handbook With Matlab -.part4.rar
08-14
2.4 Expectation Mean and Variance Skewness Kurtosis 2.5 Common Distributions Binomial Poisson Uniform Normal Exponential Gamma Chi-Square Weibull Beta Multivariate Normal ...
一本基于matlab的数理统计电子书-Crc Press - Computational Statistics Handbook With Matlab -.part1.rar
08-14
2.4 Expectation Mean and Variance Skewness Kurtosis 2.5 Common Distributions Binomial Poisson Uniform Normal Exponential Gamma Chi-Square Weibull Beta Multivariate Normal ...
5.3 个体条件期望（Individual Conditional Expectation, ICE）
Alex
08-05 1696
单个条件期望 (ICE) 图为每个实例显示一条线，显示当特征发生变化时实例的预测如何变化。 特征平均效果的部分依赖图是一种全局方法，因为它不关注特定实例，而是关注整体平均值。 单个数据实例的 PDP 等效项称为单个条件期望 (ICE) 图（Goldstein 等人，2017）。 ICE 图分别可视化预测对每个实例的特征的依赖性，导致每个实例一条线，而部分依赖图中的一条线整体。 PDP 是 ICE 图线的平均值。 一条线（和一个实例）的值可以通过保持所有其他特征相同来计算，通过用网格中的值替换特征值来创建此实
概率论经典问题之匹配问题
pdcxs007的专栏
10-23 3万+
一个屋子里面有N个人，每个人有一顶帽子。假如所有人把帽子扔到屋子中央，然后每个人都随机选一顶帽子。 a) 没有人捡到自己帽子的概率； b) 有k(k⩽N)k(k \leqslant N)个人捡到自己帽子的概率。
数据学习(6)·Alternating Conditional Expectations(ACE)算法
白日梦想家
12-16 3386
作者课堂笔记，联系方式humminwang@163.com
概率中的独立与相关：相互独立、条件独立、协方差、相关系数
陆上溪流
09-03 3万+
概率论与数理统计学习笔记。小记变量之间的（线性）相关性，独立性。
熵（Entropy） & 条件熵 （Conditional Entropy） & 相对熵（Relative Entropy）- 学习笔记
越努力 越幸运
11-03 3942
信息熵（Entropy）：解决信息的度量问题 一条信息的信息量与其不确定性有直接的关系，如果对一件事情了解的很多，那么信息少一些，也能知晓事情本身；反之，如果对事情没有一点了解，那么则需要大量信息来对事情进行知晓。因此，信息量就等于不确定性的多少。 香农利用“比特（Bit）”来度量信息量，一个bit是一位二进制数，1字节=8bit。信息量的比特数与所有可能情况的对数函数log有关。 信息熵的...
机器学习模型可解释性进行到底 ——PDP&ICE图（三）
素质云笔记
04-13 1万+
之前两篇有专门介绍shap值，可以说非常好用， 机器学习模型可解释性进行到底 —— 从SHAP值到预测概率（二） 机器学习模型可解释性进行到底 —— SHAP值理论（一） 文章目录1 部分依赖图（Partial Dependence Plot)1.1 理论解读1.2 如何根据PDP 进行特征筛选2 个体条件期望图（Individual Conditional Expectation Plot)3 sklearn 0.24+实现：PDP&ICE图3.1 部分依赖图（Partial Dependen
Model-Agnostic Methods - Partial Dependence Plot (PDP)&Individual Conditional Expectation (ICE)
Gin077的专栏
02-23 2013
一、作为模型代理方法的第一节，先介绍模型代理方法的思路 从world捕捉data，用data训练模型，再用可解释性方法来对模型的结果给出解释。把模型训练和模型解释分开，使得训练模型不再局限在拥有内在可解释性的模型范围内。 二、下面介绍第一种Partial Dependence Plot (PDP)，部分依赖图形。描述的是单个或两个feature对模型outcome的边际影响。 The...
数学期望 Expectation
段哥哥的博客
05-28 5677
机器学习中涉及到的很多概念都和 Expectation 相关联，本文对 数学期望展开进行讨论
机器学习笔记十：各种熵总结
谢小小XH
03-18 3万+
信息熵，联和熵，条件熵，相对熵，互信息
FFmpeg conditional entropy
07-16
FFmpeg是一个广泛使用的开源多媒体处理框架，它不仅可以转换音频和视频文件，还包含了丰富的编码和分析工具。关于条件熵（Conditional Entropy），它是信息论中的一个概念，用于衡量在已知某些信息的情况下，其他信息的不确定性。 在FFmpeg中，条件熵通常不会作为直接的内置功能提供，因为它是一个统计和信号处理的概念，而非视频编码或解码的核心部分。然而，在一些高级音频处理或编码场景下，特别是涉及到语音、音频压缩等应用时，理解条件熵可以帮助优化编码算法，比如在源编码（如AAC）中，可能会用到条件熵来量化预测误差的概率分布。 如果你想在FFmpeg中使用条件熵相关的计算，你可能需要编写自定义脚本或利用第三方库（如Python的scikit-learn或numpy）来实现所需的统计分析。然后将结果与FFmpeg的输入数据结合起来，进行特定的音频处理决策。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值