为什么条件熵使用联合概率加权

这篇博客解析了条件熵公式中为何使用联合概率加权,通过一步步的数学推导,解释了条件概率P(A|B)如何转化为H(Y|X),展示了概率论在信息熵计算中的核心原理。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

为什么条件熵用联合概率加权?:条件概率P(A∣B)=P(AB)P(B)H(Y∣X)=∑i=1np(xi)H(Y/xi)=−∑i=1np(xi)∑j=1mp(yj/xi)log(p(yj/xi))=−∑i=1n∑j=1mp(xi)p(yj/xi)log(p(yj/xi))=−∑i∑jp(xi,yj)log(yj∣xi) 为什么条件熵用联合概率加权? :条件概率P(A|B)=\frac{P(AB)}{P(B)}\\ H(Y|X)=\sum_{i=1}^n p(x_i)H(Y/x_i) =-\sum_{i=1}^n p(x_i)\sum_{j=1}^m p(y_j/x_i)log(p(y_j/x_i)) \\ =-\sum_{i=1}^n \sum_{j=1}^m p(x_i) p(y_j/x_i)log(p(y_j/x_i)) \\ =-\sum_i \sum_j \color{red} p(x_i,y_j)log(y_j|x_i) P(AB)=P(B)P(AB)H(YX)=i=1np(xi)H(Y/xi)=i=1np(xi)j=1mp(yj/xi)log(p(yj/xi))=i=1nj=1mp(xi)p(yj/xi)log(p(yj/xi))=ijp(xi,yj)log(yjxi)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值