weixin_43909650的博客

信息熵的定义信息熵每一个随机事件都有自信息I(ai)I(a_{i})I(ai​)针对系统，取各随机事件自信息的统计平均：EpI(ai)=∑ip(ai)I(ai)=−∑ip(ai)logp(ai)E_{p}I(a_{i})=\sum_{i}^{}p(a_{i})I(a_{i})=-\sum_{i}^{}p(a_{i})logp(a_{i})Ep​I(ai​)=i∑​p(ai​)I(ai​)=−i∑​p(ai​)logp(ai​)离散随机变量的信息熵离散随机变量XXX的信息熵H(X)

随机变量的自信息X、Y、Z：随机变量x、y、z：随机变量的具体取值x、y、zx、y、zx、y、z：集合∣x∣、∣y∣、∣z∣|x|、|y|、|z|∣x∣、∣y∣、∣z∣：集合的势（集合中元素的个数）PX(x)=P(X=x)P_{X}(x)=\mathbb{P}(X=x)PX​(x)=P(X=x)：随机变量的概率分布PXY(x,y)=P(X=x,Y=y)P_{XY}(x,y)=\mathbb{P}(X=x,Y=y)PXY​(x,y)=P(X=x,Y=y)：联合概率***（随机过程）***Xn=X