作业二

1、设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0<=H（x）<=log2M。

      证明：

        假设M=1， 则H(X)=-∑P(X_i)*log₂P(Xi)=-(1*log₂1)=0,此时H(X)为最小

         当M>1且取包含每个字母的概率P(X_i)相等即为1/M时

         则H(X)=-∑P(X_i)*log₂P(Xi)=-M(1/M*log₂ 1/M)=log₂M

         又因熵具有极值性，所以此时H(X)最大

         所以说0≤H(X)≤log₂M。

2、证明如果观察到一个序列的元素为iid分布，则该序列的熵等于一阶熵。

       证明：

       由：H(X)=lim_n→∞1/n*G_n

          G_n=-∑_i1∑i2.....∑inP(X₁=i1,X₂=i2,....X_n=in)*logP(X₁=i1,X₂=i2,....X_n=in)     i1，i2....in=1...m

       如果序列为iid序列分布，则

       G_n=-n∑i1P(X₁=i1)*logP(X₁=i1)，i1=1...m

      则

          H(X)=-∑P(X₁=i1)*logP(X₁=i1)为一阶熵。

3、给定符号集A={a1,a2,a3,a4}，求以下条件下的一阶熵：

（a）P(a1)=P(a2)=P(a3)=P(a4)=1/4;

解：H(A)=-∑P(a_i)*logP(a_i)=-4*(1/4*log₂1/4)=2

 

（b）P(a₁)=1/2，P(a₂)=1/4，P(a₃)=P(a₄)=1/8；

解：H(A)=-∑P(a_i)*logP(a_i)=-(1/2*log₂1/2+1/4*log₂1/4+2*1/8*log₂1/8)=7/4

 

（c）P(a₁)=0.505，P(a₂)=1/4，P(a₃)=1/8，P(a₄)=0.12；

解：H(A)=-∑P(ai)*logP(ai)=-(0.505*log₂0.505+1/4*log₂1/4+1/8*log₂1/8+0.12*log₂0.12)

            =1/2+3/8-0.505*log₂0.505-0.12*log₂0.12

            =7/8-0.505*log₂0.505-0.12*log₂0.12

转载于:https://www.cnblogs.com/huangjidie/p/5844960.html