规定 0ln0=0,
性质1
对于任意一个取值个数为 n 的随机变量
H(X)≤lnn, 当且仅当 pi=1n,∀i∈N+ 时等号成立。
证明
lnx≤x−1,∀x∈(0,+∞), 当且仅当 x=1 时等号成立。
H(X)−lnn=−∑ni=1pilnpi−∑ni=1pilnn
=−∑ni=1piln(npi)
=∑ni=1piln1npi
≤∑ni=1pi(1npi−1)
=0
当且仅当 1npi=1⇔pi=1n,∀i∈N+ 时等号成立。
性质2
设变量 X∼p,Y|X∼q,Z=(X,Y), 则
H(Z)=H(X)+EX(H(Y|X))
证明
不妨设 Z=(X,Y)∼r,
离散变量
H(X)=−∑∞i=1pilnpi
H(Y|xi)=−∑∞j=1qijlnqij,∀i∈N+,
H(Z)=−∑∞i=1∑∞j=1rijlnrij
因此
H(Z)=H(X)+EX(H(Y|X))
=H(X)+∑∞i=1p(xi)H(Y|xi)
=−∑∞i=1pilnpi+∑∞i=1pi(−∑∞j=1qijlnqij)
=−∑∞i=1pi(∑∞j=1qij)lnpi+∑∞i=1pi(−∑∞j=1qijlnqij)
=−∑∞i=1∑∞j=1piqijlnpi−∑∞i=1∑∞j=1piqijlnqij
=−∑∞i=1∑∞j=1(piqijlnpi+piqijlnqij)
=−∑∞i=1∑∞j=1piqijln(piqij)
=−∑∞i=1∑∞j=1rijlnrij
=H(Z)
连续变量
H(Z)=H(X)+EX(H(Y|X))
=H(X)+∫+∞−∞p(x)H(Y|x)dx
=∫+∞−∞p(x)lnp(x)dx+∫+∞−∞p(x)[∫+∞−∞q(y|x)lnq(y|x)dy]dx
=∫+∞−∞p(x)[∫+∞−∞q(y|x)dy]lnp(x)dx+∫+∞−∞p(x)[∫+∞−∞q(y|x)lnq(y|x)dy]dx
=∫∫+∞−∞p(x)q(y|x)lnp(x)dxdy+∫∫+∞−∞p(x)q(y|x)lnq(y|x)dxdy
=∫∫+∞−∞p(x)q(y|x)ln(p(x)q(y|x))dxdy
=∫∫+∞−∞r(x,y)lnr(x,y)dxdy
=H(Z)