未来不再遥远

熵信息：h(x)=−logp(x)h(x)=-log p(x)h(x)=−logp(x) ，假设h(x)h(x)h(x)可以表示信息，p是一件事情发生的概率，那么x, y两件独立的事情，如下 h(m) = h(x)+h(y)，所以h函数肯定具有log函数的性质那么若干个的平均信息量:H(x)=(h(0)+h(1)+...+h(n))/nH(x)= (h(0)+h(1)+...+h(n))/nH(x)=(h(0)+h(1)+...+h(n))/nH(x)=−∑xp(x)logp(x)H(x)=-\s

信息熵 H(x)=-\int _{x}P(x)log(P(x))dx信息熵表示一个随机变量在经过随机事件结果，随机变量状态量的大小。条件熵表示的是在已知随机变量X的前提下，随机变量Y的信息熵，注意X是随机变量。H(Y|X) = \sum_{x,y}p(x,y)log\frac{p(x)}{p(x,y)}链式法则：H(X,Y)=H(X)+H...