熵，信息熵，条件熵

随机事件 X 所包含的信息量与其发生的概率有关。发生的概率越小，其信息量就越大；反之，必定发生的事件（如太阳东升西落），其信息量为 0。
信息量公式：I(X) = −logp(X) ，其中 I 是 information 的缩写。
信息量公式的单位：
log 以2为底，记作lb，单位比特（bit）
log 以e为底，记作ln，单位奈特（nat）
log 以10为底，记作lg，单位哈脱来（hat）
信息熵：随机变量 X 不确定性的度量，是对 X 所有可能值产生的信息量的期望。
信息熵公式：

由公式可知：信息熵只与随机变量X的概率分布 p(x) 有关。
条件熵：表示在已知随机变量 X 的条件下随机变量 Y 的不确定性。
条件熵公式：

例子：

一个二进制源X发出符号集为{-1,1}，经过离散无记忆信道传输，由于信道中噪音的存在，接收端Y收到符号集为{-1,1,0}。已知P(x=-1)=1/4，P(x=1)=3/4，P(y=-1|x=-1)=4/5，P(y=0|x=-1)=1/5，P(y=1|x=1)=3/4，P(y=0|x=1)=1/4，求条件熵H(Y|X)（ ）

由选项单位为 bit 可知，log 函数以2为底，故将p(x=-1)=1/4，p(x=1)=3/4，p(y=0|x=-1)=1/5，p(y=1|x=1)=3/4，p(y=0|x=1)=1/4 代入条件熵公式得：

待补充