熵

在信息论中，熵是用来描述随机变量的不确定性程度，如果$X$是一个取有限个离散随机变量，其概率分布就可以表示为:
$P(X=x_i)=p_i , i=1,2,...n$
那么随机变量$X$的熵就可以定义为：
$H(X)=-\sum_i^np_ilogp_i$
在上式中如果$p_i=0$则定义$0log0=0$,一般情况下对数是以2或者$e$为底进行计算的。计算的熵的单位分别是比特（bit）或者纳特(nat).从定义中可以看出，熵的大小仅仅依赖于$X$的分布，与 X X <script type="math/tex" id="MathJax-Element-893">X</script>的取值没有关系。计算的熵越大，也就表示随机变量的不确定性越大。