信息熵是什么

    1948年，香农提出了"信息熵"的概念,一条信息的信息量大小和它的不确定性有直接的关系，要搞清楚一键不确定的事情，或者是我们一无所知的事情，

需要了解大量信息，需要了解大量信息→→信息量的度量就等于不确定性的多少

     例如：猜世界杯冠军，假如一无所知，猜多少次？

                每个队夺冠的几率是不等的 --p1,p2.......p32

                比特（bit）来衡量信息的多少

                 - ( p1 * log p1 + p2 * log p2 +  ...... + p32 * log p32)

               

                 变量的不确定性越大，熵也就越大