熵（Entropy） & 条件熵 （Conditional Entropy） & 相对熵（Relative Entropy）- 学习笔记

信息熵（Entropy）：解决信息的度量问题

一条信息的信息量与其不确定性有直接的关系，如果对一件事情了解的很多，那么信息少一些，也能知晓事情本身；反之，如果对事情没有一点了解，那么则需要大量信息来对事情进行知晓。因此，信息量就等于不确定性的多少。

香农利用“比特（Bit）”来度量信息量，一个bit是一位二进制数，1字节=8bit。信息量的比特数与所有可能情况的对数函数log有关。

信息熵的定义如下：

                                                                       

由于熵的单位是二进制位（bit），所以是以log2为底，以下都是以log2为底。约定0log0=0