熵，信息熵，香农熵，微分熵，交叉熵，相对熵

2019-07-13
https://blog.youkuaiyun.com/landstream/article/details/82383503
https://blog.youkuaiyun.com/pipisorry/article/details/51695283
https://www.zhihu.com/question/41252833
https://cloud.tencent.com/developer/article/1397504
按顺序查看更容易理解

---

0、背景
在信息论中，熵是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。这里， 消息代表来自分布或数据流中的事件、样本或特征。在信息世界，熵越高，则能传输越多的信息，熵越低，则意味着传输的信息越少。

和热力学熵的联系：在1948年，克劳德·艾尔伍德·香农将热力学的熵，引入到信息论，因此它又被称为香农熵。物理学家和化学家对一个系统自发地从初始状态向前演进过程中，遵循热力学第二定律而发生的熵的变化更感兴趣。在传统热力学中，熵被定义为对系统的宏观测定，并没有涉及概率分布，而概率分布是信息熵的核心定义。

1、自信息