先验概率、后验概率、条件概率以及熵、交叉熵、KL散度（相对熵）扫盲

先验概率，后验概率，似然概率，条件概率，贝叶斯，最大似然

相对熵（KL散度）

熵，交叉熵，相对熵（KL散度）

熵、交叉熵和相对熵的区别与联系

先验概率

      事件发生前的预判概率。可以是基于历史数据的统计，可以由背景常识得出，也可以是人的主观观点给出。一般都是单独事件概率，如P(x),P(y)。

条件概率

      一个事件发生后另一个事件发生的概率。一般的形式为P(x|y)表示y发生的条件下x发生的概率。一般也可以通过统计求得。

后验概率

      事件发生后求的反向条件概率；或者说，基于先验概率求得的反向条件概率。概率形式与条件概率相同。一般是使用贝叶斯公式得到的。

      下面来介绍一下贝叶斯公式：

P(y|x) = ( P(x|y) * P(y) ) / P(x)

      这里：
        P(y|x) 是后验概率，一般是我们求解的目标。

       P(x|y) 是条件概率，又叫似然概率，一般是通过历史数据统计得到。一般不把它叫做先验概率，但从定义上也符合先验定义。

         P(y) 是先验概率，一般都是人主观给出的。贝叶斯中的先验概率一般特指它。

        P(x) 其实也是先验概率，只是在贝叶斯的很多应用中不重要（因为只要最大后验不求绝对值），需要时往往用全概率公式计算得到。

          实例：假设y是文章种类，是一个枚举值；x是向量，表示文章中各个单词的出现次数。在拥有训练集的情况下，显然除了后验概率P(y|x)中的x来自一篇新文章无法得到，p(x),p(y),p(x|y)都是可以在抽样集合上统计出的。

熵

      信息熵反应了一个系统的有序化程度，一个系统越是有序，那么它的信息熵就越低，反之就越高。
    如果一个随机变量$X$的可能取值为$X = \{x_{1}, x_{2}, ..., x_{n}\}$，对应的概率为