概率分布的 perplexity

1. 一种 measurement

信息论中，perplexity is a measurement of how well a probability distribution or probability model predicts a sample. 其越低，越能代表概率分布能更好地预测样本。

离散型概率分布 $p$ 的 perplexity 被定义为：

$$2^{H(p)}=2^{-\sum_xp(x)\log_2p(x)}$$

显然 $H(p)$ 表示的是 entropy。

有时也被写作自然对数的形式：

$$\exp\left(\sum_{x}p(x)\ln \frac1{p(x)}\right)$$
也即是逆概率的加权几何平均。

2. 概率模型的 perplexity

考虑未知概率分布（记为$p$）的概率模型（model），便可根据提取自 $p$ 的一个训练样本进行提出。如果此时提出一个概率模型 $q$，我们便可通过 perplexity 来评估所提出模型 $q$ 的好坏：

$$b^{-\frac1N\sum_{i=1}^N\log_bq(x_i)}$$

当然 可以取 2，也可以为自然常数。