6、信息论相关知识详解

信息论相关知识详解

1. 基础概念与公式

1.1 抛硬币平均惊喜度

在抛硬币的场景中，设出现正面的比例为 (p(x_h))，出现反面的比例为 (p(x_t))，且 (p(x_h)+p(x_t) = 1)。
- 平均惊喜度公式 ：平均惊喜度的公式为 (H(x) = p(x_h) \log \frac{1}{p(x_h)} + p(x_t) \log \frac{1}{p(x_t)})。
- 平均惊喜度值（以比特为单位） ：若 (p(x_h) = 0.98)，(p(x_t) = 0.02)，则平均惊喜度 (H(x) = [0.98 × 0.0291] + [0.02 × 5.643] = 0.1414) 比特。

以下是计算平均惊喜度的 Python 代码：

import autograd.numpy as np

def binaryEntropy(p):
    return -p * np.log2(p) - (1 - p) * np.log2(1 - p)

print("binaryEntropy(p) is:{} bits".format(binaryEntropy(0.98)))

1.2 Kullback - Leibler 散度（KLD）

1.2.1 公式

对于离散概率分布 (P) 和 (Q)，Kullback - Leibler 散度从 (P) 到 (Q) 的定义为：
(D(P | Q) = \