33、经典典型性：概念、性质与应用

经典典型性：概念、性质与应用

1. 典型性示例

假设Alice有一个二元随机变量X，取值为0的概率是3/4，取值为1的概率是1/4。如果我们生成10个独立的实现，可能会得到如下序列：

0110001101

这个序列出现的概率为：
[
\left(\frac{1}{4}\right)^5 \left(\frac{3}{4}\right)^5
]
该序列的信息含量（即样本熵）为：
[
-\frac{1}{10} \log_2 \left[\left(\frac{1}{4}\right)^5 \left(\frac{3}{4}\right)^5\right] = -\frac{5}{10} \log_2 \left(\frac{1}{4}\right) - \frac{5}{10} \log_2 \left(\frac{3}{4}\right) \approx 1.207
]
而该随机源的真实熵为：
[
-\frac{1}{4} \log_2 \left(\frac{1}{4}\right) - \frac{3}{4} \log_2 \left(\frac{3}{4}\right) \approx 0.8113
]
根据大数定律，随着序列长度的增加，随机序列的样本熵会趋近于真实熵。例如，一个长度为100的序列：

0000000010001000100000000000011001101000000