34、随机序列典型性相关知识解析

随机序列典型性相关知识解析

1 弱条件典型性

1.1 概率边界与条件典型性概念引入

对于两个随机序列 $\tilde{X}^n$ 和 $\tilde{Y}^n$，它们处于联合典型集 $T_{X^nY^n}^{\delta}$ 的概率有如下边界：
$$Pr\left{(\tilde{X}^n, \tilde{Y}^n) \in T_{X^nY^n}^{\delta}\right} \leq 2^{-n(I(X;Y) - 3\delta)}$$

条件典型性是我们期望任意两个随机序列所具有的性质，也是编码定理证明中的有用工具。假设两个随机变量 $X$ 和 $Y$ 分别有字母表 $\mathcal{X}$ 和 $\mathcal{Y}$ 以及联合分布 $p_{X,Y}(x, y)$，我们可以将联合分布 $p_{X,Y}(x, y)$ 分解为边缘分布 $p_X(x)$ 和条件分布 $p_{Y|X}(y|x)$ 的乘积。基于此，我们可以这样生成联合随机变量的实现：先根据分布 $p_X(x)$ 生成随机变量 $X$ 的一个实现 $x$，再根据条件分布 $p_{Y|X}(y|x)$ 生成随机变量 $Y$ 的一个实现 $y$。

1.2 条件样本熵与条件典型集定义

• 条件样本熵 ：两个序列 $x^n$ 和 $y^n$ 关于 $p_{X,Y}(x, y) = p_X(x)p_{Y|X}(y|x)$ 的条件样本熵 $H(y^n|x^n)$ 定义为：
  $$H(y^n|x^n) = -\frac{1}{n} \log p_{Y^n|X^n}(y^n|x^n)$$
  其中，$p_{Y^