48、概率与信息理论中的重要概念与不等式

概率与信息理论中的重要概念与不等式

1. 概率表示与不等式推导

1.1 概率表示

在概率研究中，我们会遇到多种概率表示方式。对于联合概率空间 $(XW, p_{XW})$，可以用 $\text{prob}(B(x, w) = 1 : x \overset{p_X}{\leftarrow} X, w \overset{p_{W_x}}{\leftarrow} W_x)$ 来表示 $B(x, w) = 1$ 的概率，这里 $B$ 是 $X \triangleleft!\triangleright W$ 上的布尔谓词。更一般地，对于由迭代连接纤维形成的 $(X_1X_2 \cdots X_r, p_{X_1X_2\cdots X_r})$，可以用 $\text{prob}(B(x_1, \cdots, x_r) = 1 : x_1 \leftarrow X_1, x_2 \leftarrow X_{2,x_1}, \cdots, x_r \leftarrow X_{r,x_1\cdots x_{r - 1}})$ 来表示相应概率。

1.2 重要不等式

1.2.1 引理 B.14

设 $X$ 是实值随机变量，$f : \mathbb{R} \to \mathbb{R}$ 是函数，$D \subseteq \mathbb{R}$ 是区间，$c \in \mathbb{R}$ 且 $c > 0$，使得对于所有 $x \notin D$ 有 $f(x) \geq c$。定义 $D$ 的特征函数 $\chi_D(x)$ 为：
[
\chi_D(x) :=
\begin{cases}
1, &