9、熵相关概念、定理及应用解析

熵相关概念、定理及应用解析

1. 条件熵与熵增益

首先引入分区 $\pi \in PART(T)$ 在 $T$ 的子集 $S$ 上的迹的概念。
- 定义 3.21 ：设 $T$ 为集合，$\pi = {B_1, \ldots, B_k} \in PART(T)$，若 $S \subseteq T$，则 $\pi$ 在集合 $S$ 上的迹 $\pi_S$ 是集合的集合：$\pi_S = {B_i \cap S | B_i \in \pi \text{ 且 } B_i \cap S \neq S}$，且 $\pi_S$ 是 $S$ 的一个分区。
- 等价条件 ：对于 $\pi, \sigma \in PART(T)$，以下条件等价：
- $\pi \leq \sigma$；
- 对于每个 $S \subseteq T$，$\pi_S \leq \sigma_S$；
- 对于每个 $B \in \pi$，$\sigma_B = \omega_B$。

接着定义了 $\beta$ - 条件熵和香农条件熵。
- 定义 3.22 ：设 $\pi, \sigma \in PART(S)$，$\sigma = {C_1, \ldots, C_n}$，$\pi, \sigma$ 的 $\beta$ - 条件熵 $H_{\beta} : PART(S)^2 \to \mathbb{R} {\geq 0}$ 定义为 $H {\beta}(\pi|\sigma) = \sum_{j = 1}^{n} (\frac{|C_j|}{|S