4、信息理论与自适应模型构建：从基础概念到实际应用

信息理论与自适应模型构建：从基础概念到实际应用

1. 信息理论的拓展

在香农的开创性工作之后，人们对熵和散度的性质及应用产生了浓厚兴趣。信息理论逐渐成为一个独立的科学领域，数学家们不断拓展香农的基本概念。如今，信息理论不仅在通信领域发挥重要作用，还广泛应用于物理、统计、生物以及信号处理和机器学习等工程领域。

1.1 熵和散度的广义定义

熵和散度的原始定义已在多个方向上得到扩展，如今它们可被视为一大类凹函数的描述符。
- φ - 熵 ：由Burbea和Rao引入，定义为 (H_{\varphi}(X) = \int \varphi(p(x))dx)，其中 (p(x)) 是连续随机变量 (x) 的概率密度函数（PDF），(\varphi) 是正实数上的连续凹实函数，且 (\varphi(0) = \lim_{t \to 0^{-}} \varphi(t))。
- (h, φ) - 熵 ：由于有些重要的熵定义无法用上述形式表示，Salicru定义了 ((h, \varphi)) 熵，即 (H_{h}^{\varphi}(X) = h(\int \varphi(p(x))dx))，其中 (\varphi) 是连续凹（凸）实函数，(h) 是可微且递增（递减）的实函数。过去50年提出的大多数熵定义都可以写成 ((h, \varphi)) 熵的形式，具体示例如下表所示：

熵类型	φ(x)	h(x)