33、预测理论：熵势与可计算性的探索

预测理论：熵势与可计算性的探索

1. 熵势的大小

熵势是一个新定义的量，我们首先关注它能达到的大小。存在一个关于 μ - 熵势的上下界命题：
- 命题 18 ：μ - 熵势总是有界的，满足 $\Pi \leq \frac{H}{w_{\mu}}$。在某些情况下，这个界在一个因子范围内是精确的，并且累积二次误差也是相同量级的，即 $\sum_{t = 1}^{\infty} E\left|\Xi - \xi\right| {2}^{2} = \Omega(\Pi) = \Omega(\frac{H}{w {\mu}})$。
- 证明 ：设 $A$ 为活跃集，有 $H \geq - \sum_{\nu \in A} w_{\nu} \log w_{\nu} = w(A)L(A) \geq w_{\mu}L(A) \geq w_{\mu}\Pi$。以示例 13 为例，当选择较大的 $m$ 和 $n$（$m, n > 1$）且 $H_0 := m$ 时，$H \approx \log 2$，$w_{\mu} \approx \frac{1}{m}$，$\Pi \approx H_0 \log 2 \approx \frac{H}{w_{\mu}}$，且预期累积二次误差约为 $\frac{1}{4}H_0$，所以该界成立。

命题 18 给出的是最坏情况的界，并不令人满意。不过，在轻尾情况（即权重衰减不太慢）下，熵势的量级为 $\log w_{\mu}^{-1}$。
- 命题 19 ：
- 若 $w_{\nu}$ 呈指数衰减，即 $