16、机器学习中的顺序预测算法解析

机器学习中的顺序预测算法解析

在机器学习领域，顺序预测是一个重要的研究方向，其目标是尽可能减小累积预测损失。这一问题可转化为在顺序计算代码长度时，使累积代码长度最小化。下面将介绍三种预测算法，并从冗余度的角度进行渐近分析。

顺序预测框架

在之前的批量设置中，所有数据一次性输入，仅输出一次估计的参数值或模型。而在本章的在线设置中，数据按顺序输入，每次都进行预测。

设数据域为 $X$，可以是离散的或连续的。顺序随机预测算法在每个时间 $t$，根据过去的序列 $x_{t - 1} = x_1, \ldots, x_{t - 1}$ 输出一个预测分布 $\hat{p}(x) = p(x|x_{t - 1})$，然后接收结果 $x_t$ 来计算预测损失。

对于顺序随机预测算法 $A$，其在时间 $t$ 的预测损失用对数损失 $-\log p_A(x_t|x_{t - 1})$ 衡量。对于长度为 $n$ 的数据序列 $x = x_1, \ldots, x_n$，$A$ 相对于 $x$ 的累积对数损失定义为：
[
\sum_{t = 1}^{n}(-\log p_A(x_t|x_{t - 1}))
]
其中 $p_A(X|x_0)$ 是初始概率分布。由于对数损失 $-\log p_A(x_t|x_{t - 1})$ 是使用 $p_A$ 对 $x_t$ 给定 $x_{t - 1}$ 的代码长度，累积对数损失可视为使用 $A$ 的输出对 $x$ 进行顺序编码时的总代码长度。

为了衡量顺序随机预测算法的优劣，引入冗余度的概念。设 $P_k = {p(x; \theta); \theta \in \Theta}$ 是一个