5、主动学习与自适应实时动态规划算法解析

主动学习与自适应实时动态规划算法解析

1. 主动学习理论

1.1 标签复杂度示例

假设 $X = R^d$，$H$ 由过原点的线性分隔器组成。若 $P_X$ 是单位球面上的均匀分布，学习一个误差为 $\epsilon$ 的假设所需的标签数量仅为 $\Theta(d \log 1/\epsilon)$，这比监督学习的 $\Theta(d / \epsilon)$ 标签复杂度呈指数级减小。若 $P_X$ 不是均匀分布，但在各处与均匀分布相差一个大于 1 的乘法因子 $\gamma$，则标签复杂度变为 $\tilde{\Theta}((d \log 1/\epsilon) \log^2 \gamma)$，前提是未标记数据量增加 $\gamma^2$ 倍。

1.2 主动学习算法的两种方法

1.2.1 适度选择性采样

之前提到的标签复杂度结果是基于查询最具信息量的点。一种不太激进的策略是适度选择，即查询除那些明显无信息的点之外的所有点。这是最早的通用主动学习方案之一的核心思想。当数据点 $x_1, x_2, …$ 以流的形式到来时，对于每个点，学习者会做出是否请求标签的即时决策。具体步骤如下：
- 确定两种可能的标签 $(x_t, +)$ 和 $(x_t, -)$ 是否都与到目前为止看到的有标签示例一致。
- 如果是，则请求 $x_t$ 的标签 $y_t$；否则，将 $y_t$ 设置为唯一一致的标签。

这个检查可以通过两次调用监督学习器来高效执行。不过，该方案在标签复杂度上是次优的。有趣的是，存在一个称为分歧系数的参数，它可以表征该方案以及其他一些适度选择性学习器的标签复杂度。在实践中，该算法的最大