30、在线学习：原理、算法与应用

在线学习：原理、算法与应用

1. 在线学习概述

在线学习是一种与传统PAC学习模型不同的学习模式。在PAC学习中，学习者先接收一批训练示例，利用训练集学习一个假设，学习完成后再用学到的假设对新示例进行预测。以木瓜学习问题为例，就是先买一堆木瓜并全部品尝，然后用这些信息学习一个预测规则来判断新木瓜的口味。

而在线学习没有训练阶段和预测阶段的区分。每次购买木瓜时，先将其视为测试示例，预测它是否好吃。咬一口木瓜后，知道了真实标签，这个木瓜又可以作为训练示例，帮助改进对未来木瓜的预测机制。

具体来说，在线学习是在一系列连续的轮次中进行的。在每一轮中，学习者首先接收一个实例（如购买一个木瓜并知道其形状和颜色），然后需要预测一个标签（木瓜是否好吃）。轮次结束时，学习者获得正确标签（品尝木瓜后知道是否好吃），最后利用这些信息改进未来的预测。

为了分析在线学习，我们从在线二分类问题入手，考虑可实现情况和不可实现情况。可实现情况假设所有标签由给定假设类中的某个假设生成，不可实现情况对应无偏PAC学习模型。此外，还会介绍重要的加权多数算法，研究损失函数为凸函数的在线学习问题，并以感知机算法为例说明在线学习模型中替代凸损失函数的使用。

2. 可实现情况下的在线分类

2.1 基本概念

在线学习在一系列连续轮次中进行，在第t轮，学习者会得到一个来自实例域X的实例$x_t$，需要给出其标签，预测标签记为$p_t$。预测后，正确标签$y_t$∈{0, 1}会被揭示给学习者。学习者的目标是在这个过程中尽量减少预测错误。

如果过去和现在的轮次之间没有关联，学习就会变得毫无希望。在PAC模型中，假设过去和现在