18、在线学习：原理、算法与应用

在线学习：原理、算法与应用

1. 在线学习概述

在线学习是一种与传统PAC学习模型不同的学习方式。在PAC学习中，学习者先接收一批训练示例，利用训练集学习一个假设，学习完成后再用所学假设预测新示例的标签。例如在木瓜学习问题中，我们要先买一堆木瓜并品尝，然后利用这些信息学习预测新木瓜口味的规则。

而在线学习没有明确的训练阶段和预测阶段之分。每次购买木瓜时，先将其视为测试示例，预测它是否美味。咬一口后得知真实标签，这个木瓜又可作为训练示例，帮助改进对未来木瓜的预测机制。

具体来说，在线学习在一系列连续的轮次中进行。每一轮，学习者先接收一个实例（如购买木瓜并了解其形状和颜色），然后预测标签（木瓜是否美味），轮次结束时获得正确标签（品尝木瓜后得知结果），最后利用这些信息改进未来的预测。

为了分析在线学习，我们从在线二分类问题入手，考虑可实现情况（假设所有标签由给定假设类中的某个假设生成）和不可实现情况（对应无偏PAC学习模型），并介绍重要的加权多数算法。接着研究损失函数为凸函数的在线学习问题，最后介绍感知机算法作为在线学习模型中使用替代凸损失函数的示例。

2. 可实现情况下的在线分类

2.1 问题描述与目标

在线学习在连续轮次中进行，第t轮学习者接收实例$x_t$，预测标签$p_t$，之后得知正确标签$y_t \in {0, 1}$。学习者的目标是在这个过程中尽量减少预测错误。

如果过去和当前轮次之间没有关联，学习就无从谈起。在PAC模型中，我们假设过去和当前示例是从同一分布源独立同分布采样的，但在线学习模型对示例序列的来源没有统计假设，序列可以是确定性的、随机的，甚至可以根据学习