32、多线索在线学习新概念的框架

多线索在线学习新概念的框架

在计算机视觉领域，很多问题具有序列性特点，系统需从有限数据集开始学习，并随数据增多不断更新解决方案。传统批处理算法往往要等足够训练数据才能产生结果，且更新时通常需重新训练，难以适应数据持续流入及资源受限的场景。而在线学习框架则能在每次接收样本后更新，计算复杂度低，但性能常不如批处理算法。本文提出一种结合多视觉线索的在线学习算法，旨在实现高性能、有限内存增长和快速学习时间的平衡。

1. 在线学习基础

在线学习可看作师生场景下的学习过程，教师展示实例，学生预测标签，教师给予反馈。为提高分类性能和鲁棒性，我们需要利用多线索进行学习。

1.1 从核感知机出发

在线学习按轮次进行，算法基于序列示例 ${x_t, y_t}_{t = 1}^l$ 学习映射 $f: X \to R$，其中 $x_t \in X$ 是实例，$y_i \in {-1, 1}$ 是标签。第 $t$ 轮估计的假设记为 $f_t$。每轮算法接收新实例 $x_t$，用当前函数预测标签 $\hat{y}_t = sign(f_t(x_t))$，可将 $|f(x)|$ 视为预测的置信度。之后揭示正确标签 $y_t$，算法在预测错误或置信度低时更新内部模型。

Rosenblatt 的感知机算法是经典的在线学习算法。在第 $t$ 轮，若预测错误（$\hat{y} t \neq y_t$），则更新假设 $f_t = f {t - 1} + y_tk(x_t, \cdot)$，即将 $x_t$ 存储在解中；否则假设不变 $f_t = f_{t - 1}$。假设 $f_t$ 可写成核展开形式 $f_t(x) = \sum_{i \in S_t}