目标追踪论文之狼吞虎咽(2):在线被动攻击学习

最近看STRCF算法，这是一个克服遮挡和大幅形变的实时视觉追踪算法。这篇论文的主要贡献如下：

1. 通过将空间和时间正则化纳入 DCF 框架，提出了 STRCF 模型。基于在线 PA 的 STRCF 不仅可以合理地逼近多幅训练图像上的 SRDCF 形式，而且在较大的外观变化情况下比 SRDCF 具有更强的鲁棒性。
2. 为高效求解 STRCF，开发了一种 ADMM 算法，其中每个子问题都有封闭形式的解。并且本文提出的算法可以在非常少的迭代中经验地收敛。
3. 本文提出的 STRCF 具有人工设计的特征，可以实时运行，相比 SRDCF 在准确率上有了显著的提升。此外，STRCF 与最先进的追踪器 [9，15] 相比，性能良好。

论文中反复提到STRCF算法是在线被动攻击学习(PA）算法的扩展，于是我找来了PA算法的论文，一篇2006年发表的古老的论文。

问题

符号	表示
$x_t$	n维向量，第t次循环中的输入实例
$y_t$	$x_t$对于的类标，取值为+1,-1
$(x_t,y_t)$	实例-类标对，也叫一个示例
w	n维权重向量
$|w\cdot x|$	预测置信度
$y_t(w_t\cdot x_t)$	第t次循环中（有符号的）边际利润

当边际利润margin是正数时，$sign(w_t\cdot x_t)=y_t$，这时算法预测正确。然而，我们不满足于一个正边际利润值，我们还希望算法能有很高的预测置信度。于是，算法的目标是尽可能经常实现一个最少是1的边际利润，在每次循环中当边际利润小于1时就会有一个瞬间损失。这就是所谓的hinge损失函数：

$$l(w;(x,y))= \begin{cases} 0& {y(w\cdot x)\ge 1}\\ 1-y(w\cdot x)& {otherwise} \end{cases} (1)$$
解释：当边际利润>1时，损失值=0，否则等于1和边际利润之间的差值。注意到，选择1作为边际阈值其实是相当随意的。所以后面在解决回归问题时，作者又将hinge损失函数推广到一般化，将这个边际阈值作为一个用户输入的参数。
记 $l_t=l(w_t;(x_t,y_t))$，本文给出的算法将被证明在给定的示例序列中获得一个小的累积平方损失，即作者能证明在 $\sum_{t=1}^{T}l_t^2$上不同的界限，其中T是序列的长度。注意到当有一个预测错误出现时， $l_t^2\ge 1$，因此累积平方损失的界限也限制在示例序列中错误预测的数量。

二分类算法

本节作者给出了二分类问题在线学习算法的三种变体。这三种变体的w1w1