1.1.15. Passive Aggressive Algorithms（被动攻击算法）

1.1.15. Passive Aggressive Algorithms

一、简介：

被动攻击算法体现出了一种在线学习(online learning)的思想。

之前在逻辑回归一章我们讨论过将分类问题转化为回归问题的方式。里面有两个核心关键词：可能性（程度）和可能性（概率）。

在这里，我们对模型的优化从两点考虑。

1. 样本是否分类正确
2. 模型预测的可能性（程度/概率）是否贴近实际。

Passive Aggressive Algorithms算法根据以上的判断准则优化自己的模型：

1. 在样本分类正确 且 模型对可能性的预测准确（程度大于一）时，模型不做调整（这里体现出了被动）
2. 在样本分类正确 但 模型对可能性的预测有失偏颇（不太准确）时，模型做出轻微的调整
3. 在样本分类错误时，模型做出较大的调整（体现出较强的“攻击性”）

二、具体实现

这里引用的是skearn里提供的文献“Online Passive-Aggressive Algorithms” K. Crammer, O. Dekel, J. Keshat, S. Shalev-Shwartz, Y. Singer - JMLR 7 (2006)

我们拿PA来举例。首先将目光投向损失函数(suffur loss) max{ 0,1−yt(ωt⋅xt)}max\{0, 1-y_t(\omega_t\cdot x_t)\}max{ 0,1−yt​(ωt​⋅x