36、对抗环境下线性分类器的安全性与稀疏性

对抗环境下线性分类器的安全性与稀疏性

在机器学习领域，线性分类器的安全性和稀疏性是两个重要的研究方向。在对抗环境中，攻击者可能会试图通过修改输入数据来逃避分类器的检测，因此提高线性分类器的安全性至关重要。同时，在移动和嵌入式系统中，稀疏的权重更受青睐，因为它们可以减少处理时间、内存需求，并提高决策的可解释性。

1. 背景知识

1.1 攻击者模型

为了严谨地分析针对机器学习的可能攻击并制定相应的对策，需要一个正式的攻击者模型。该模型基于攻击者的目标、对分类器的了解程度以及操纵输入数据的能力来定义。
- 攻击者目标 ：本文主要关注逃避攻击，即攻击者试图修改单个恶意样本，使其被分类器误分类为合法样本，并且具有最高的置信度。
- 攻击者知识 ：攻击者对目标分类器的了解程度不同，可能对训练数据、特征集和分类算法有有限或完全的了解。本文主要考虑具有完全知识（最坏情况）的攻击。
- 攻击者能力 ：在逃避攻击中，攻击者只能修改恶意实例，并且修改实例通常需要一定的成本。此外，任意修改可能会使实例失去恶意性质，因此需要一个与应用相关的约束。常见的约束有稀疏（ℓ1）和密集（ℓ2）攻击。
- 稀疏攻击（ℓ1） ：成本取决于修改的特征数量，例如在文本处理中，攻击者通常希望更改尽可能少的单词。
- 密集攻击（ℓ2） ：修改特征的成本与原始样本和修改后样本在欧几里得空间中的距离成正比，例如在图像处理中，攻击者可能更愿意对许多甚至所有像素进行小的更改。
-