weixin_49171105的博客

从SAT的无蒸馏、TRADES\MART的自蒸馏到ARD的全蒸馏，鲁棒性不断提高.IAD[62]也是一种对抗性蒸馏方法，通过使用教师和学生网络的知识，使蒸馏过程更加可靠。请注意，在我们的RSLAD中，蒸馏方法中常见的。由于对抗性训练的教师网络T（x）产生的RSL也用于监督学生外部最小化的干净训练部分，因此我们将常用的CE损失替换为KL散度，以公式化两个模型的输出概率之间的分布差异程度。与最初的硬标签相比，RSL定义了教师网络的完全鲁棒行为，从而将教师学到的更鲁棒的知识传达给学生。我们将这种类型的监督称为。

现有的VLP模型只擅长于理解的任务或基于生成的任务。本文提出了BLIP，可以灵活地转移到视觉语言理解和生成任务。BLIP通过引导字幕有效地利用了有噪声的网络数据，其中，字幕生成器生成合成字幕，滤波器去除有噪声的字幕。

我们首先提出了一种基于颜色变化的局部变换攻击(LTA)。它使用更明显的颜色变化来随机干扰检索图像的颜色，而不是添加随机噪声。实验结果表明，所提出的LTA方法性能优于现有的先进攻击方法。此外，考虑到轮廓特征是对抗训练鲁棒性的主要因素，颜色特征将直接影响攻击成功率。为此，我们进一步提出了联合对抗防御(JAD)方法，包括主动防御和被动防御。主动防御融合多模态图像增强轮廓特征和颜色特征，并考虑局部同态变换解决过拟合问题。被动防御利用了图像缩放过程中轮廓特征的不变性，减轻了对抗性对轮廓特征的干扰

本文提出了一种解耦对抗对比学习（DeACL）的两阶段框架。该方法不同于之前直接将AT集成到SSL中的方法，而是将整个分为两阶段进行，这种动机将任务的重点冲为耦合问题寻找最优集成策略转移到为在问题寻找子解决方案。两阶段看似比但阶段耗费时间，但事实是：SSL需要比有监督的训练多M倍的迭代，AT通常比标准训练慢N倍，将AT与SSL组合到一起进行但阶段训练其速度慢了M*N倍，DeACL由于解缠效应只满了M+N倍

目标检测作为计算机视觉的基本任务，随着深度神经网络的出现而取得了显著的进展。然而，很少有研究在各种现实场景中探索目标检测器抵抗对抗攻击的对抗鲁棒性。探测器已经受到不可察觉的扰动的极大挑战，在干净图像上的性能急剧下降，在对抗性图像上的性能极差。在本文中，我们对目标检测中对抗鲁棒性的模型训练进行了实证研究，这在很大程度上归因于学习干净图像和学习对抗图像之间的冲突。为了缓解这一问题，我们提出了一种基于对抗意识卷积的鲁棒检测器(RobustDet)，用于在干净的和对抗的图像上解耦模型学习的梯度。

视觉转换器(ViT)作为卷积神经网络(CNN)的有力替代方案，受到了广泛的关注。最近的研究表明，vit也容易受到cnn等对抗实例的攻击。为了构建健壮的vit，一种直观的方法是应用对抗性训练，因为它已被证明是实现健壮cnn的最有效方法之一。然而，对抗训练的一个主要限制是它的计算成本很高。ViTs采用的自注意机制是一种计算强度较大的操作，其费用随着输入补丁数量的增加而成倍增加，使得ViTs上的对抗性训练更加耗时。在这项工作中，我们首先全面研究了各种视觉转换器上的快速对抗训练，并说明了效率与鲁棒性之间的关系。

黑盒攻击替代模型与受攻击模型之间的差距通常较大，表现为攻击性能脆弱。基于同时攻击不同模型可以提高对抗样本的迁移性观察，提出了利用变换后的图像模拟不同模型的模型增强方法。然而，现有的空间域转换并不能转化为显著多样化的增强模型。为了解决这个问题，我们提出了一种新的频谱模拟攻击，以针对正常训练和防御模型制作更多的可转移的对抗样本，具体地说，我们对输入应用频谱变换，从而在频域执行模型增强。我们从理论上证明了从频域导出的变换会导致一个多样化的频谱显著图，这是我们提出的一个反映替代模型多样性的指标。

在这项工作中，我们提出了一种有效和高效的分割攻击方法，称为SegPGD。此外，我们还提供了收敛性分析，表明在相同次数的攻击迭代下，所提出的SegPGD可以创建比PGD更有效的对抗示例。此外，我们建议应用我们的SegPGD作为分割对抗训练的底层攻击方法。由于SegPGD可以创建更有效的对抗样本，使用我们的SegPGD进行对抗训练可以提高分割模型的鲁棒性。在流行的分割模型架构和标准分割数据集上的实验也验证了我们的建议。

在本文中，我们提出从数据分布的角度来理解和改进对抗可转移性，这建立在机器学习方法中的经典假设之上，即深度模型可以正确地分类与训练数据集独立且同分布的验证数据，但很难分类非分布的示例。因此，微调模型的梯度可以近似于真实数据分布的梯度，并且微调模型的梯度生成对抗样本的过程可以近似于 Langevin 动力学的过程，这使能够操纵图像的分布。我们的方法可以显著提高精心设计的攻击的可移植性，并在无目标和有目标的场景中实现最先进的性能，在某些情况下超过之前的最佳方法高达40%。第一项是常数，因为不依赖模型的参数。

我们针对最先进的分类器开发了五个攻击案例研究，当仅在一个生成器上训练时，该分类器在几乎所有现有的图像生成器上实现了0.95的ROC曲线下面积(AUC)。通过对分类器的完全访问，我们可以翻转图像中每个像素的最低位，以将分类器的AUC降低到0.0005;我们还开发了一种黑盒攻击，在无法访问目标分类器的情况下，将AUC降低到0.22。扰动 1% 的图像区域以将分类器的 AUC 降低到 0.08，或者在合成器的潜在空间中添加单个噪声模式以将分类器的 AUC 降低到 0.17。，将 AUC 降低到 0.22。

为了提高小模型的鲁棒性和精确性，本文引入了多教师对抗性鲁棒性蒸馏MTARD，来指导小模型的对抗训练过程，具体而言就是，MTARD使用多个大型教师模型，包括一名对抗性教师和一名干净教师，通过知识提炼指导小型学生模型进行对抗性训练，此外我们设计了一种动态算法，平衡对抗性教师模型和清洁教师模型之间的影响

在自然语言处理NLP中，AT可以从泛化中受益，我们注意到AT在NLP任务中的有优点可能来自于离散和符号输入空间。为了借鉴NLP风格AT的优势，我们提出了离散对抗训练（DAT）。DAT利用VQGAN将图像数据改为离散的类似文本的输入，即视觉单词。然后，它使具有符号对抗性扰动的离散图像上的最大风险最小化。我们进一步从分布的角度进行了解释，以证明DAT的有效性。作为一种增强视觉表现的即插即用技术，DAT在包括图像分类、对象检测和自我监督学习在内的多个任务上实现了显著的改进.。

众所周知，深度神经网络（DNN）容易受到对抗性攻击，这种攻击是通过在良性示例中添加精心设计的扰动来实现的。基于最小-最大鲁棒优化的对抗性训练可以提供对抗性攻击的安全概念。然而，对抗性鲁棒性需要比仅具有良性示例的自然训练更大的网络容量。本文提出了一种并行对抗性训练和权重修剪的框架，该框架在保持对抗性鲁棒性的同时实现了模型压缩，并从本质上解决了对抗性训练的困境。此外，本工作研究了传统环境中关于权重修剪的两个假设，并发现在对抗环境中，权重修剪对于减小网络模型大小至关重要；

实现鲁棒性的一种补充方式是引入拒绝选项，允许模型不返回对不确定输入的预测，其中confidence是常用的确定性代理。与此例程一起，我们发现置信度和校正置信度（R-Con）可以形成两个耦合的拒绝度量，这可以证明区分错误分类的输入和正确分类的输入。这一有趣的特性揭示了使用耦合策略来更好地检测和拒绝对抗性示例。我们评估了CIFAR-10、CIFAR-10-C和CIFAR-100在几种攻击（包括自适应攻击）下的纠正拒绝（RR）模块，并证明RR模块在提高鲁棒性方面与不同的对抗性训练框架兼容，几乎不需要额外计算。

我们开发了一个使用 FW 优化 (FW-AT) 进行对抗训练的理论框架，揭示了损失情况与 ℓ∞ FW 攻击的 ℓ2 失真之间的几何联系。我们分析表明，FW 攻击的高失真相当于攻击路径上的小梯度变化。然后在各种深度神经网络架构上通过实验证明，针对鲁棒模型的 ℓ∞ 攻击实现了接近最大的失真，而标准网络具有较低的失真。实验表明，灾难性过拟合与 FW 攻击的低失真密切相关。这种数学透明度将 FW 与投影梯度下降 (PGD) 优化区分开来。为了证明我们的理论框架的实用性，我们开发了 FW-AT-Adapt，这是一种新

对抗训练已被证明是提高深度神经网络鲁棒性的最有效方法之一。它被形式化为对模型权重和对抗性扰动的最小-最大优化，其中权重可以通过梯度下降方法（如SGD）进行优化。在本文中，我们证明了将模型权重视为随机变量允许通过关于权重的二阶统计优化（S2O）来增强对抗性训练。通过放宽先前PAC贝叶斯框架中所有权重都是统计独立的常见（但不现实）假设，我们导出了一个改进的PAC贝叶斯对抗性泛化界，这表明优化权重的二阶统计可以有效地收紧该界。除了这一理论见解之外，我们还进行了一系列广泛的实验，这些实验表明，S2O不仅在单独使用时

基于双重随机梯度的核支持向量机快速可扩展对抗性训练本文针对核支持向量机，提出了adv-SVM，通过对抗训练来提高其对抗鲁棒性。具体而言：文章主要贡献：背景知识：SVM是在一个2分类数据集上训练的，其中是d维输入空间的正常样本，是对应的标签，AT可以表述维最小-最大问题，内部最大化问题模拟攻击者行为，该攻击这构建了导致最大输出是真的对抗样本： 代表hinge loss外部最小化问题的目标是找到使内部最大化造成的损失最小化的参数： SVM中的AT一旦将对抗样本映射到内核空间将变得不可测，但原始空间和核空间扰动之

对抗训练需要在训练时间段内重复生成针对图像批次的攻击，其高复杂性一直时其广泛使用的控制因素 。因此，迄今为止，AT仅用于普通数据集上的训练。很少有研究人员在一定程度上通过提出适度提高了复杂性的AT变体来解决问题，扩展这些进步，这项工作探索了在训练时间方面进一步提高AT复杂性的简单而有效的方法。具体而言，通过这项工作，我们探索了a）训练连续对抗时期和b）在对抗时期攻击整个数据集对于鲁棒学习模型是否是必要的。

为了提高训练效率，在fast AT 中采用快速梯度符号法FGSM，只计算一次梯度，但是鲁棒性不能令人满意。一个原因是可能来自初始化方式，现有的fast AT通常使用随机样本的不可知初始化，这虽然促进了运行效率，但是阻碍了进一步改进鲁棒性。在本文中以图像分类为重点，提出了一种基于样本的对抗性初始化来增强基于FGSM的快速AT，称为FGSM-SDI，依赖于样本的初始化由生成网络计算，生成网络不仅基于良性图像(该良性图像是指没有对抗性扰动的原始干净图像)还基于目标网络的有符号梯度。良性图像提供了损失景观中的位置

文章研究了深度网络在对抗训练中引起的。通过在训练过程中加入来减少这种影响，我们提出的方法在不影响鲁棒性的情况下，提高了显著的精度，与现有的防御相比，他在准确性和鲁棒性之间取得了更好的权衡。

本文提出了一种的通用数字图像操作反取证框架，称为，为了解决问题，提出的框架结合了操作特定的取证特征和机器学习的知识，以确保生成的图像对各种检测器表现出更不好的不可检测性能。DDGAN由组成，例如，从目标任务的取证分析角度来看，通过中值滤波和JPEG压缩反取证实验，证明了所提出的方法在和优于现在的方法。

本文提出了一种有效量化对抗样本的方法，以便在空间域或者JPEG域中生成对抗样本，是一个最小量化误差为目标，同时保持量化后图像的对抗性，以及最小化失真。本文提出了拉格朗日公式，并对拉格朗日乘数进行了适当的搜索，从而提高了成功率。本文只要针对白盒攻击的有目标和无目标攻击。

本文考虑到了更实际的问题，主要针对一个无法访问真实数据和查询目标模型预算有限的黑箱模型。由高效的生成器和替代蒸馏模型两部分组成。该方法可以通过少量的查询有效地模拟目标模型，在基于概率和基于标签的黑盒设置下，都能获得较高的成功率。

对抗训练在过度参数化的情况下，需要很高的计算量和大内存运算，为了弥合对抗鲁棒性和模型压缩，本文提出了一种新的。通过利用对抗损失的和以及，可以精确估计网络参数的对抗显著性。

对抗攻击的防御模型显著增长，但缺乏实用的评估方法阻碍了进展。评估可以定义为：在给定迭代次数和测试数据集的情况下寻找防御模型的鲁棒性下限。一种使用的评估方法应该是方便的（即无参数的）、高效的（更少的迭代）、可靠的（接近稳健性的下限），针对这个目标，我们提出了一种无参数自适应自动攻击（）。自适应自动攻击由自适应方向初始化（ADI ）和在线统计丢弃策略（OSD）组成。ADI策略可以加快评估速度，DSD可以自动识别和丢弃难以攻击的图像。

这项工作研究了针对深度神经网络 (DNN) 的，其中攻击者只能访问被攻击的 DNN 模型返回的查询反馈，而模型参数或训练数据集等其他信息是未知的。提高攻击性能的一种有前途的方法是利用一些白盒代理模型和目标模型（即被攻击模型）之间的对抗性可迁移性。然而，由于代理模型和目标模型之间的模型架构和训练数据集可能存在差异，被称为“”，对抗性可迁移性对提高攻击性能的贡献可能会被削弱。为了解决这个问题，我们创新地提出了一种黑盒攻击方法，通过开发一种对抗性可转移性的新机制，该机制对代理偏差具有鲁棒性。总体思路是。

现有的研究已将top-1攻击成功率（ASR）的限制确定为评估攻击强度的指标，但仅在白盒设置中进行了研究，而我们的研究将其扩展到更实用的黑盒设置：可转移攻击。据广泛报道，更强的I-FGSM传输比简单的FGSM传输更差，这导致人们普遍认为传输性与白盒攻击强度不一致。我们的工作挑战了这一信念，结果表明，对于一般的top-k ASR来说，更强的攻击实际上转移得更好，这由攻击后的兴趣等级（ICR）表示。为了增加攻击强度，从几何角度直观分析logit梯度，我们发现常用损失的弱点在于优先考虑欺骗网络的速度，而不是最大化其

本文研究了对抗扰动在不同模式下的可迁移性，即利用白盒图像模型上生成的对抗扰动来攻击黑盒模型。具体来说，由于观察到图像和视频帧之间的低级特征空间相似，本文提出了一种简单而有效的跨模态攻击方法，称为图像到视频攻击（I2V），I2V通过最小化来自对抗性和良性样本的预训练图像模型的特征之间的余弦相似性来生成对抗帧，然后结合生成的对抗帧对视频识别模型执行黑盒攻击。在本文中，对手无法访问有关视频模型的知识，I2V利用了从图像模型生成的对抗样本来在黑盒模型中攻击视频模型。f(x):输入视频的视频识别模型的预测。

注意到用于图像的不可感知性的定义可能不适用与视频，在视频中，在两个连续帧中随机发生的小强度变化仍然是可感知。本文提出使用在视频分析系统中执行对抗攻击。这种扰动对于以特别有用，因为无论如何在以自我为中心的视频中都会有很多抖动，再加上一点，就可以让他非常难以察觉。一般来说，该想法可以看作是添加作为对抗性扰动。本文通过向帧中添加来实现这一想法，表明使用我们的技术，与SOTA AA技术相比，可以在三分之一的查询中在以自我为中心的活动检测系统上安装黑盒AA。

本文提出了一种边界排斥模型反转：BERP-MI，该模型只使用目标模型预测标签反转私有训练数据，算法的关键思想是评估模型在球体上的预测标签，然后估计到达目标类质心的方向。

基于GAN的特征选择的过采样入侵检测技术本文对现有过采样方法的设计原理和不足进行了综述和分析，在此基础上，从入侵检测数据集不平衡和高维的角度出发，提出了一种基于生成对抗网络和特征选择的过采样技术。具体而言，本文基于WANG-GP对攻击的复杂高维分布建模，生成额外的攻击样本，然后根据方差分析选择代表整个数据集的特征子集，最终生成一个重新平衡的低维数据集用于机器学习训练。

本文提出了一种，称为360-attack，它将对抗性扰动从透视图PV图像转移到最终的对抗性球形图像。给定一个目标球面图像，首先用一组平面PV图像来进行表示，然后对它们进行以获得对抗性PV图像。考虑到球面图像和PV图像之间的投影失真问题，提出了一种，以减少失真对攻击的负面影响。此外，为了重建具有高攻击的最终对抗性球面图像，使用了一种，该策略将球面图像上同一位置的多个逆透视投影合并。实验结果表明，360度攻击在黑盒环境下对干扰球面图像是有效的，我们的攻击还证明了。

提出了第一种生成上下文一致对抗攻击的方法，该攻击可以逃避在复杂自然场景上运行的黑盒目标检测器的上下文一致性检查。与许多执行重复尝试并打开自身以进行检测的黑盒攻击不同，我们假设“零查询（ZQA ）”设置，其中攻击者不知道受害系统的分类决策。首先，我们推导出多个攻击计划，以上下文一致的方式为受害者对象分配不正确的标签。然后我们设计并使用一种称为扰动成功概率矩阵(PSPM)的新数据结构，它使我们能够过滤攻击计划并选择最有可能成功的攻击计划。这个最终的攻击计划是使用扰动有界的对抗攻击算法实现的。

在本文中，我们提出了基于神经元归因的攻击 (NAA)，它通过更准确的神经元重要性估计来进行特征级攻击。由于最小化输出神经元的总归因可以同时减少积极归因和扩大消极归因，我们考虑由计算的同一层神经元的所有归因。最后一个因素是加权归因，包括γ， fp(·)和fn(·)，以检验不同极性和值的神经元归因的重要性。首先，神经元归因为神经元重要性的建模提供了一种简单而有效的方法，它反映了真实的归因对输出的影响。此外，独立假设简化了神经元归属的表示，同时提高了生成的对抗示例的可转移性。...

在这项工作中，我们将迭代集成攻击视为随机梯度下降优化过程，其中不同模型上梯度的方差可能导致局部最优值不佳。为此，我们提出了一种新的攻击方法，称为随机方差降低集成（SVRE）攻击，它可以减少集成模型的梯度方差并充分利用集成攻击。标准ImageNet数据集的实证结果表明，所提出的方法可以提高对抗性可迁移性，并显着优于现有的集成攻击。......

在本文中，我们提出了分段和完整防御（SAC），这是一种通过检测和去除对抗性补丁来保护对象检测器免受补丁攻击的通用框架。我们首先训练一个补丁分割器，它输出补丁掩码，提供对抗补丁的像素级定位。然后，我们提出了一种自我对抗训练算法来增强补丁分割器的鲁棒性。此外，我们设计了一种鲁棒的形状完成算法，如果补丁分割器的输出在真实补丁掩码的一定汉明距离内，则保证从图像中删除整个补丁。

本文主要研究了基于0-范数的稀疏对抗攻击，这种攻击只需要修改图像中的几个像素点就可以成功，但先验稀疏攻击方法由于对目标模型过拟合，在黑盒协议下的可转移性比较低，本文引入一种生成器架构来缓解过拟合问题，以提高其可转移性。这种框架，将原始图像输入生成器，通过一次前馈推理快速获得对抗图像，不需要梯度反向传播。该框架将对抗扰动解耦为两个分量，分别控制畸变大小和被扰动像素的位置。然后再位置图上应用稀疏正则化，以达到满意的稀疏性，映射的每个点都是一个二进制值，即0/1，这会导致离散优化问题。

本文提出了金字塔对抗训练（Pyramid AT），可以提高VIT的整体性能。将其与一个“匹配的”Dropout和随机深度正则化配对，该正则化对干净和对抗样本采用相同的Dropout和随机深度配置。金字塔对抗训练打破了VIT和相关架构的分布内准确性和分布外鲁棒性之间的平衡。金字塔攻击旨在以一种结构化的、可控的方式(类似于增强亮度)对图像进行大编辑，并以一种灵活的方式(类似于像素对手)对图像进行小编辑。

单步对抗训练AT存在一个灾难性过拟合问题，在训练过程中，针对PGD攻击的文件准确性突然下降到0%。本文揭示了每个样本的快速增长梯度与过拟合之间的密切联系，这也可以应用于理解多步骤AT中的鲁棒过拟合。为了控制梯度的增长，我们提出了一种新的AT方法，即子空间对抗训练（Sub-AT），它在一个精心提取的子空间中约束AT。它成功地解决了这两种过拟合的问题，大大提升鲁棒性。在子空间中，攻击允许以更大的步长和更大的半径进行单步AT，进一步提高鲁棒性性能。...

Bandits for Structure Perturbation-based Black-box Attacks to Graph Neural Networks with Theoretical Guarantees（具有理论保证的基于结构扰动的图神经网络黑盒攻击的强盗算法）本文研究了具有结构扰动的GNN的软标签黑盒攻击问题，但这种新的攻击设置更具有挑战性，本文寻找最优结构扰动本质上是一个NP-hard问题（就是二元优化问题），攻击者只能通过查询模型来获得预测。...