目录1. 什么是warmup2. warmup的作用3. 为什么warmup有效4. 参考文献5. 📞 联系 👨1. 什么是warmup最近在看论文的时候看到了一个专业术语，如下所示:Furthermore, we used a linear warm-up of the learning rate[12] in the first five epochs.然后网上查了资料，称这个叫做： 预热学习率 📝 名词解释warm-up是针对学习率learning rate优化的一种策略，主要过程

目录1. min-max 问题1. min-max 问题为解决基于迭代方法生成的对抗样本攻击，Madry等人[2]提出PGD对抗训练方法，并从鲁棒优化的角度研究模型的对抗鲁棒性以及给出对抗鲁棒性的统一观点。对抗样本的攻击防御问题总结如式(2.1)所示：其中x为原始样本，δ为扰动信息，S为扰动信息的集合，y为原始样本x的正确标签，D是数据(x,y)满足的分布，θ是模型参数,对式(2.1)的优化可分别从攻击者和防御者的角度展开。攻击者希望内部的损失函数最大化，目的是找出有效的对抗样本。防御者希望外

目录1. 前序2. 名词解释3. 举例说明4. 参考文献1. 前序在读论文或者看一些博客的时候，经常会出现这种名词：正样本、负样本、简单样本以及困难样本，最近自己为了加深这方面的理解，参考网上的一些资料，整理了下这几者之间的区别，方便自己查看也方便初学者快速了解。2. 名词解释正样本： 与真值对应的目标类别来说该样本为正样本。负样本： 与真值不对应的其他所有目标类别来说该样本为负样本。简单样本： 预测时与真值标签误差较小的样本。困难样本： 预测时与真值标签误差较大的样本。补充下：真值其实

目录1. 高频2. 低频3. 举例说明1. 高频简单地说，图像信号中的高频分量，指的就是图像信号强度（亮度/灰度）变化剧烈的地方，也就是我们常说的边缘（轮廓）。2. 低频图像信号中的低频分量，指的就是图像强度（亮度/灰度）变换平缓的地方，也就是大片色块，变化不那么明显的地方。3. 举例说明举个例子，在一张白纸上有一行字，那么我们肯定直接聚焦在文字上，而不会太在意白纸本身，这里文字就是高频信号，而白纸就是低频信号。...

目录1. 数据增强简介2. 如何进行数据增强2.1 离线增强2.2 在线增强3. 图像中的数据增强3.1 裁剪（Cropping）3.2 翻转变换（Flipping）3.3 旋转 | 反射变换（Rotation/Reflection）3.4 颜色变换（Color Space）3.5 几何变换（Geometric Transformations）3.6 噪声注入（Noise Injection）3.7 移动（Translation）3.8 随机擦除（Random Erasing）3.9 内核过滤器（Kerne

Pretrained model （预训练模型）一般情况下预训练模型都是大型模型，具备复杂的网络结构，众多的参数量，以及在足够大的数据集下进行训练而产生的模型. 在NLP领域，预训练模型往往是语言模型，因为语言模型的训练是无监督的，可以获得大规模语料，同时语言模型又是许多典型NLP任务的基础，如机器翻译，文本生成，阅读理解等，常见的预训练模型有BERT, GPT, roBERTa, transformer-XL等.Fine-tuning （微调）根据给定的预训练模型，改变它的部分参数或者为其新..

目录1. 相关说明2. 相关简述3. 代码实现3.1 引入相关包3.2 输入3.3 定义被攻击的模型3.4 定义FGSM攻击函数3.5 测试函数4. 可视化结果5. 可视化对抗样本6. 预训练模型下载7. 训练模型8. 完整代码1. 相关说明最近在整理相关实验代码的时候，无意中需要重新梳理下对抗攻击里的FGSM，于是自己参考网上的一些资料以及自己的心得写下这篇文章，用来以后回忆。2. 相关简述快速梯度标志攻击（FGSM），是迄今为止最早和最受欢迎的对抗性攻击之一，它由 Goodfellow 等人

1.对抗样本所谓对抗样本就是指：在原始样本添加一些人眼无法察觉的扰动（这样的扰动不会影响人类的识别，但是却很容易愚弄模型），致使机器做出错误的判断。如下所示，这两张图片添加噪声（或者说扰动之后）被误分类。2.对抗攻击由于机器学习算法的输入形式是一种数值型向量（numeric vectors），所以攻击者就会通过设计一种有针对性的数值型向量从而让机器学习模型做出误判，这便被称为对抗性攻击。（也可以这样理解：将上面生成对抗样本的过程，理解为对抗攻击。）和其他攻击不同，对抗性攻击主要.

论文原文：Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images （提取码：fnrb）简单概括下这篇文章标题要表达的意思：深度神经网络很容易受到欺骗：无法识别图像的高置信度预测无法识别图像的高置信度预测就是指深度神经网络无法区分置信度很高的错误分类图片，通俗的讲就是人肉眼无法识别的图像但是对于机器却能以很高的置信度将图片错误分类。本文主要介绍深度神...

生成对抗网络（Generative Adversarial Network，GAN）自从2014年由Ian Goodfellow提出以来，一直受到了广泛的关注和研究，在短短几年时间内获得了快速的发展，并在许多应用场景中取得了显著的成果。常用的模型大多可以分为两类，生成模型（Generative Model）和判别模型（Discriminative Model）。前者的输出是“看起来很逼真”的虚假数据，例如合成人脸图片、撰写新闻报道，应当和真实的数据尽可能相似；相比之下，后者一般实现一个从复杂结构数据到简

在阅读对抗攻击相关文献的时候，经常遇到一些专业术语，经过查找资料在这里整理下相关笔记。1.对抗样本/图片（Adversarial Example/Image）对抗样本/图片指的是在原始样本添加一些人眼无法察觉的噪声，这样的噪声不会影响人类的识别，但是却很容易愚弄模型，使其做出与正确答案完全不同的判定。2.对抗干扰（Adversarial perturbation）使得原始图片成为对抗样本所需要添加的噪声。3.对抗训练（Adversarial Training）除了原始图片样本之外还使