深度学习/机器学习
关注
分享
扫一扫
文章平均质量分 74
大鲨鱼冲鸭
一步步往上爬~。
个人邮箱：qilong.zhang@std.uestc.edu.cn。
Github: https://github.com/qilong-zhang
展开
-
MOOC笔记——用Tensorflow制作数据集
tfrecords文件的简介：tfrecords是一种二进制文件，可以将图片和标签制作成该格式的文件。使用tfrecords进行数据读取，会提高内存利用率。存储训练数据的方法：使用tf.train.Example()存储，训练数据的特征用键值对的形式表示，例如：'img_raw': (图片)值 'label': 标签值（值是Bytelist/Floatlist/I...原创 2018-04-23 15:17:29 · 5668 阅读 · 9 评论 -
[论文阅读笔记] Boosting Adversarial Attacks with Momentum
Boosting Adversarial Attacks with Momentum（CVPR2018）Source Code:https://github.com/dongyp13/Non-Targeted-Adversarial-Attackshttps://github.com/dongyp13/Targeted-Adversarial-Attacks.文章概述： 本文提出了一种基...原创 2019-07-21 10:04:03 · 4315 阅读 · 0 评论 -
[论文阅读笔记]The Limitations of Deep Learning in Adversarial Settings
The Limitations of Deep Learning in Adversarial Settings参考知乎优快云文章概述： 与之前的基于提高原始类别标记的损失函数或者降低目标类别标记的损失函数的方式不同，这篇文章提出直接增加神经网络对目标类别的预测值。换句话说，之前的对抗样本的扰动方向都是损失函数的梯度方向（无论是原始类别标记的损失函数还是目标类别标记的损失函数），该论文生...原创 2019-07-21 10:06:08 · 2169 阅读 · 0 评论 -
[论文阅读笔记] Adversarial Examples Are Not Bugs, They Are Features
Adversarial Examples Are Not Bugs, They Are Features(CVPR 2019)文章核心:作者认为，对抗性样本的存在不是网络架构的问题，而是数据集的一个属性。(non−robust featurenon-robust\, featurenon−robustfeature)Adversarial vulnerabilit...原创 2019-07-21 10:08:30 · 4581 阅读 · 13 评论 -
[论文阅读笔记]Towards Deep Learning Models Resistant to Adversarial Attacks
Towards Deep Learning Models Resistant to Adversarial Attacks(CVPR 2017)文章简述：本文主要是在研究防御的问题，并提出了PGD这种first-order攻击方法，其中增强模型robust的方法有以下两种：增大网络容量使用PGD方法进行对抗训练如何训练更加robust的模型？下面这个公式可以看成一个鞍点的问题，即i...原创 2019-07-21 10:09:35 · 9770 阅读 · 0 评论 -
[论文阅读笔记]Towards Evaluating the Robustness of Neural Networks(CW)
Towards Evaluating the Robustness of Neural Networks(C&W)(2017 Best Student Paper)文章简介：证明defensive distillation不能显著地提高模型的鲁棒性介绍了3种新的攻击算法，可以在distilled和undistilled神经网络达到100%的攻击成功率本文的攻击相比于以前的攻击通常...原创 2019-07-21 10:13:50 · 6011 阅读 · 4 评论 -
[论文阅读笔记]DeepFool: a simple and accurate method to fool deep neural networks
DeepFool: a simple and accurate method to fool deep neural networks(2016 CVPR)文章简介：本文为Adversary Attack方向的一篇经典论文。算法名为DeepFool，其目标是寻求最小的扰动来达到生成对抗样本的目标。下图第2行为DeepFool算法生成的扰动，第3行为FGSM算法生成的扰动。可以看到当生成的tar...原创 2019-07-21 10:15:51 · 5142 阅读 · 16 评论 -
[论文阅读笔记]Trust Region Based Adversarial Attack on Neural Networks
Trust Region Based Adversarial Attack on Neural Networks(2019 CVPR)文章简介：Method: 本文主要采用Trust Region(信赖域) 优化算法, 该方法在处理非凸优化问题时是非常有用的。Dataset: Cifar-10、ImageNetCompared Algorithm: DeepFool、I-FGSM、Car...原创 2019-07-22 16:27:24 · 1099 阅读 · 2 评论 -
[论文笔记]Fader Networks: Manipulating Images by Sliding Attributes(2017 NIPS)
Fader Networks: Manipulating Images by Sliding Attributes(2017 NIPS)文章简介:本文介绍了一种新的encoder-decoder结构，该结构通过训练，将图像的显著信息与隐藏空间中的属性值直接分离，从而重构图像。Dataset: CelebA 、 Oxford-102Challenge: transformations是il...原创 2019-08-04 10:57:56 · 1812 阅读 · 0 评论 -
[论文笔记]AttGAN: Facial Attribute Editing by Only Changing What You Want(2017 CVPR)
AttGAN: Facial Attribute Editing by Only Changing What You Want(2017 CVPR)文章简介：本文研究面部属性编辑任务，其目的是通过操作单个或多个感兴趣的属性(如头发颜色、表情、胡须和年龄)来编辑面部图像。Dataset: CelebA比较算法: FaderNetwork, VAE/GAM, IcGAN等方法特点: 现有方...原创 2019-08-04 15:02:49 · 3727 阅读 · 0 评论 -
[论文阅读笔记]Evading Defenses to Transferable Adversarial Examples by Translation-Invariant Attacks(CVPR)
Evading Defenses to Transferable Adversarial Examples by Translation-Invariant Attacks(2019 CVPR Oral)文章简介：本文的方法既可以untargeted attack，也可以targeted attack。提出一种translation-invariant攻击方法，被攻击的白盒模型的识别区域不...原创 2019-07-28 15:00:12 · 2673 阅读 · 6 评论 -
[论文阅读笔记]SEMANTIC ADVERSARIAL ATTACKS: PARAMETRIC TRANSFORMATIONS THAT FOOL DEEP CLASSIFIERS(ICCV)
SEMANTIC ADVERSARIAL ATTACKS: PARAMETRIC TRANSFORMATIONS THAT FOOL DEEP CLASSIFIERS(2019 ICCV)文章简介：本文的出发点不同于以前的方法（例如修改某几个像素点或者在原图上添加扰动），本文的对抗样本是通过修改输入图像中某些特殊的特征（例如戴上眼镜），从而产生语义自然的图片的同时，还能愚弄分类器。类型：w...原创 2019-07-28 15:31:14 · 1432 阅读 · 0 评论 -
[论文笔记]Rob-GAN: Generator, Discriminator, and Adversarial Attacker(CVPR 2019)
Rob-GAN: Generator, Discriminator, and Adversarial Attacker(CVPR 2019)文章简介:本文主要是将adversarial attack加入到GAN的训练过程中，来提升训练收敛的速度以及获得更好的生成器。DataSet: CIFAR-10, ImageNet data(subset)Key insights：如...原创 2019-08-08 10:56:17 · 2090 阅读 · 16 评论 -
[论文笔记]Decoupling Direction and Norm for Efficient Gradient-Based L2 Adversarial Attacks and Defenses
Decoupling Direction and Norm for Efficient Gradient-Based L2 Adversarial Attacks and Defenses(2019 CVPR Oral)文章简介：本文提出了一种有效的基于梯度的攻击方法DDN，通过对图像中添加的对抗性扰动的方向和范数进行解耦，从而在L2范数较低的情况下成功攻击目标网络。在2018 NIPS Ad...原创 2019-08-06 15:32:34 · 2027 阅读 · 0 评论 -
[论文笔记]Curls & Whey: Boosting Black-Box Adversarial Attacks(CVPR 2019 Oral)
Curls & Whey: Boosting Black-Box Adversarial Attacks(CVPR 2019 Oral)文章简介:作者提出一种全新的black-box攻击方法Curls&Whey，该方法可以是迭代轨迹多样化并且可以压缩noise的幅度，此外，将插值算法与迭代攻击相结合，显著降低了balck-box场景中目标攻击的难度类型: black-b...原创 2019-08-09 10:16:08 · 2357 阅读 · 6 评论 -
[论文笔记]UNDERSTANDING AND ENHANCING THE TRANSFERABILITY OF ADVERSARIAL EXAMPLES(archive)
UNDERSTANDING AND ENHANCING THE TRANSFERABILITY OF ADVERSARIAL EXAMPLES(archive)文章简介在本研究中，作者系统地研究了两类可能影响对抗性例子迁移能力的因素。一是研究模型相关因素：network architecture, model capacity, test accuracy。二是利用损失函数的局部光滑性...原创 2019-08-09 20:47:46 · 1422 阅读 · 0 评论 -
[论文笔记]Universal adversarial perturbations(CVPR 2017)
Universal adversarial perturbations(CVPR 2017)文章简介：本文主要是介绍了一种universal的扰动，能让大部分图片加入该噪声后就能被误分类，扰乱一个新的数据点只需要向图像添加一个普遍的扰动(不需要解决优化问题/梯度计算)。其示意图如下Norm:2-范数: ξ=2000\xi=2000ξ=2000无穷范数: ξ=10\xi=10ξ=...原创 2019-08-14 15:35:16 · 3913 阅读 · 0 评论 -
[论文阅读笔记]Adversarial Transformation Networks: Learning to Generate Adversarial Examples
Adversarial Transformation Networks: Learning to Generate Adversarial Examples在现有的许多方法中，利用梯度信息进行攻击的方法占绝大多数，本文另辟蹊径，提出了另一种方法：训练一个深度网络，将原图作为输入，输出为对抗样本。其优化目标为:argminθ∑Xi∈χβLχ(gf,θ(Xi),Xi)+LY(f(gf,θ(...原创 2019-07-21 10:01:15 · 3072 阅读 · 2 评论 -
[论文阅读笔记]Adversarial Examples that Fool both Computer Vision and Time-Limited Humans
Adversarial Examples that Fool both Computer Vision and Time-Limited Humans(CVPR2018)文中提出了首个可以欺骗人类的对抗样本。左图是猫右图是对抗样本，乍一眼看过去，感觉右图是狗。。下图在短时间内，人类容易把它看作是一条蛇(brief表示短时间判断，long表示长时间判断)代词说明:image: 从Imag...原创 2019-07-21 09:58:37 · 1030 阅读 · 0 评论 -
[论文阅读笔记]Deep Neural Networks are Easily Fooled:High Confidence Predictions for Unrecognizable Images
Deep Neural Networks are Easily Fooled:High Confidence Predictions for Unrecognizable Images(CVPR2015)本文主要介绍深度神经网络的另一个缺陷：会将人类无法识别的图案以非常高的置信度归为某个label。当经过retrain的DNNs学会将负面例子分类为fool image时，即使经过多次再训练迭代，...原创 2019-07-21 09:57:23 · 1366 阅读 · 0 评论 -
TensorFlow 帮助初学者实现线性回归模型代码
线性回归简单介绍：其中h(x)^hat是预测值（这里打起来有点麻烦，大家懂我的意思就好），线性回归做的事情简单的来说就是找到一个合适的权重向量使得 h(x)^hat与真实值h(x)尽可能接近（具体过程大家可以百度一下，因为第一次写博客，编辑公式不太熟练，也没什么好的方法，如果有大佬可以指教一下~不胜感激！）接下来放上代码，并与sklearn中的lr进行比较。 linear_...原创 2018-04-13 21:04:15 · 779 阅读 · 0 评论 -
SVM---通俗易懂图解高斯核函数及实现
引言： 对于SVM的核函数，许多初学者可能在一开始都不明白核函数到底是怎么做到从二维空间映射到三维空间（这里我们特征空间以二维为例），因此本文主要讲解其中一种核函数——-高斯核函数作为介绍，另外感谢Andrew Ng老师在网易云课堂深入浅出的讲解，不但加深了我的理解，也为我写这篇博客提供了不少素材。 代价函数： 相比于Logistic Regression的代价函数： ...原创 2018-05-12 18:40:47 · 52291 阅读 · 21 评论 -
MOOC笔记——Lenet5神经网络
MOOC笔记——Lenet5神经网络Lenet5神经网络的介绍：Lenet5神经网络是 Yann LeCun 等人在1998年提出的，该神经网络充分考虑图像的相关性。虽然Lenet5神经网络虽然规模不大，但是“麻雀虽小五脏俱全”，该网络涵盖了卷积层、池化层、全连接层。这在当时，已经是一个很不错的网络架构。写在前面：建议在读这篇博文前，先了解一下卷积神经网络，因为我写博客...原创 2018-04-29 17:07:07 · 1242 阅读 · 0 评论 -
VGGNet简介以及Tensorflow实现
Tensorflow实现VGGNet引言:VGGNet是牛津大学和Deep Mind公司一起研发的深度卷积神经网络，VGGNet探索了卷积神经网络的深度与其性能之间的关系，通过反复堆叠3x3的小型卷积核和2x2的最大池化层，VGGNet成功地构筑了16~19层深的卷积神经网络 模块化方法：本文将通过模块化加注释的方法，来实现VGGNet，这样可以帮助初学者快速读懂其结果以及实现方法...原创 2019-01-20 20:35:42 · 806 阅读 · 2 评论 -
AlexNet简介以及Tensorflow实现
Tensorflow实现AlexNet引言:AlexNet是2012年，Hinton的学生Alex Krizhevsky提出的深度卷积神经网络，也是首次在CNN中成功应用Relu、Dropout和LRN等技巧，并以显著的优势赢得了竞争激烈的ILSVRC 2012比赛 相关阅读：Tensorflow实现VGGNet模块化方法：本文将通过模块化加注释的方法，来实现AlexNet，这样可...原创 2019-01-21 18:52:58 · 1401 阅读 · 0 评论 -
ResNet(V2)结构以及Tensorflow实现
Tensorflow实现ResNet_V2引言:ResNet是由Kaiming He等4名华人提出，通过使用Residual Unit成功训练了152层的深度神经网络，在ILSVRC 2015比赛中获得冠军，取得了3.57%的top-5错误率，同时参数却比VGGNet少。之后很多方法都建立在ResNet的基础上完成的，例如检测，分割，识别等领域都纷纷使用ResNet。在ResNet推出不久，...原创 2019-01-26 16:47:33 · 3250 阅读 · 2 评论 -
Word2Vec原理与Tensorflow实现
引言:Word2Vec也成为Word Embeddings，一般称为“词向量”或者“词嵌入”。笼统地说Word2Vec就是要把语言中字词转为向量形式的表达 接下来就是要来谈谈为什么要把字词转为向量的形式使用Word2Vec的原因：在之前我们一般会使用如上图一样的one-hot编码来表示一个对象，但是使用这个有一个问题，那就是我们对特征的编码往往都是随机的，没有提供任何关联信...原创 2019-02-01 14:07:20 · 965 阅读 · 0 评论 -
GoogleInceptionNet(V3)简介以及Tensorflow实现
Tensorflow实现GoogleInceptionNet_V3引言:Google Inception Net首次出现在ILSVRC 2014的比赛中，并且有非常好的性能——top-5的错误率6.67%，后来又逐渐提出了Inception V2、Inception V3和Incepiton V4。本文实现的网络结构为Inception V3相关阅读：Tensorflow实现VGGNe...原创 2019-01-23 13:08:30 · 1216 阅读 · 5 评论 -
Jupyter notebook 打开网页无法显示
Jupyter Notebook问题：点击jupyter Notebook打开谷歌浏览器后，出现"该网页无法正常运作 localhost 目前无法处理此请求。"而无法显示寻找了很多办法也无法解决。一篇可能对您有帮助的博文（当然这个无法解决我的问题）我的解决方案：因为我之前使用过翻墙软件，可能是这个原因导致的这个问题。于是退出翻墙软件问题成功解决。。。结束语：希望大家能够通过以上方法...原创 2019-02-06 11:01:00 · 3091 阅读 · 1 评论 -
梯度下降法(GD)与随机梯度下降法(SGD)的理解
引言:在深度学习的任务目标中，通常我们希望我们的学习结果能够在损失函数上得到一个较好的结果，即朝着损失函数最小的方向前进。但是对于大部分深度学习任务而言，接下来我会用比较通俗易懂的语言结合算法实现来介绍GD、SGD梯度下降法(gradient descent)：1. 数学理解首先我们知道梯度方向是函数增长最快的方向，梯度的反方向是函数减少最快的方向，而梯度下降法就是往梯度反方向前进...原创 2019-02-06 12:56:20 · 13005 阅读 · 2 评论 -
通俗易懂理解（梯度下降）优化算法：Momentum、AdaGrad、RMSProp、Adam
引言:在深度学习的任务目标中，通常我们希望我们的学习结果能够在损失函数上得到一个较好的结果，即朝着损失函数最小的方向前进。但是对于大部分深度学习任务而言，其优化的目标通常是一个非凸函数，其优化难度会比较大，所以也就出现了一系列的优化函数。接下来我会用比较通俗易懂的语言来介绍一些比较著名的优化算法回顾：梯度下降法(GD)与随机梯度下降法(SGD)的理解Note：本文的数学符号可能会与相关书...原创 2019-02-06 16:43:13 · 5114 阅读 · 4 评论 -
GAN：两者分布不重合JS散度为log2的数学证明
引言:不知道大家在初学GAN时，当遇到WGAN时，突然抛出一个结论：对于真实数据分布PrP_rPr和生成数据分布PgP_gPg，如果满足上述无法全维度重合的情况的话，则JSD(Pr∣∣Pg)=log2JSD(P_r||P_g)=\log2JSD(Pr∣∣Pg)=log2其实当初我刚接触这个结论时，还是挺疑惑的，不知道如何用数学证明。在思考了一会后，找到了一个合理的证明思路，如果有误，...原创 2019-03-30 19:05:43 · 10762 阅读 · 45 评论 -
Windows下使用sh指令的方法
引言:最近在github上找开源代码实现时，遇到了sh指令。然后发现window的cmd无法使用这个指令，因此本文就是为了介绍大家在windows环境下使用sh指令的方法，本文将介绍2种方法来帮助大家方法一：使用Git下载git，不过在这里下载速度比较慢。如果装了360软件管家的童鞋可以直接在宝库里面搜索git，这个下载速度比较快。记住安装的位置（我的默认位置为C:\Users\M...原创 2019-04-06 16:24:14 · 37134 阅读 · 14 评论 -
[Python] numpy中运算符* @ mutiply dot的用法分析
引言:最近同学在做机器学习作业时，代码中遇到了* @ np.mutiply .dot这个几个numpy的运算，发现有点晕，于是我在这里做几个简单的对比，以及列举需要注意的问题 首先先给一个比较简单的用法解释：*： &nbs...原创 2019-04-26 10:19:58 · 17999 阅读 · 3 评论 -
Adversary Attack(对抗攻击)论文阅读笔记
引言:最近开始学习Adversary Attack(对抗攻击)有关的内容，于是便从Ian GoodFollow的论文开始读起，后面每篇博客都会列举三篇的阅读笔记，来记录学习的经历。如果有讲得不到位或者您有什么想要补充的话，欢迎留言哦~ 接下里将列举3篇论文：Explaining and Harnessing Adversarial Examples(ICLR2015)Adversa...原创 2019-05-10 15:55:19 · 4564 阅读 · 0 评论 -
person ReID（行人重识别）2018CVPR paper阅读笔记
使用的数据集介绍Market1501: It consistsof 12,936 images for training, and each person has17.2 images on average in the train set.DukeMTMC-reID: a subset of the DukeMTMC for image-based ReID.Its train set...原创 2019-05-08 09:05:29 · 1634 阅读 · 0 评论 -
[论文笔记] Universal Adversarial Perturbations Against Semantic Image Segmentation(ICCV 2017)
Universal Adversarial Perturbations Against Semantic Image Segmentation(ICCV 2017)文章简介:DataSet: Cityscapes区别: 与普通的单目标图片分类相比，多目标的语义分割任务会存在一个问题，就是某些target像素点的梯度方向可能正好与另外target像素点的梯度方向相反。而一般的交叉熵损失函数...原创 2019-08-20 09:48:50 · 1372 阅读 · 0 评论