qq_38410428的博客

引言一直以来，卷积神经网络对人们来说都是一个黑箱，我们只知道它识别图片准确率很惊人，但是具体是怎么做到的，它究竟使用了什么特征来分辨图像，我们一无所知。无数的学者、研究人员都想弄清楚CNN内部运作的机制，甚至试图找到卷积神经网络和生物神经网络的联系。2013年，纽约大学的Matthew Zeiler和Rob Fergus的论文Visualizing and Understanding Conv...

反卷积(Deconvolution)、上采样(UNSampling)与上池化(UnPooling)相关代码和可视化代码在附录反卷积(Deconvolution)反卷积（转置卷积、空洞卷积（微步卷积））近几年用得较多，可以概括为：反卷积=上采样=（转置卷积+微步卷积）⊆ 空洞卷积=一般意义上的广义卷积（包含上采样和下采样）。这是空洞卷积（微步卷积）的例子，其中下面的图是输入，上面的图是输出，...

CNN 的基本结构是由卷基层和全连接层构成的. 对于在大规模数据集(例如ImageNet)上训练好的网络, 我们可以利用它的权重来帮助我们实现我们的任务.从原理上来讲,随机初始化容易将网络导向不确定的局部最优, 因此一般需要利用多次随机初始化训练来验证结果的有效性. 而借助已训练好的网络或者说利用已训练好的的网络权重作为网络初始值已被广泛证明有利于网络以较快的速度趋于最优化(transfer le...

何恺明，RBG，Piotr Dollár。三位从Mask R-CNN就开始合作的大神搭档，刚刚再次联手，一文“终结”了ImageNet预训练时代。他们所针对的是当前计算机视觉研究中的一种常规操作：管它什么任务，拿来ImageNet预训练模型，迁移学习一下。但是，预训练真的是必须的吗？这篇重新思考ImageNet预训练（Rethinking ImageNet Pre-training）就给出...

最近通读了inception的四篇论文，在此做一下笔记。先给出这四篇论文的地址：Going deeper with convolutions：https://arxiv.org/pdf/1409.4842.pdfBatch Normalization: https://arxiv.org/pdf/1502.0...

作者对神经网路的扩展过程进行了研究与反思。特别的是，作者提出了一个思考：能否找到一个规范化的神经网络扩展方法可以同时提高网络的准确率和效率。要实现这点，一个很关键的步骤便是如何平衡宽度、深度和分辨率这三个维度。作者通过一些经验性的研究发现，可以使用一种固定比例的放缩操作简单地实现对三者的平衡。最终，作者提出了一种简单却有效的复合扩展方法（compound scaling method）。例如，对于...

ImageNet Classification with Deep Convolutional Neural Networks第三节解释了他们使用的卷积神经网络架构。饱和非线性饱和的激活函数会将输出结果缩放到有限的区间：sigmoid激活函数的范围是[0, 1]，所以它是饱和的tanh激活函数的范围是[-1,1]，所以它是饱和的。非饱和非线性非饱和的激活函数会将输出结果缩放到无穷区...

...

论文地址：Benchmark Analysis of Representative Deep Neural Network Architecture一 为什么读这篇蛙神推荐的，对截止2018年10月出现的各种经典CNN网络的一个测评，算是比较新的一篇综述，通过阅读这篇，搞清楚CNN最新的发展脉络。二 截止阅读时这篇论文的引用次数0次。毕竟10月才出的。。三 相关背景介绍来自意大利和法国...