shuzfan的专栏

本次简单介绍一下MSRA初始化方法，方法同样来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》.MotivationMSRA初始化推导证明补充说明Motivation网络初始化是一件很重要的事情。但是，传统的固定方差的高斯分布初始化，在

本次介绍一篇有关语义分割的文章，其核心思想是如何不失分辨率的扩大感受野，该方法已被caffe默认支持。 该思想也可以应用到目标检测上来。文章《MULTI-SCALE CONTEXT AGGREGATION BY DILATED CONVOLUTIONS》github项目链接： https://github.com/fyu/dilationIntroduction

2017NIPS： 《Rethinking Feature Discrimination and Polymerization for Large-scale Recognition》Github项目主页： https://github.com/sciencefans/coco_loss文章方法简称 congenerous cosine loss, “COCO Loss”，其目的同样是：拉近同类

《Dual Path Networks》一篇讲如何设计网络结构的文章，大体上整合了ResNet和 DenseNet的优点： - ResNet： 侧重于特征的再利用(因为整合特征采用的是加和操作) - DenseNet: 侧重于新特征的发掘(因为整合特征采用的是拼接操作)我认为文章最大的贡献是为ResNet和DenseNet找到了一个形式统一的数学表达。Github项目主页： https://

来自中科院自动化所的“不规则卷积神经网络”。文章链接： 《Irregular Convolutional Neural Networks》从直观上来看，一个不规则的卷积核(其shape可以自动学习)似乎更适应输入的pattern。 但考虑更多方面，比如学习效率、操作复杂度这些因素。个人认为，不规则卷积目前不是一个很值得称赞的工作。1. 方法介绍上图中，图(a)表示一个不规则卷积； 图(b)表示，尽

一种改进ReLU激活函数的文章，来自ICML2016.文章链接： 《Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units》caffe实现： https://github.com/farmingyard/ShuffleNet1. 背景介绍整个文章的出发点来自于下

2017CVPR Best Paper： 《Densely Connected Convolutional Networks》Github项目主页： https://github.com/liuzhuang13/DenseNet知乎上的一些讨论： 如何评价Densely Connected Convolutional Networks？DenseNet属于对ResNet扩展的一系列工作中比较有代表性

本次介绍梯度下降优化算法。主要参考资料为一篇综述《An overview of gradient descent optimization algorithms》

神经网络通过记忆学习传统观点论文观点论文实验神经网络 不 通过记忆学习参考资料深度神经网络往往带有大量的参数，但依然表现出很强的泛化能力（指训练好的模型在未见过的数据上的表现）。深度神经网络为何会拥有如此强的泛化能力？最近，两篇论文引起了广泛思考。神经网络通过记忆学习《Understanding deep learning requires rethinking generalizatio

一篇挺有意思的短文 《Deep Neural Networks Do Not Recognize Negative Images》。CNN可能还无法像人类一样理解到语义层面，而语义理解很可能是以后人工智能的一个重要层面。

本文介绍的是著名的网络结构GoogLeNet及其延伸版本，目的是试图领会其中的思想而不是单纯关注结构。GoogLeNet Incepetion V1Motivation Architectural DetailsGoogLeNetConclusionGoogLeNet Inception V2IntroductionGeneral Design PrinciplesFactorizi

由于caffe依赖性太多，配置极其复杂，所以将接下来的学习转向mxnet.因此本文主要记录我的学习历程，如果描述有什么问题，欢迎大家的指正。mxnet的优点很明显，简洁灵活效率高 ，多机多卡支持好。mxnet的github下载链接：https://github.com/dmlc/mxnet/mxnet的开发文档链接：http://mxnet.readthedocs.org/en/latest/bui

此次所讲内容来自《Competitive Multi-scale Convolution》, 时间节点2015.121-模型先来看看作者最开始设计的模型：这里着重说明一下Maxout：从r1、r2、r3、r4中选择最大的响应作为输出。由于K*K大小的卷积操作中都采取了pad=K/2、stride=1的操作，因此r1、r2、r3、r4的大小是一致的。增加了Max pooling,最终得到了下图的网络基

本文主要介绍Dropout及延伸下来的一些方法，以便更深入的理解。想要提高CNN的表达或分类能力，最直接的方法就是采用更深的网络和更多的神经元，即deeper and wider。但是，复杂的网络也意味着更加容易过拟合。于是就有了Dropout，大部分实验表明其具有一定的防止过拟合的能力。

目录目录1-Motivation2-Normalization via Mini-Batch Statistics测试BN before or after Activation3-Experiments本次所讲的内容为Batch Normalization，简称BN，来源于《Batch Normalization: Accelerating Deep Network Training b

“Xavier”初始化方法是一种很有效的神经网络初始化方法，方法来源于2010年的一篇论文《Understanding the difficulty of training deep feedforward neural networks》，可惜直到近两年，这个方法才逐渐得到更多人的应用和认可。为了使得网络中信息更好的流动，每一层输出的方差应该尽量相等。基于这个目标，现在我们就去推导一下：每一层的权

本次介绍PReLU激活函数以及MSRA初始化方法，方法来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》.PReLU激活PReLU(Parametric Rectified Linear Unit), 顾名思义：带参数的ReLU。二者的定义和区

工作确定以后，闲暇时间做了如下一个PPT讲义，用于向实验室新生学弟学妹介绍深度学习。他们大部分在本科期间学习通信相关专业课程，基本没有接触过图像处理和机器学习。对于一个研究生而言，自学应当是一个最基本也是最重要的能力。自学不仅是独立学习，更是主动学习。因此，该讲义的目的主要是为新生打开一个大门，使其对深度学习有一个模糊的认识，并顺便了解一些常见的概念。 而真正走进深度学习，还需要各自的努力。该讲义尽