小时候贼聪明

LaTeX编辑arxiv上的论文源

虽然GoogLeNet在ILSVRC2014上斩获了各种大奖，但是GooGle的各位大牛依然没有闲着，他们马上又抛出了一个新的问题：Internal Covariate Shift，也就是本文要研究的问题，他们提出了一个新的层：Batch Normalization（BN），不仅能够很好的解决这个问题，而且在增快训练速度的基础上能够有效的提高模型的性能。

ResNet以及GoogLeNet在图像识别上都取得了非常优异都效果，并且都具有各自都风格和特点。如果将ResNet都Residual block和GoogLeNet都Inception block结合起来，是否可以生成一种结构更加复杂、性能更加强大的模型呢？

俗话说得好，探索的道路是永无止境的，GoogLeNet经过了Inception V1、Inception V2（BN）的发展以后，Google的Szegedy等人又对其进行了更深层次的研究和拓展，在本文中，作者提出了当前环境下，网络设计的一些重要准则，并根据这些准则，对原有的GoogLeNet进行了改进，提出了一个更加复杂、性能更好的模型框架：Inception V3。

俗话说，高白瘦才是唯一的出路。但在深度学习界貌似并不是这样。Wide Residual Networks就要证明自己，矮胖的神经网络也是潜力股。

今天要介绍的叫做Gated ResNet，它来自一篇发表在今年ICLR上的论文，它没有之前提到的几个网络复杂，它对ResNet所提出的Identity Mapping进行了更加细致的思靠，它认为Identity Mapping才是ResNet包括Highway Network的精髓，并提出了对于一个深层网络，如果它具有退化成Identity Mapping的能力，那么它一定是容易优化、并且具有很好性能的。

深度学习中的Attention，源自于人脑的注意力机制，当人的大脑接受到外部信息，如视觉信息、听觉信息时，往往不会对全部信息进行处理和理解，而只会将注意力集中在部分显著或者感兴趣的信息上，这样有助于滤除不重要的信息，而提升信息处理的效率。

出了一种新的分形网络结构，它的提出就是为了证明Residual对于极深网络并不是必须的，它通过一种分形的结构，达到了类似于教师-学生机制、深度监督的效果，同样取得了非常好的效果。虽然这种方法在目前来说用的比较少，但是我觉得它的这种思路是非常值得学习的。

目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派，旨在将算法更稳定、高效的落地在硬件平台上，效率是其追求的目标。复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。

目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派，旨在将算法更稳定、高效的落地在硬件平台上，效率是其追求的目标。复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。

目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派，旨在将算法更稳定、高效的落地在硬件平台上，效率是其追求的目标。复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。

前言因为最近都在关注深度学习模型压缩相关的工作，所以今天给大家介绍的也是一篇关于模型压缩的方法。这是一篇非常有意思的工作，来自于三星研究院在ICLR2017上发表的论文：DeepRebirth: A General Approach for Accelerating Deep Neural Network Execution on Mobile Devices。

在ILSVRC2014上最耀眼的除了VGG，那就非GoogLeNet莫属了，它与VGG类似的地方就是，关注于模型的深度，使模型倾向于deeper，与VGG不同的是，它的尝试更加新颖。从2014年至今，GoogLeNet经历了Inception v1到v4，以及Inception-ResNet的发展，也证明了Inception最初思想的潜力。今天我们就来看看GoogLeNet Inception V1的框架和效果。

【导读】计算机图像计算水平稳步的增长，但各大厉害的模型尚未得到合理应用。在这篇 ICLR 2017 提交论文《深度神经网络模型分析在实践中的应用》中，作者从精确度、内存占用、参数、推理时间和功耗等方面分析比较 ImageNet 历届冠军架构，为有效设计及应用深度神经网络提供了最新的分析资料。

仅供参考，如有翻译不到位的地方敬请指出。论文地址：Very Deep Convolutional Networks for Large-Scale Image Recognition译文地址：http://blog.youkuaiyun.com/wspba/article/details/61625387

我们提出了一个通过对抗过程估计生成模型的新框架，在新框架中我们同时训练两个模型：一个用来捕获数据分布的生成模型G，和一个用来估计样本来自训练数据而不是G的概率的判别模型D，G的训练过程是最大化D产生错误的概率。

仅供参考，如有翻译不到位的地方敬请指出。论文地址：Deep Residual Learning for Image Recognition译文地址：http://blog.youkuaiyun.com/wspba/article/details/57074389

仅供参考，如有翻译不到位的地方敬请指出。论文地址：Identity Mappings in Deep Residual Networks译文地址：http://blog.youkuaiyun.com/wspba/article/details/60750007

在上一篇文章中，对MSRA何凯明团队的ResNet进行了介绍（地址），那篇文章中提到了，1202层的ResNet出现了过拟合的问题，有待进一步改进。

ResNet——MSRA何凯明团队的Residual Networks，在2015年ImageNet上大放异彩，在ImageNet的classification、detection、localization以及COCO的detection和segmentation上均斩获了第一名的成绩，而且Deep Residual Learning for Image Recognition也获得了CVPR2016的best paper，实在是实至名归。就让我们来观摩大神的这篇上乘之作。

GAN，Generative Adversarial Network是目前非常火也是非常有潜力的一个发展方向，原始的GAN模型存在着无约束、不可控、噪声信号z很难解释等问题，近年来，在原始GAN模型的基础上衍生出了很多种模型，如：条件——CGAN、卷积——DCGAN等等，在本博客的前几篇博文里均进行了大致的解读，本篇博文将提到的InfoGAN也是GAN的一种改进成果，甚至被OPENAI称为去年的五大突破之一。今天我们就来看看，InfoGAN到底做出了什么样的改进，能达到一个什么样的效果呢。

DCGAN，Deep Convolutional Generative Adversarial Networks是生成对抗网络（Generative Adversarial Networks）的一种延伸，将卷积网络引入到生成式模型当中来做无监督的训练，利用卷积网络强大的特征提取能力来提高生成网络的学习效果。

我们希望得到一种条件型的生成对抗网络，通过给GAN中的G和D增加一些条件性的约束，来解决训练太自由的问题。

前面在Generative Adversarial Nets（译）一文中对2014年Ian J. Goodfellow这位大牛关于GAN的文章进行了全文的翻译，在翻译的过程中，遇到的不少的问题，也有一些自己的理解，在这里本人对这篇文章与大家进行交流，并对在TensorFlow上GAN的实现源码进行解析。论文地址：Generative Adversarial Networks源码地址

引言前面在Ubuntu16.04+GTX1080配置TensorFlow并实现图像风格转换中介绍了TensorFlow的配置过程，以及运用TensorFlow实现图像风格转换，主要是使用了文章A Neural Algorithm of Artistic Style中的方法，今天，我将主要对这篇文章进行解读，并对基于TensorFlow版本的Neural Style开源代码进行解析。

VGG模型在ILSVRC2014上大放异彩，虽然从VGG的诞生到现在已经2年多，但是它依然是目前最热门的模型网络之一。它最大的贡献是，将深度学习从AlexNet的时代推入到deeper model的时代，第一次将模型深度提高到16层以上，并取得了很好的效果。

近两年来，有关模型压缩的论文越来越多，人们不再一昧的只追求强大的性能，而是开始慢慢的将模型的大小、运算量以及效率考虑进来，人们做的越来越多的是，在性能可接受的范围内，模型越小越好。这也说明了一点，深度学习模型已经开始被广泛的运用在了平常的生活当中，可以理解为现在的手机和以前的大哥大之间的关系。