小时候贼聪明

神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 ——T.Koholen

俗话说，高白瘦才是唯一的出路。但在深度学习界貌似并不是这样。Wide Residual Networks就要证明自己，矮胖的神经网络也是潜力股。

俗话说得好，探索的道路是永无止境的，GoogLeNet经过了Inception V1、Inception V2（BN）的发展以后，Google的Szegedy等人又对其进行了更深层次的研究和拓展，在本文中，作者提出了当前环境下，网络设计的一些重要准则，并根据这些准则，对原有的GoogLeNet进行了改进，提出了一个更加复杂、性能更好的模型框架：Inception V3。

ResNet以及GoogLeNet在图像识别上都取得了非常优异都效果，并且都具有各自都风格和特点。如果将ResNet都Residual block和GoogLeNet都Inception block结合起来，是否可以生成一种结构更加复杂、性能更加强大的模型呢？

虽然GoogLeNet在ILSVRC2014上斩获了各种大奖，但是GooGle的各位大牛依然没有闲着，他们马上又抛出了一个新的问题：Internal Covariate Shift，也就是本文要研究的问题，他们提出了一个新的层：Batch Normalization（BN），不仅能够很好的解决这个问题，而且在增快训练速度的基础上能够有效的提高模型的性能。

分类模型和回归模型本质一样，分类模型是将回归模型的输出离散化。

在ILSVRC2014上最耀眼的除了VGG，那就非GoogLeNet莫属了，它与VGG类似的地方就是，关注于模型的深度，使模型倾向于deeper，与VGG不同的是，它的尝试更加新颖。从2014年至今，GoogLeNet经历了Inception v1到v4，以及Inception-ResNet的发展，也证明了Inception最初思想的潜力。今天我们就来看看GoogLeNet Inception V1的框架和效果。

【导读】计算机图像计算水平稳步的增长，但各大厉害的模型尚未得到合理应用。在这篇 ICLR 2017 提交论文《深度神经网络模型分析在实践中的应用》中，作者从精确度、内存占用、参数、推理时间和功耗等方面分析比较 ImageNet 历届冠军架构，为有效设计及应用深度神经网络提供了最新的分析资料。

仅供参考，如有翻译不到位的地方敬请指出。论文地址：Very Deep Convolutional Networks for Large-Scale Image Recognition译文地址：http://blog.youkuaiyun.com/wspba/article/details/61625387

今天要介绍的叫做Gated ResNet，它来自一篇发表在今年ICLR上的论文，它没有之前提到的几个网络复杂，它对ResNet所提出的Identity Mapping进行了更加细致的思靠，它认为Identity Mapping才是ResNet包括Highway Network的精髓，并提出了对于一个深层网络，如果它具有退化成Identity Mapping的能力，那么它一定是容易优化、并且具有很好性能的。

深度学习中的Attention，源自于人脑的注意力机制，当人的大脑接受到外部信息，如视觉信息、听觉信息时，往往不会对全部信息进行处理和理解，而只会将注意力集中在部分显著或者感兴趣的信息上，这样有助于滤除不重要的信息，而提升信息处理的效率。

Cifar-10数据集是深度学习领域一个常见的数据集。Cifar-10由60000张32*32的RGB彩色图片构成，一共包含有飞机、汽车、鸟、毛、鹿、狗、青蛙、马、船、卡车这10个类别。50000张训练，10000张测试。常被用来作为分类任务来评价深度学习框架和模型的优劣。

Cifar-10数据集是深度学习领域一个常见的数据集。Cifar-10由60000张32*32的RGB彩色图片构成，一共包含有飞机、汽车、鸟、毛、鹿、狗、青蛙、马、船、卡车这10个类别。50000张训练，10000张测试。常被用来作为分类任务来评价深度学习框架和模型的优劣。

近两年来，有关模型压缩的论文越来越多，人们不再一昧的只追求强大的性能，而是开始慢慢的将模型的大小、运算量以及效率考虑进来，人们做的越来越多的是，在性能可接受的范围内，模型越小越好。这也说明了一点，深度学习模型已经开始被广泛的运用在了平常的生活当中，可以理解为现在的手机和以前的大哥大之间的关系。

前言因为最近都在关注深度学习模型压缩相关的工作，所以今天给大家介绍的也是一篇关于模型压缩的方法。这是一篇非常有意思的工作，来自于三星研究院在ICLR2017上发表的论文：DeepRebirth: A General Approach for Accelerating Deep Neural Network Execution on Mobile Devices。

目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派，旨在将算法更稳定、高效的落地在硬件平台上，效率是其追求的目标。复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。

目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派，旨在将算法更稳定、高效的落地在硬件平台上，效率是其追求的目标。复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。

目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派，旨在将算法更稳定、高效的落地在硬件平台上，效率是其追求的目标。复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。

出了一种新的分形网络结构，它的提出就是为了证明Residual对于极深网络并不是必须的，它通过一种分形的结构，达到了类似于教师-学生机制、深度监督的效果，同样取得了非常好的效果。虽然这种方法在目前来说用的比较少，但是我觉得它的这种思路是非常值得学习的。

VGG模型在ILSVRC2014上大放异彩，虽然从VGG的诞生到现在已经2年多，但是它依然是目前最热门的模型网络之一。它最大的贡献是，将深度学习从AlexNet的时代推入到deeper model的时代，第一次将模型深度提高到16层以上，并取得了很好的效果。

引言前面在Ubuntu16.04+GTX1080配置TensorFlow并实现图像风格转换中介绍了TensorFlow的配置过程，以及运用TensorFlow实现图像风格转换，主要是使用了文章A Neural Algorithm of Artistic Style中的方法，今天，我将主要对这篇文章进行解读，并对基于TensorFlow版本的Neural Style开源代码进行解析。

前面在Generative Adversarial Nets（译）一文中对2014年Ian J. Goodfellow这位大牛关于GAN的文章进行了全文的翻译，在翻译的过程中，遇到的不少的问题，也有一些自己的理解，在这里本人对这篇文章与大家进行交流，并对在TensorFlow上GAN的实现源码进行解析。论文地址：Generative Adversarial Networks源码地址

本文整理了 GitHub 上最流行的 57 款深度学习项目（按 stars 排名）。

由于实验室的项目需求，需要使用RBM（受限制玻尔兹曼机）、DBN（深信度网络）等深度学习的网络模型，于是学习和使用了Toronto大学提供的DeepNet深度学习框架。DeepNet是Toronto大学的Nitish Srivastava博士开发的一款利用Python实现基于GPU的一些深度学习算法的框架。以下将在Linux环境下搭建DeepNet深度学习框架的过程分享给大家。

上一章，我们介绍了在Linux环境下DeepNet框架的搭建，这一章，我们讲讲DeepNet的使用。以/deepnet-master/deepnet/examples中的rbm为例：cd到/deepnet-master/deepnet/examples/rbm目录中，看到有4个文件：eval.pbtxt，model.pbtxt，train.pbtxt以及runall.sh。tr

DeepNet的基本框架包含三个部分，也就是它里头的三个文件夹：deepnet，cudamat和eigenmat。其中deepnet中包括了DeepNet的接口函数，cudamat和eigenmat分别包含了DeepNet的库函数。deepnetdeepnet文件夹中包含的是用Python实现的接口函数。主要有：trainer.py：训练网络时使用的就是这个接口函数，训练的

深度学习：趋势如今，流行语已经覆盖全球。从近些年的发展来看，“社交媒体”“物联网”加上现在的“深度学习”，都是当今流行的趋势。

使用 TensorFlow, 你必须明白 TensorFlow：

本文将从整体架构和底层实现的视角，对Caffe源码进行解析。

TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，表达了高层次的机器学习计算，大幅简化了第一代系统，并且具备更好的灵活性和可延展性。

本文主要是在TensorFlow上搭建一个前馈神经网络（feed-forward neural network）来对TensorFlow的运作方式进行简单介绍。代码在\examples\tutorials\mnist\中，主要使用两个文件：mnist.py和fully_connected_feed.py。

我们提出了一个通过对抗过程估计生成模型的新框架，在新框架中我们同时训练两个模型：一个用来捕获数据分布的生成模型G，和一个用来估计样本来自训练数据而不是G的概率的判别模型D，G的训练过程是最大化D产生错误的概率。

我们希望得到一种条件型的生成对抗网络，通过给GAN中的G和D增加一些条件性的约束，来解决训练太自由的问题。

DCGAN，Deep Convolutional Generative Adversarial Networks是生成对抗网络（Generative Adversarial Networks）的一种延伸，将卷积网络引入到生成式模型当中来做无监督的训练，利用卷积网络强大的特征提取能力来提高生成网络的学习效果。

GAN，Generative Adversarial Network是目前非常火也是非常有潜力的一个发展方向，原始的GAN模型存在着无约束、不可控、噪声信号z很难解释等问题，近年来，在原始GAN模型的基础上衍生出了很多种模型，如：条件——CGAN、卷积——DCGAN等等，在本博客的前几篇博文里均进行了大致的解读，本篇博文将提到的InfoGAN也是GAN的一种改进成果，甚至被OPENAI称为去年的五大突破之一。今天我们就来看看，InfoGAN到底做出了什么样的改进，能达到一个什么样的效果呢。

ResNet——MSRA何凯明团队的Residual Networks，在2015年ImageNet上大放异彩，在ImageNet的classification、detection、localization以及COCO的detection和segmentation上均斩获了第一名的成绩，而且Deep Residual Learning for Image Recognition也获得了CVPR2016的best paper，实在是实至名归。就让我们来观摩大神的这篇上乘之作。

在上一篇文章中，对MSRA何凯明团队的ResNet进行了介绍（地址），那篇文章中提到了，1202层的ResNet出现了过拟合的问题，有待进一步改进。

仅供参考，如有翻译不到位的地方敬请指出。论文地址：Identity Mappings in Deep Residual Networks译文地址：http://blog.youkuaiyun.com/wspba/article/details/60750007

仅供参考，如有翻译不到位的地方敬请指出。论文地址：Deep Residual Learning for Image Recognition译文地址：http://blog.youkuaiyun.com/wspba/article/details/57074389

在上一篇文章中，我们使用了一个简单的SoftMax的回归模型对MNIST手写数字数据集进行训练，经过1000次的跌代后，识别精度达到了91%，但这是远远不够的。在本章中，我们使用一个稍微复杂的模型，其实也不是很复杂，一个含有两个卷积层的卷积神经网络，来测试它的识别效果。