wzy的博客

“Xavier”初始化方法是一种很有效的神经网络初始化方法，方法来源于2010年的一篇论文《Understanding the difficulty of training deep feedforward neural networks》，可惜直到近两年，这个方法才逐渐得到更多人的应用和认可。为了使得网络中信息更好的流动，每一层输出的方差应该尽量相等。基于这个目标，现在我们就

一. 常用网络       深度学习相关的几个比较著名的网络，AlexNet、VGG、GoogleNet、ResNet。模型    AlexNet           VGG         GoogleNet      ResNet     时间

多类分类（Multiclass Classification）一个样本属于且只属于多个类中的一个，一个样本只能属于一个类，不同类之间是互斥的。典型方法：One-vs-All or One-vs.-rest：将多类问题分成N个二类分类问题，训练N个二类分类器，对第i个类来说，所有属于第i个类的样本为正（positive）样本，其他样本为负（negative）样本，每个二类分类

一、符号与表示本文介绍全连接人工神经网络的训练算法——反向传播算法（关于人工神经网络可参考“卷积神经网络简介”第二节）。反向传播算法是一种有监督训练算法。它本质上是梯度下降法（参考“上篇”）。人工神经网络的参数多且“深”，梯度计算比较复杂。在人工神经网络模型提出几十年后才有研究者发明了反向传播算法来解决深层参数的训练问题。本文将详细讲解该算法的原理及实现。首先把文中用来表示神经网络

一、概述对于一个函数，希望找到使函数值达到全局最小的自变量值。这是优化理论研究的问题。梯度下降法是一种基于函数一阶性质的优化算法。人工神经网络的训练主要采用梯度下降法，其计算过程中采用误差反向传播的方式计算误差函数对全部权值和偏置值的梯度。本文首先介绍梯度下降法，下篇将介绍反向传播算法并实现一个全连接神经网络。首先用语言来描述几个概念。这里的描述尽量抓重点，但是不够精确。精确的概念

学习RCNN系列论文时， 出现了感受野(receptive field)的名词， 感受野的尺寸大小是如何计算的，在网上没有搜到特别详细的介绍， 为了加深印象，记录下自己对这一感念的理解，希望对理解基于CNN的物体检测过程有所帮助。1 感受野的概念　　在卷积神经网络中，感受野的定义是 卷积神经网络每一层输出的特征图（feature map）上的像素点在原始图像上映射的区域大小。

作者：徐汉彬链接：https://zhuanlan.zhihu.com/p/25381420来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。一、人工智能和新科技革命2017年围棋界发生了一件比较重要事，Master（Alphago）以60连胜横扫天下，击败各路世界冠军，人工智能以气势如虹的姿态出现在我们人类的面前。围棋曾经一度被称为“人类智慧的

【编者按】8月初的蒙特利尔深度学习暑期班，由Yoshua Bengio、 Leon Bottou等大神组成的讲师团奉献了10天精彩的讲座，剑桥大学自然语言处理与信息检索研究组副研究员Marek Rei参加了本次课程，在本文中，他精炼地总结了学到的26个有代表性的知识点，包括分布式表示，tricks的技巧，对抗样本的训练，Neural Machine Translation，以及Theano、Nvi

作者：jacky yang链接：https://www.zhihu.com/question/26006703/answer/129209540来源：知乎著作权归作者所有，转载请联系作者获得授权。关于深度学习，网上的资料很多，不过貌似大部分都不太适合初学者。这里有几个原因：1.深度学习确实需要一定的数学基础。如果不用深入浅出地方法讲，有些读者就会有畏难的情绪，因而容易过

原文地址：How to get a job in deep learning 原文翻译与校对：@戴丹 && @胡杨 && 寒小阳 时间：2016年10月。 出处：http://blog.youkuaiyun.com/han_xiaoyang/article/details/52777661 声明：版权所有，转载请联系作者并注明出如果你是一个软件工程师(或者你现在正在学习这一方面)，你肯

机器学习和深度学习的研究进展正深刻变革着人类的技术，本文列出了自 2014 年以来这两个领域发表的最重要（被引用次数最多）的 20 篇科学论文，以飨读者。机器学习，尤其是其子领域深度学习，在近些年来取得了许多惊人的进展。重要的研究论文可能带来使全球数十亿人受益的技术突破。这一领域的研究目前发展非常快，为了帮助你了解进展状况，我们列出了自 2014 年

个人阅读的Deep Learning方向的paper整理，分了几部分吧，但有些部分是有交叉或者内容重叠，也不必纠结于这属于DNN还是CNN之类，个人只是大致分了个类。目前只整理了部分，剩余部分还会持续更新。一 RNN1 Recurrent neural network based language model  RNN用在语言模型上的开山之作

译自Tim Dettmers的Understanding Convolution in Deep Learning。有太多的公开课、教程在反复传颂卷积神经网络的好，却都没有讲什么是“卷积”，似乎默认所有读者都有相关基础。这篇外文既友好又深入，所以翻译了过来。文章高级部分通过流体力学量子力学等解释卷积的做法在我看来有点激进，这些领域恐怕比卷积更深奥，所以只需简略看看即可。以下是正文：卷积

导语我经常被问到诸如如何从深度学习模型中得到更好的效果的问题，类似的问题还有：我如何提升准确度如果我的神经网络模型性能不佳，我能够做什么？对于这些问题，我经常这样回答，“我并不知道确切的答案，但是我有很多思路”，接着我会列出了我所能想到的所有或许能够给性能带来提升的思路。为避免一次次罗列出这样一个简单的列表，我决定把所有想法详细写在这篇博客里。这些思

今年过年之前，MSRA和Google相继在ImagenNet图像识别数据集上报告他们的效果超越了人类水平，下面将分两期介绍两者的算法细节。　　这次先讲Google的这篇《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》，主要是因为这里面的思想比较有普适性，而且

MNIST深度学习领域的“Hello World!”，入门必备！MNIST是一个手写数字数据库，它有60000个训练样本集和10000个测试样本集，每个样本图像的宽高为28*28。此数据集是以二进制存储的，不能直接以图像格式查看，不过很容易找到将其转换成图像格式的工具。最早的深度卷积网络LeNet便是针对此数据集的，当前主流深度学习框架几乎无一例外将MNIST数据集的处

https://mp.weixin.qq.com/s/ZKMi4gRfDRcTxzKlTQb-Mw

欢迎转载，转载请注明：本文出自Bin的专栏blog.youkuaiyun.com/xbinworld。 技术交流QQ群：433250724，欢迎对算法、技术感兴趣的同学加入。关于卷积神经网络CNN，网络和文献中有非常多的资料，我在工作/研究中也用了好一段时间各种常见的model了，就想着简单整理一下，以备查阅之需。如果读者是初接触CNN，建议可以先看一看“Deep Learning（深度学习）学习

深度学习较其他机器学习方法在各类任务中都表现优异，各个机构或院校也花了巨大的精力和时间投入到深度学习，并取得了令人惊叹的成就。但深度学习近来也暴露出其内在缺陷，很多学界领军人物都在积极探讨解决办法和替代方案。因此本文力图阐述深度学习的局限性，引发更多对深度学习的思考。人工智能已经达到了炒作的顶峰。新闻报告称有的公司已经使用 IBM Watson 取代了工人、算法在诊断上击败

今天在这里我给大家讲解一些深度学习中卷积神经网络的原理和一些经典的网络结构卷积神经网络原理浅析  卷积神经网络（Convolutional Neural Network，CNN）最初是为解决图像识别等问题设计的，当然其现在的应用不仅限于图像和视频，也可用于时间序列信号，比如音频信号、文本数据等。在早期的图像识别研究中，最大的挑战是如何组织特征，因为图像数据不像其他类型的数据那样可以通过

来源：知乎著作权归作者所有。讨论:张旭--------------------------------->端到端指的是输入是原始数据，输出是最后的结果，原来输入端不是直接的原始数据，而是在原始数据中提取的特征，这一点在图像问题上尤为突出，因为图像像素数太多，数据维度高，会产生维度灾难，所以原来一个思路是手工提取图像的一些关键特征，这实际就是就一个降维的过程。

http://mp.weixin.qq.com/s/NZniLb2jz6_677gx56SJpQ

机器自动编程是人工智能一直以来期望攻克的重要应用领域，随着深度学习的逐步流行，最近在自动编程方向获得了广泛应用并取得了很大进展。深度学习如何指导机器自动编写出能正确执行的代码？本文对这方面的最新技术进展进行了介绍，将主流技术分为“黑盒派”和“代码生成派”两种派别，并分别介绍了对应代表系统：“神经程序解释器”及“层级生成式CNN模型”的工作机理。随着深度学习技术的快速进展，人工智能时代的序幕

本次简单介绍一下MSRA初始化方法，方法同样来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》.MotivationMSRA初始化推导证明补充说明Motivation网络初始

神经网络，或者深度学习算法的参数初始化是一个很重要的方面，传统的初始化方法从高斯分布中随机初始化参数。甚至直接全初始化为1或者0。这样的方法暴力直接，但是往往效果一般。本篇文章的叙述来源于一个国外的讨论帖子[1]，下面就自己的理解阐述一下。首先我们来思考一下，为什么在神经网络算法（为了简化问题，我们以最基本的DNN来思考）中，参数的选择很重要呢？以sigmoid函数（logistic ne

深度学习八大开源框架导读：深度学习（Deep Learning）是机器学习中一种基于对数据进行表征学习的方法，深度学习的好处是用非监督式或半监督式的特征学习、分层特征提取高效算法来替代手工获取特征（feature）。作为当下最热门的话题，Google、Facebook、Microsoft等巨头都围绕深度学习重点投资了一系列新兴项目，他们也一直在支持一些开源深度学习框架。目前研究人员

关于阅读理解，相信大家都不陌生，我们接受的传统语文教育中阅读理解是非常常规的考试内容，一般形式就是给你一篇文章，然后针对这些文章提出一些问题，学生回答这些问题来证明自己确实理解了文章所要传达的主旨内容，理解地越透彻，学生越能考出好的成绩。如果有一天机器能够做类似于我们人类做阅读理解任务，那会发生什么呢？很明显教会机器学会阅读理解是自然语言处理（NLP）中的核心任务之一。如果哪一天机器真能具备相

前言：　　CNN作为DL中最成功的模型之一，有必要对其更进一步研究它。虽然在前面的博文Stacked CNN简单介绍中有大概介绍过CNN的使用，不过那是有个前提的：CNN中的参数必须已提前学习好。而本文的主要目的是介绍CNN参数在使用bp算法时该怎么训练，毕竟CNN中有卷积层和下采样层，虽然和MLP的bp算法本质上相同，但形式上还是有些区别的，很显然在完成CNN反向传播前了解bp算法是必须

非线性单元：Maxout Ian J Goodfellow, David Warde-Farley, Mehdi Mirza, Aaron Courville, and Yoshua Bengio. Maxout networks. arXiv preprint arXiv:1302.4389, 2013.dropout Nitish Srivastava, Geoffrey Hinton

最近在看imagenet  ILSVRC2015 比赛结果，除了 msra 的深度残差神经网络外，采用最多的还是 googlenet和VGG这两种网络模型， 优化方法上更多的使用了batch nomalization,prelu等，大多团队都是这两个模型上改进，采用新的优化方法，多模型融合等。这里重点总结一下VGG，本文是牛津大学 visual geometry group（V

克服过拟合和提高泛化能力的20条技巧和诀窍你是如何提升深度学习模型的效果？ 这是我经常被问到的一个问题。 有时候也会换一种问法： 我该如何提高模型的准确率呢？ ……或者反过来问： 如果我的网络模型效果不好，我该怎么办？ 通常我的回答是“具体原因我不清楚，但我有一些想法可以试试”。 然后我会列举一些我认为能够提升性能的方法。 为了避免重复罗列这些内容，我打算在

protobuf全称Protocol Buffers，是google推出的一种高效，快捷的数据交换格式，和XML，Thrift一样，都是一种数据交换协议（当然thrift还提供rpc的功能）。protobuf相对与xml结构化的文本数据格式，它是一种二进制的数据格式，具有更高的传输，打包和解包效率，这也是为什么protobuf很受欢迎的原因。protobuf通过自己的编译器，对协议文件进行

1. CIFAR-10 & CIFAR-100    CIFAR-10包含10个类别，50,000个训练图像，彩色图像大小：32x32，10,000个测试图像。    （类别：airplane，automobile, bird, cat, deer, dog, frog, horse, ship, truck）    （作者：Alex Krizhevsky, Vinod N

http://www.caffecn.cn/?/question/136 摘抄于这里从NIN 到Googlenet mrsa net 都是用了这个，为什么呢发现很多网络使用了1X1卷积核，这能起到什么作用呢？另外我一直觉得，1X1卷积核就是对输入的一个比例缩放，因为1X1卷积核只有一个参数，这个核在输入上滑动，就相当于给输入数据乘以一个系数。不知道我理解的是否正确。我来说说

作者：元峰链接：https://zhuanlan.zhihu.com/p/24699780来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。引言在今年的神经网络顶级会议NIPS2016上，深度学习三大牛之一的Yann Lecun教授给出了一个关于机器学习中的有监督学习、无监督学习和增强学习的一个有趣的比喻，他说：如果把智能（Intelligenc

导语：12月18日，KDD China 技术峰会在深圳举行，本文根据周志华教授当天在会上所做的报告《关于机器学习研究的讨论》编辑整理而来。编者按：12月18日，KDD China技术峰会在深圳举行，雷锋网(公众号：雷锋网)根据周志华教授当天会上所做报告《关于机器学习研究的讨论》，摘取其中亮点内容整理成本文，由亚萌、亚峰、宗仁联合编辑。此前，在今年10月21日CNCC 2016大会上，周

神经网络之激活函数(Activation Function)本博客仅为作者记录笔记之用，不免有很多细节不对之处。还望各位看官能够见谅，欢迎批评指正。更多相关博客请猛戳：http://blog.youkuaiyun.com/cyh_24如需转载，请附上本文链接：http://blog.youkuaiyun.com/cyh_24/article/details/50593400

转眼间，2016年即将过去，公众号也迎来了第一个200天。我是在2016年6月8日开始创建这个公众号的，在这200天里，我已经养成了每周分享2-3篇的技术文章的习惯，一共写了85篇左右的文章，其中技术类文章约78篇。我将它们整理如下：2016年技术文章链接闲聊1.《聊聊语音识别的发展历程》2.《说说重要的贝叶斯公式吧》3.《我对入门深度学习的切身体会》

库名称开发语言支持接口安装难度(ubuntu)文档风格示例支持模型上手难易Caffec++/cudac++/python/matlab*******CNN**MXNetc++/cudapython/R/Julia**

作者：机智的大群主链接：https://zhuanlan.zhihu.com/p/24501489来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。2016 年，人工智能在美好理想和残酷现实的夹缝中野蛮生长。当从业者们认为，人工智能时代是“技术为王”的时代，但面对价格战、商务战、公关战时，技术似乎不再是唯一的信仰。当从业者们认为，手握学术大牛、刷爆各