学习笔记（2）Deep Learning

Deep learning的基本思想

假设我们有一个系统S，它有n层（S1,…Sn），它的输入是I，输出是O，形象地表示为： I =>S1=>S2=>…..=>Sn => O，如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失（这是不可能的。信息论中有个“信息逐层丢失”的说法（信息处理不等式），设处理a信息得到b，再对b处理得到c，那么可以证明：a和c的互信息不会超过a和b的互信息。这表明信息处理不会增加信息，大部分处理会丢失信息）。那么每一层的输出就是原来信息的一种抽象表示，所以如果说输入是一幅图像，那么通过中间的N层，我们就可以得到N种图像的抽象特征。

Deep learning与neural network

Deep learning本身是machine learning的一个分支，可以理解为neural network的发展。neural network曾经是ML领域特别火热的一个方向，像我们之前接触到的感知器网络，径向基网络，自适应网络，霍普菲尔德网络等等。这些神经网络的算法有一个共同的特点，就是在训练的时候都使用的是误差反向传播的方法，首先由一个正向的误差传播的过程，反过来运用梯度下降法减小误差，所以在层数比较多的时候，误差的反向传播方法就会失效，因为这时候的梯度基本已经等于0了，所以对于多层次的神经网络是没有办法训练的。其次，神经网络的训练需要大量的经验，网络参数非常难以优化，还记得老师曾经在课堂上讲过，我们初学没有经验，所以一个简单的网络调个三五天都是正常的，而对他来讲，打眼一瞧就知道该怎么调试了。最后，就是i训练速度比较慢，层数比较少的时候训练结果也并不比其他的结果好。但是事情发展起来就是有太多的意外。Hinton和Bengio、Yann.lecun等提成了一个实际可行的deep learning框架。

深度学习的模型解释如上图所示

用计算机来理解粗略的输入数据是很困难的，比如讲这幅像素值集合而成的图像。将一系列像素映射到相应的语义物体的函数是非常的复杂的，那么学习或者是估计这种映射就几乎是不可能的，深度学习就是一种打破这种理想的复杂映射的方法，它将这种映射分为很多内嵌的小映射，而每一个映射都是由不同的层来描述的。所谓的可视层（visiblelayer）就是输入的数据，然后一系列逐渐增加的隐藏层用来提取抽象的特征。这里的这幅图像视为由隐藏层所代表的特征组成。给出一些像素，第一层就可以很容易的定义边缘，给出第一层隐藏单元所描述的边缘，第二层就可以很容易的定义corners和外延的轮廓（extended contours）。而这种corners以及extended contour可以视为边缘的集合。同样的，给出第二层隐藏单元所描述的 corners和extended contours，第三层就能够通过找到特定的corners and extended cntour来检测特定的语义物体的一整个部分，最终，形成一幅图像的描述。

（1）Deep Learning

http://deeplearning.net/

（2）Deep Learning Methods for Vision

http://cs.nyu.edu/~fergus/tutorials/deep_learning_cvpr12/

（3）Neural Network for Recognition of Handwritten Digits[Project]

http://www.codeproject.com/Articles/16650/Neural-Network-for-Recognition-of-Handwritten-Digi

（4）Training a deep autoencoder or a classifier on MNIST digits

http://www.cs.toronto.edu/~hinton/MatlabForSciencePaper.html

（5）Ersatz：deep neural networks in the cloud

http://www.ersatz1.com/

（6）Deep Learning

http://www.cs.nyu.edu/~yann/research/deep/

（7）Invited talk "A Tutorial on Deep Learning" by Dr. Kai Yu (余凯)

http://vipl.ict.ac.cn/News/academic-report-tutorial-deep-learning-dr-kai-yu

（8）CNN - Convolutional neural network class

http://www.mathworks.cn/matlabcentral/fileexchange/24291

（9）Yann LeCun's Publications

http://yann.lecun.com/exdb/publis/index.html#lecun-98

（10） LeNet-5, convolutional neural networks

http://yann.lecun.com/exdb/lenet/index.html

（11） Deep Learning 大牛Geoffrey E. Hinton's HomePage

http://www.cs.toronto.edu/~hinton/

（12）Sparse coding simulation software[Project]

http://redwood.berkeley.edu/bruno/sparsenet/

（13）Andrew Ng's homepage

http://robotics.stanford.edu/~ang/

（14）stanford deep learning tutorial

http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial

（15）「深度神经网络」（deep neural network）具体是怎样工作的

http://www.zhihu.com/question/19833708?group_id=15019075#1657279

（16）A shallow understanding on deep learning

http://blog.sina.com.cn/s/blog_6ae183910101dw2z.html

（17）Bengio's Learning Deep Architectures for AI

 http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf

（18）andrew ng's talk video:

http://techtalks.tv/talks/machine-learning-and-ai-via-brain-simulations/57862/

（19）cvpr 2012 tutorial：

http://cs.nyu.edu/~fergus/tutorials/deep_learning_cvpr12/tutorial_p2_nnets_ranzato_short.pdf

（20）Andrew ng清华报告听后感

http://blog.sina.com.cn/s/blog_593af2a70101bqyo.html

（21）Kai Yu：CVPR12 Tutorial on Deep Learning Sparse Coding

（22）Honglak Lee：Deep Learning Methods for Vision

（23）Andrew Ng ：Machine Learning and AI via Brain simulations

（24）Deep Learning 【2,3】

http://blog.sina.com.cn/s/blog_46d0a3930101gs5h.html

（25）deep learning这件小事……

http://blog.sina.com.cn/s/blog_67fcf49e0101etab.html

（26）Yoshua Bengio, U. Montreal：Learning Deep Architectures

（27）Kai Yu：A Tutorial on Deep Learning

（28）Marc'Aurelio Ranzato：NEURAL NETS FOR VISION

（29）Unsupervised feature learning and deep learning

http://blog.youkuaiyun.com/abcjennifer/article/details/7804962

（30）机器学习前沿热点–Deep Learning

http://elevencitys.com/?p=1854

（31）机器学习——深度学习(Deep Learning)

http://blog.youkuaiyun.com/abcjennifer/article/details/7826917

（32）卷积神经网络

http://wenku.baidu.com/view/cd16fb8302d276a200292e22.html

（33）浅谈Deep Learning的基本思想和方法

http://blog.youkuaiyun.com/xianlingmao/article/details/8478562

（34）深度神经网络

http://blog.youkuaiyun.com/txdb/article/details/6766373

（35）Google的猫脸识别:人工智能的新突破

http://www.36kr.com/p/122132.html

（36）余凯，深度学习-机器学习的新浪潮，Technical News程序天下事

http://blog.youkuaiyun.com/datoubo/article/details/8577366

（37）Geoffrey Hinton：UCLTutorial on: Deep Belief Nets

（38）Learning Deep Boltzmann Machines

http://web.mit.edu/~rsalakhu/www/DBM.html

（39）Efficient Sparse Coding Algorithm

http://blog.sina.com.cn/s/blog_62af19190100gux1.html

（40）Itamar Arel, Derek C. Rose, and Thomas P. Karnowski： Deep Machine Learning—A New Frontier in Artificial Intelligence Research

（41）Francis Quintal Lauzon：An introduction to deep learning

（42）Tutorial on Deep Learning and Applications

（43）Boltzmann神经网络模型与学习算法

http://wenku.baidu.com/view/490dcf748e9951e79b892785.html

（44）Deep Learning 和 Knowledge Graph 引爆大数据革命

http://blog.sina.com.cn/s/blog_46d0a3930101fswl.html