我爱智能

本片主要介绍一种对于网络参数的改进方式，这也是大牛Hinton在前两年对深度网络的一个工作，主要的方法就是dropout，思想就是在训练网络的时候随机扔掉一些网络权值进行训练，其方法在前面的DeepLearnToolbox工具箱中也有集成，通过在这个工具箱中设置dropout参数可以直接实现网络中加入dropout的算法思想，本文旨在研究该工具箱时涉及到了dropout这块然后希望弄明白这块。关于d

手写体数据库是一个简单通用的模型，这是进一步理解像imagenet的cnn模型的基础模型。关于手写体，输入的大小就是28*28的黑白二像素图像，比较简单，ok现在开始操作。Matconvnet自带集成mnist这个实例库，数据集的下载都帮集成了，我们只需要去确认工具箱可以用，然后直接运行就可以了。打开安装文件夹以后打开如下函数：首先将整个安装包添加路径，然后直接运行就可以了。等一段时间后（训练20代

该节来试验一下Matconvnet集成的fast-rcnn目标检测模型。去Matconvnet的官网可以发现，当前最新一版的Matconvnet-1.0-beta23 集成了fast-rcnn模型，注意不是faster-rcnn模型，至于他们为什么不开发当前最新的faster-rcnn模型，可能是faster-rcnn本身也出来不是很久（不到一年），来不及集成，相信未来会集成的吧。总的来说faste

不知不觉，博客也写出了一点小体系，新的阶段已经开始，未来希望再接再厉继续补充这一体系，在成长中写博客，在博客中成长，在此先做一个小的梳理，谢谢大家的支持。一）关于深度学习系列深度学习系列-前言:深度学习的好教程 深度学习系列（二）：从神经网络到深度学习 深度学习系列（三）：简单网络的自编码学习 深度学习系列（四）：什么是稀疏编码 深度学习系列（五）：一个简单深度学习工具箱深度学习系列(六)：

上节讨论过如何使一个简单的cnn网络训练mnist数据集，该节介绍复杂并且使用广泛的使用imagenet网络的预训练模型训练自己的数据集。Ok首先是自己的数据集了。Matconvnet中训练imagenet的数据集的准备不像caffe这些工具箱弄得那么好，弄个train文件夹，test文件夹，以及两个txt索引就好了，感觉很不人性。后面我将会将其输入改为这种人性的类型输入格式。这里是有一个网友准备的

本节使用python环境，在不使用深度学习工具箱情况下搭建一个简单的神经网络结构（非CNN卷积网络）来训练mnist手写体数据库。网络的结构可以很简单，比如就是([784,200,100,10])，输入维度为784是一个样本大小的28*28，网络包含dropout操作，更多的是理解这种最基础的反向传播机制的实现过程。完整的项目点击github主页获取下面看下可运行的包含训练测试的代码：# -*- c

之前GAN网络是近两年深度学习领域的新秀，火的不行，本文旨在浅显理解传统GAN，分享学习心得。现有GAN网络大多数代码实现使用python、torch等语言，这里，后面用matlab搭建一个简单的GAN网络，便于理解GAN原理。GAN的鼻祖之作是2014年NIPS一篇文章：Generative Adversarial Net,可以细细品味。分享一个目前各类GAN的一个论文整理集合再分享一个目前各

该节分享两篇使用GAN的方法来进行图像转换方面的文章，分别是pix2pix GAN 和 Cycle GAN，两篇文章基本上是相同的作者发表的递进式系列，文章不是最新，但也不算旧，出来半年多点，算是比较早的使用GAN的方法进行图像转换的文章吧，该部分将详细解读其实现过程。图像转换或者图像的风格转换，顾名思义，是指把一副图像A按照另一幅 图像B的模式/风格进行转换的一个操作，例如 “白天-

该节简单介绍一下如何使用Matconvnet的现有的模型进行图像分类实验以及提取图像对应层的特征。先来看看如何用训练好的imagenet网络模型进行图像的预测，英文版的官网教程就在这里：http://www.vlfeat.org/matconvnet/quick/检测图像分类之前，首先需要训练好的模型，官网也提供了各式各样的网络模型，下载如下：http://www.vlfeat.org/matcon

当前深度学习框架层出不穷，大点公司企业都在做自己的深度学习库，百度，Google，Facebook等等，各种各样的框架也很多，各种语言的也都有，难易程度各异，一个框架连接十个值得一试的开源深度学习框架各类框架自己去选择吧，这里想说一下的是其中一个用于研究领域较多的一个框架Matconvnet，这个框架是基于matlab写的，matlab懂得，研究用的，方便简单。首先贴一下 Matconvnet的主页

写在之前： 忙忙碌碌，总是在走走停停，挤挤时间，留一个思考的机会。 断断续续，研究深度学习也有段时间，从开始的小白到现在算是入门了，中途看过些许文章文献资料，也有许多的问题。高山之行才刚刚开始，本系列旨在记录下走过的路与个人的学习感悟。该篇小记一下学习到的一些好教程与资料。 关于深度学习，介绍性的文章与博客非常多，写的也非常好。一个综述点的博客系列就是Zouxy大神的文章：Dee

前面已经介绍了深度学习的一个模型框架：自编码器，那么从本节后来再来简单介绍一下深度学习的另一个模型框架：卷积神经网络CNN，关于CNN可能大家听说过的不能在多了，网上资源众多，各路大神总结的也是无比完美，在这里就不在copy了，重要的地方直接直接贴出那些优秀的文章，这里旨在记录一下整个思路过程以及一些简单的认识以求完整。首先贴一下网络上众多了讲解CNN的好资源吧： （1）综述性的：Deep Lea

本节将研究深度学习网络权值设计的重要思想之一：自编码思想，在正式介绍之前先以一个简单的介绍一篇，一层隐含层网络的自编码学习问题。什么是自编码？所谓自编码就是自己给自己编码，再简单点就是令输出等于输入自己。以一个简单三层网络为例如下： 这里我们假设输出等于输入来训练这个网络参数（可能训练好的网络参数不可能让输出百分百等于输入，至少会非常接近吧）。那么这个网络在输入确定了以后（这时输出也就确定了吧

所谓神经网络自然是模拟人脑的神经元构造，许多神经元结合起来的一个网络，人脑的一个神经元可能是这个样子： 抽象出来一个神经元就是三个东西，前中后： 前：谁给这个神经元信号（人脑每个神经元可是与10万个其他神经元相连接）； 中：这个神经元信号往哪里传； 后：传出的信号大小是多少； 基于此人们构造了人工神经元，可能是这个样子： 每个神经元有好些个输入，然后把信息综合一下有一个输出（这是

上节使用简单方法阐述了自编码问题与简单操作，本节将正式开始探索深度学习的相关问题，第一个问题就是稀疏编码。关于稀疏编码需要理解的几点： （1）什么是稀疏编码？ （2）为什么要稀疏编码? （3）稀疏编码的实现途径。首先什么是稀疏编码？在这之前先看看稀疏表示。 从一个简单的例子说起，相信大多数人学过线性代数或者矩阵论之类的课程吧，再线性代数中，最初始的时候就会学到关于如何判断一大堆向量线性的相关

本节主要介绍一个深度学习的matlab版工具箱，DeepLearnToolbox该工具箱中的代码很简单，感觉比较适合用来学习算法。里面有常见的网络结构，包括深度网络(NN),稀疏自编码网络(SAE),CAE,深度信念网络(DBN)(基于玻尔兹曼RBM实现)，卷积神经网络(CNN)等等。感谢该toolbox的作者。发现这个工具箱是在优快云上另外一位博主的博客下发现的，该博主也很详细的介绍了该工具箱里

在第三节我们已经介绍了 简单网络的自编码学习 知道了自编码学习其实就是学习到了输入数据的隐含特征，通过新的特征来表征原始数据，本节将介绍如何使用这些隐含特征进行模式分类； 还是以前面的三层自编码网络： 抽象一下如下： 其中学习到的权值系数W1与W1’是不一样的，我们把W1叫做编码权值，W1’叫做译码权值，原始数据在编码权值下的新数据Y就可以视为学习到了新维度下的数据，这在第三节也说

上节我们看到自编码网络额隐含层可以用于原始数据的降维（其实也可以升维，不过把隐含层的单元设置的比输入维度还要多），换而言之就是特征学习，那么学习到的这些特征就可以用于分类了，本节主要试验下这些特征用于分类的效果。先以最简单的三层自编码网络为例，先训练自编码网络，在得到编码权值矩阵后，在后接SVM分类器，抽象出来就是如下两个步骤： 这里我们不断调整隐含层单元个数K，并观察最终的分类准确率。Ok第

上节我们谈到了三层自编码网络的特征学习，并将其学习到的特征用于实际分类实验中，并与传统的PCA特征提取方法作了实验对比，发现在三层网络下自编码学习的特征能更好用于分类，达到分类准确率更高，本节我们将再一次探索自编码网络的特征学习问题，并且是深层网络的自编码学习。首先来探索四层网络的自编码问题，还是以手写体为例，网络抽象成下面这样子： 假设我们第一层隐含层用200个神经元，第二层K个（可以固定也可

介绍一本吴恩达新书，说新也不新，出来也有好大半年了，也许你早就看过，如果没有可以看看。这是一本面向实战类的书，讲述的是吴恩达自己关于项目类的比较高认识的总结，吴恩达称：这本书的主题是“如何构建机器学习项目”。“这本书的重点不在于教授具体的机器学习算法，而在于如何使机器学习算法真正发挥作用。有一些技术类的人工智能课程会给你一个锤子；而这本书会教你如何使用这个锤子。如果你渴望成为人工智能领域的技术...