Daniel_djf的专栏

几个不错的深度学习教程，基本都有视频和演讲稿。附两篇综述文章和一副漫画。还有一些以后补充。Jeff Dean 2013 @ Stanfordhttp://i.stanford.edu/infoseminar/dean.pdf一个对DL能干什么的入门级介绍，主要涉及Google在语音识别、图像处理和自然语言处理三个方向上的一些应用。参《Spanner and Deep

在卷积神经网络中，我们经常会碰到池化操作，而池化层往往在卷积层后面，通过池化来降低卷积层输出的特征向量，同时改善结果（不易出现过拟合）。为什么可以通过降低维度呢？因为图像具有一种“静态性”的属性，这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适用。因此，为了描述大的图像，一个很自然的想法就是对不同位置的特征进行聚合统计，例如，人们可以计算图像一个区域上的某个特定特征的平均值

一般的回归和分类方式是基于线性模型，也就是固定的非线性的基函数（basis function）的线性组合，形式如下：其中，如果f（.）是非线性的激活函数（activation function），这就是一个分类模型；如果f（.）是恒等函数（identity），则是回归模型。根据自己的认识，我认为神经网络就是多层这样的模型的叠加，并引入非线性的activation funct

1． 简介逻辑回归和Softmax回归是两个基础的分类模型，虽然听名字以为是回归模型，但实际我觉得他们也有一定的关系。逻辑回归，Softmax回归以及线性回归都是基于线性模型，它们固定的非线性的基函数（basis function） 的线性组合，形式如下：2．逻辑回归谈谈逻辑回归，Softmax回归，前者主要处理二分类问题，而后者处理多分类问题，但事实上Softmax回归就是逻辑回归的

在之前的博文中，我总结了神经网络的大致结构，以及算法的求解过程，其中我们提高神经网络主要分为监督型和非监督型，在这篇博文我总结下一种比较实用的非监督神经网络——稀疏自编码（Sparse Autoencoder）。1.简介上图是稀疏自编码的一般结构，最大的特点是输入层结点数（不包括bias结点）和输出层结点数相同，而隐藏层结点个数少于输入层和输出层结点的个数。该模型的

推荐给深度学习初学者的深度学习材料：包含了深度学习的很全的资源：在线免费资源；课程；视频和讲座；论 文；教程；网站；数据集；框架和其它杂项。Free Online BooksDeep Learning4 by Yoshua Bengio, Ian Goodfellow and Aaron CourvilleNeural Networks and Deep Learning5 b

最近在看RCNN和微软的SPP-net，其中涉及到Non-Maximum Suppression，论文中没具体展开，我就研究下了代码，这里做一个简单的总结。假设从一个图像中得到了2000region proposals，通过在RCNN和SPP-net之后我们会得到2000*4096的一个特征矩阵，然后通过N的SVM来判断每一个region属于N的类的scores。其中，SVM的权重矩阵

白化是一种重要的预处理过程，其目的就是降低输入数据的冗余性，使得经过白化处理的输入数据具有如下性质：(i)特征之间相关性较低；(ii)所有特征具有相同的方差。 白化处理分PCA白化和ZCA白化，PCA白化保证数据各维度的方差为1，而ZCA白化保证数据各维度的方差相同。PCA白化可以用于降维也可以去相关性，而ZCA白化主要用于去相关性，且尽量使白化后的数据接近原始输入数据。1