Focusing on your own Mind :) －> 站在巨人的肩膀上

转自：http://www.cnblogs.com/tornadomeet/p/3468450.html　　前言：　　CNN作为DL中最成功的模型之一，有必要对其更进一步研究它。虽然在前面的博文Stacked CNN简单介绍中有大概介绍过CNN的使用，不过那是有个前提的：CNN中的参数必须已提前学习好。而本文的主要目的是介绍CNN参数在使用bp算法时该怎么训练，毕竟CNN中有卷

reference: http://blog.youkuaiyun.com/luo123n/article/details/48239963前言这里讨论的优化问题指的是，给定目标函数f(x)，我们需要找到一组参数x，使得f(x)的值最小。本文以下内容假设读者已经了解机器学习基本知识，和梯度下降的原理。SGDSGD指stochastic gradient descen

reference: http://blog.youkuaiyun.com/cv_family_z/article/details/50328175http://blog.youkuaiyun.com/yaoxingfu72/article/details/50764087本文介绍一下2015 ImageNet中分类任务的冠军——MSRA何凯明团队的Residual Networks。实际上，MSRA

reference link: http://blog.youkuaiyun.com/whiteinblue/article/details/43312059本文是Matthew D.Zeiler 和Rob Fergus于（纽约大学）13年撰写的论文，主要通过Deconvnet（反卷积）来可视化卷积网络，来理解卷积网络，并调整卷积网络；本文通过Deconvnet技术，可视化Alex-net，并

reference:http://blog.codinglabs.org/articles/pca-tutorial.htmlPCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而

最小二乘法Least Square Method，做为分类回归算法的基础，有着悠久的历史（由马里·勒让德于1806年提出）。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。那什么是最小二乘法呢？别着急，我们先从

http://blog.youkuaiyun.com/shuzfan/article/details/50738394本文介绍的是著名的网络结构GoogLeNet及其延伸版本，目的是试图领会其中的思想而不是单纯关注结构。GoogLeNet Incepetion V1MotivationArchitectural DetailsGoogLeNetConclusion

之前也写过GoogLeNet的笔记，但那个时候对Inception有些似懂非懂，这周重新看了一遍，觉得有了新的体会，特地重新写一篇博客与它再续前缘。本文属于论文笔记性质，特此声明。Network in NetworkGoogLeNet提出之时，说到其实idea是来自NIN，NIN就是Network in Network了。NIN有两个特性，是它对CNN的贡献：

Reference link: http://blog.youkuaiyun.com/whiteinblue/article/details/43374195https://www.zybuluo.com/coolwyj/note/203086#1-classification    本文是纽约大学Yann LeCun团队中Pierre Sermanet ，David Eigen和张翔等在

一、前述1. 发展以往的人脸识别主要是包括人脸图像采集、人脸识别预处理、身份确认、身份查找等技术和系统。现在人脸识别已经慢慢延伸到了ADAS中的驾驶员检测、行人跟踪、甚至到了动态物体的跟踪。由此可以看出，人脸识别系统已经由简单的图像处理发展到了视频实时处理。而且算法已经由以前的Adaboots、PCA等传统的统计学方法转变为CNN、RCNN等深度学习及其变形的方法。现在也有相当一部

reference:http://www.tuicool.com/articles/F77Bzu这几天，关于 ICCV 2015 有一个振奋人心的消息——“微软亚洲研究院视觉计算组的研究员们凭借深层神经网络技术的最新突破，以绝对优势获得 图像分类、图像定位以及图像检测 全部三个主要项目的冠军。同一时刻，他们在另一项图像识别挑战赛 MS COCO （ Microsoft Common Objec

一、特征值和特征向量的几何意义特征值和特征向量确实有很明确的几何意义，矩阵（既然讨论特征向量的问题，当然是方阵，这里不讨论广义特征向量的概念，就是一般的特征向量）乘以一个向量的结果仍是同维数的一个向量。因此，矩阵乘法对应了一个变换，把一个向量变成同维数的另一个向量。那么变换的效果是什么呢？这当然与方阵的构造有密切的关系，比如可以取适当的二维方阵，使得这个变换的效果就是将平面上的二维

协方差的定义 对于一般的分布，直接代入E(X)之类的就可以计算出来了，但真给你一个具体数值的分布，要计算协方差矩阵，根据这个公式来计算，还真不容易反应过来。网上值得参考的资料也不多，这里用一个例子说明协方差矩阵是怎么计算出来的吧。记住，X、Y是一个列向量，它表示了每种情况下每个样本可能出现的数。比如给定则X表示x轴可能出现的数，Y表示y轴可能出现的。注意这里是关键，给定了4

一、相关理论    白化这个词，可能在深度学习领域比较常遇到，挺起来就是高大上的名词，然而其实白化是一个比PCA稍微高级一点的算法而已，所以如果熟悉PCA，那么其实会发现这是一个非常简单的算法。    白化的目的是去除输入数据的冗余信息。假设训练数据是图像，由于图像中相邻像素之间具有很强的相关性，所以用于训练时输入是冗余的；白化的目的就是降低输入的冗余性。    输入数据集

reference link：http://closure11.com/rcnn-fast-rcnn-faster-rcnn%E7%9A%84%E4%B8%80%E4%BA%9B%E4%BA%8B/RCNN -> Fast-RCNN -> Faster-RCNN这里不得不先提的就是为什么会有RCNN这一系列的检测算法，以及为什么它们会被称为深度对象检测的开山之作，我们知道，

深度学习概述：从感知机到深度网络 　　（注：本文译自一篇博客，作者行文较随意，我尽量按原意翻译，但作者所介绍的知识还是非常好的，包括例子的选择、理论的介绍都很到位，由浅入深，源文地址）　　近些年来，人工智能领域又活跃起来，除了传统了学术圈外，Google、Microsoft、facebook等工业界优秀企业也纷纷成立相关研究团队，并取得了很多令人瞩目的成果。这要归功于社

出处：http://blog.youkuaiyun.com/han_xiaoyang/article/details/49999299 声明：版权所有，转载请注明出处，谢谢。1. 线性分类器在深度学习与计算机视觉系列(2)我们提到了图像识别的问题，同时提出了一种简单的解决方法——KNN。然后我们也看到了KNN在解决这个问题的时候，虽然实现起来非常简单，但是有很大的弊端：分类器必须记

网上有传言 微软的深度残差学习是抄袭 Highway Networks，只是Highway Networks的一个特例。Highway Networks 的确是先发表的。http://people.idsia.ch/~rupesh/very_deep_learning/有开源代码reference: http://blog.youkuaiyun.com/cv_family_z/arti

原文 http://www.jianshu.com/p/9dc9f41f0b29本文译自 Colah 的博文Recurrent Neural Networks 人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考。我们的思想拥有持久性。

转者(ym): 转载这篇文章是因为看到其后半部分，法国 Inria 研究所的研究员 Nikos Paragios所言的事实尤为感慨，也着实是我们需要去深入思考的一个问题，纪录思考。------------------------------------------------------------------------------------------------------------

参考自知乎作者：困兽 链接：https://zhuanlan.zhihu.com/p/22308032前言 (呕血制作啊！)前几天刚好做了个图像语义分割的汇报，把最近看的论文和一些想法讲了一下。所以今天就把它总结成文章啦，方便大家一起讨论讨论。本文只是展示了一些比较经典和自己觉得比较不错的结构，毕竟这方面还是有挺多的结构方法了。介绍 图像语义分割，简单而言就是给定一张图片，对图

今年过年之前，MSRA和Google相继在ImagenNet图像识别数据集上报告他们的效果超越了人类水平，下面将分两期介绍两者的算法细节。　　这次先讲Google的这篇《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》，主要是因为这里面的思想比较有普适性，

前置阅读：http://blog.youkuaiyun.com/happynear/article/details/44238541——Batch Norm阅读笔记与实现前置阅读：http://www.zhihu.com/question/38102762——知乎网友Deep Learning与Bayesian Learning在很多情况下是相通的，随着Deep Learning理论的

BatchNormalization是神经网络中常用的参数初始化的方法。其算法流程图如下： 我们可以把这个流程图以门电路的形式展开，方便进行前向传播和后向传播： 那么前向传播非常简单，直接给出代码：def batchnorm_forward(x, gamma, beta, eps): N, D = x.shape #为了后向传播求导方便，这里都是分步进行的

转载自: http://www.jianshu.com/p/329d2c0cfca9Google Research的Inception模型和Microsoft Research的Residual Net模型两大图像识别杀器结合效果如何？在这篇2月23日公布在arxiv上的文章“Inception-v4, Inception-ResNet and the Impact of Resi