Focusing on your own Mind :) －> 站在巨人的肩膀上

论文地址：MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications 民间实现：caffe | Tensorflow 官方代码：tensorflow/modelsreference: http://blog.youkuaiyun.com/jesse_mx/article/details/7

reference link：http://blog.youkuaiyun.com/whiteinblue/article/details/43451383 本文是纽约大学Yann LeCun团队中Pierre Sermanet ，David Eigen和张翔等在13年撰写的一篇论文，本文改进了Alex-net，并用图像缩放和滑窗方法在test数据集上测试网络；提出了一种图像定位的方法；最后通过一

reference: http://blog.youkuaiyun.com/cv_family_z/article/details/50328175http://blog.youkuaiyun.com/yaoxingfu72/article/details/50764087本文介绍一下2015 ImageNet中分类任务的冠军——MSRA何凯明团队的Residual Networks。实际上，MSRA

reference: http://blog.youkuaiyun.com/u014114990/article/details/50715548本文是牛津大学 visual geometry group（VGG）Karen Simonyan 和Andrew Zisserman 于14年撰写的论文，主要探讨了深度对于网络的重要性；并建立了一个19层的深度网络获得了很好的结果；在ILSVRC上定位第一，

reference: http://blog.youkuaiyun.com/luo123n/article/details/48239963前言这里讨论的优化问题指的是，给定目标函数f(x)，我们需要找到一组参数x，使得f(x)的值最小。本文以下内容假设读者已经了解机器学习基本知识，和梯度下降的原理。SGDSGD指stochastic gradient descen

一、特征值和特征向量的几何意义特征值和特征向量确实有很明确的几何意义，矩阵（既然讨论特征向量的问题，当然是方阵，这里不讨论广义特征向量的概念，就是一般的特征向量）乘以一个向量的结果仍是同维数的一个向量。因此，矩阵乘法对应了一个变换，把一个向量变成同维数的另一个向量。那么变换的效果是什么呢？这当然与方阵的构造有密切的关系，比如可以取适当的二维方阵，使得这个变换的效果就是将平面上的二维

协方差的定义 对于一般的分布，直接代入E(X)之类的就可以计算出来了，但真给你一个具体数值的分布，要计算协方差矩阵，根据这个公式来计算，还真不容易反应过来。网上值得参考的资料也不多，这里用一个例子说明协方差矩阵是怎么计算出来的吧。记住，X、Y是一个列向量，它表示了每种情况下每个样本可能出现的数。比如给定则X表示x轴可能出现的数，Y表示y轴可能出现的。注意这里是关键，给定了4

一、相关理论    白化这个词，可能在深度学习领域比较常遇到，挺起来就是高大上的名词，然而其实白化是一个比PCA稍微高级一点的算法而已，所以如果熟悉PCA，那么其实会发现这是一个非常简单的算法。    白化的目的是去除输入数据的冗余信息。假设训练数据是图像，由于图像中相邻像素之间具有很强的相关性，所以用于训练时输入是冗余的；白化的目的就是降低输入的冗余性。    输入数据集

BatchNormalization是神经网络中常用的参数初始化的方法。其算法流程图如下： 我们可以把这个流程图以门电路的形式展开，方便进行前向传播和后向传播： 那么前向传播非常简单，直接给出代码：def batchnorm_forward(x, gamma, beta, eps): N, D = x.shape #为了后向传播求导方便，这里都是分步进行的

前置阅读：http://blog.youkuaiyun.com/happynear/article/details/44238541——Batch Norm阅读笔记与实现前置阅读：http://www.zhihu.com/question/38102762——知乎网友Deep Learning与Bayesian Learning在很多情况下是相通的，随着Deep Learning理论的

今年过年之前，MSRA和Google相继在ImagenNet图像识别数据集上报告他们的效果超越了人类水平，下面将分两期介绍两者的算法细节。　　这次先讲Google的这篇《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》，主要是因为这里面的思想比较有普适性，

零、声明这是一篇失败的工作，我低估了batch normalization里scale/shift的作用。细节在第四节，请大家引以为戒。一、前言　　关于神经网络的作用有一个解释：它是一个万能函数逼近器。通过BP算法调整权重，在理论上神经网络可以近似出任意的函数。 　　当然，要近似出来的函数的复杂度肯定不能超过神经网络的表达能力，不然就会产生欠拟合的现象。而一个网络能承载

reference：http://blog.youkuaiyun.com/hjimce/article/details/50458190一、相关理论本篇博文主要讲解2014年ICLR的一篇非常牛逼的paper：《Network In Network》，过去一年已经有了好几百的引用量，这篇paper改进了传统的CNN网络，采用了少量的参数就松松击败了Alexnet网络，Alexnet网络

reference link: http://blog.youkuaiyun.com/whiteinblue/article/details/43312059本文是Matthew D.Zeiler 和Rob Fergus于（纽约大学）13年撰写的论文，主要通过Deconvnet（反卷积）来可视化卷积网络，来理解卷积网络，并调整卷积网络；本文通过Deconvnet技术，可视化Alex-net，并

在卷积神经网络中，卷积算是一个必不可少的操作，下图是一个简单的各层的关系。可以看出一个很好的扩展的关系，下面是整个卷积的大概的过程图中上半部分是传统的卷积的操作，下图是一个矩阵的相乘的操作。下图是在一个卷积层中将卷积操作展开的具体操作过程，他里面按照卷积核的大小取数据然后展开，在同一张图里的不同卷积核选取的逐行摆放，不同N的话，就在同一行后面继续拼接，不同个可以是多

reference:http://www.tuicool.com/articles/F77Bzu这几天，关于 ICCV 2015 有一个振奋人心的消息——“微软亚洲研究院视觉计算组的研究员们凭借深层神经网络技术的最新突破，以绝对优势获得 图像分类、图像定位以及图像检测 全部三个主要项目的冠军。同一时刻，他们在另一项图像识别挑战赛 MS COCO （ Microsoft Common Objec

reference link:http://zhangliliang.com/2015/05/17/paper-note-fast-rcnn/http://blog.youkuaiyun.com/shenxiaolu1984/article/details/51036677论文出处见：http://arxiv.org/abs/1504.08083项目见：https://gith

Faster R-CNN: Towards Real-Time Object Detection with Region Proposal NetworksShaoqing Ren, Kaiming He, Ross Girshick, Jian Sunreference link：http://blog.youkuaiyun.com/liumaolincycle/article/details/

reference link：http://blog.youkuaiyun.com/shenxiaolu1984/article/details/51066975Region CNN(RCNN)可以说是利用深度学习进行目标检测的开山之作。作者Ross Girshick多次在PASCAL VOC的目标检测竞赛中折桂，2010年更带领团队获得终身成就奖，如今供职于Facebook旗下的FAIR。 这篇

论文阅读笔记：Fully Convolutional Networks forSemantic Segmentation这是CVPR 2015拿到best paper候选的论文。论文下载地址：Fully Convolutional Networks forSemantic Segmentation

Reference link: http://blog.youkuaiyun.com/whiteinblue/article/details/43374195https://www.zybuluo.com/coolwyj/note/203086#1-classification    本文是纽约大学Yann LeCun团队中Pierre Sermanet ，David Eigen和张翔等在

这是继RCNN，fast-RCNN 和 faster-RCNN之后，rbg（Ross Girshick）大神挂名的又一大作，起了一个很娱乐化的名字：YOLO。 虽然目前版本还有一些硬伤，但是解决了目前基于DL检测中一个大痛点，就是速度问题。 其增强版本GPU中能跑45fps，简化版本155fps。

reference link：http://blog.youkuaiyun.com/shenxiaolu1984/article/details/51152614http://blog.youkuaiyun.com/xyy19920105/article/details/50817725思想从RCNN到fast RCNN，再到本文的faster RCNN，目标检测的四个基本步骤（候选区域生成，特征

之前也写过GoogLeNet的笔记，但那个时候对Inception有些似懂非懂，这周重新看了一遍，觉得有了新的体会，特地重新写一篇博客与它再续前缘。本文属于论文笔记性质，特此声明。Network in NetworkGoogLeNet提出之时，说到其实idea是来自NIN，NIN就是Network in Network了。NIN有两个特性，是它对CNN的贡献：

http://blog.youkuaiyun.com/shuzfan/article/details/50738394本文介绍的是著名的网络结构GoogLeNet及其延伸版本，目的是试图领会其中的思想而不是单纯关注结构。GoogLeNet Incepetion V1MotivationArchitectural DetailsGoogLeNetConclusion

Reference link:http://caffecn.cn/?/question/160Question:我只知道，输入检测到的box，回归的是检测到box中心点，以及box长和宽到标记的box的映射。看过rcnn的回归的过程，就是把那个loss函数最小。但这个红框里面的loss函数 谁能解释下-----------------------------

reference: http://blog.youkuaiyun.com/liyaohhh/article/details/50990927图像的heatMap是什么，一副图片的heatmap可以帮助我们在上面检测到想要的object，如下左图所示：              可以直接的看到，人脸的的区域有红色区域,这个时候呢用sliding window在图片上进行检测，对于每一个窗口里面的o

参考：http://blog.youkuaiyun.com/wangran51/article/details/7579100http://blog.youkuaiyun.com/shaoxiaohu1/article/details/8998515最近一直在做相关推荐方面的研究与应用工作，召回率与准确率这两个概念偶尔会遇到，知道意思，但是有时候要很清晰地向同学介绍则有点转不过弯来。举个...

文字识别系统LeNet-5        一种典型的用来识别数字的卷积网络是LeNet-5（效果和paper等见这）。当年美国大多数银行就是用它来识别支票上面的手写数字的。能够达到这种商用的地步，它的准确性可想而知。毕竟目前学术界和工业界的结合是最受争议的。      那下面咱们也用这个例子来说明下。        LeNet-5共有7层，不包含输入

Reference:http://blog.youkuaiyun.com/zouxy09/article/details/87820181）卷积神经网络的历史       1962年Hubel和Wiesel通过对猫视觉皮层细胞的研究，提出了感受野(receptive field)的概念，1984年日本学者Fukushima基于感受野概念提出的神经认知机(neocognitron

reference : http://ibillxia.github.io/blog/2013/04/06/Convolutional-Neural-Networks/1. 概述卷积神经网络是一种特殊的深层的神经网络模型，它的特殊性体现在两个方面，一方面它的神经元间的连接是非全连接的， 另一方面同一层中某些神经元之间的连接的权重是共享的（即相同的）。它的非全连接和权值共享的网络

本文的论文来自：Notes on Convolutional Neural Networks, Jake Bouvrie。         这个主要是CNN的推导和实现的一些笔记，再看懂这个笔记之前，最好具有CNN的一些基础。这里也先列出一个资料供参考：[1] Deep Learning（深度学习）学习笔记整理系列之（七）[2] LeNet-5, con

1、传统神经网络的训练方法为什么不能用在深度神经网络       BP算法作为传统训练多层网络的典型算法，实际上对仅含几层网络，该训练方法就已经很不理想。深度结构（涉及多个非线性处理单元层）非凸目标代价函数中普遍存在的局部最小是训练困难的主要来源。BP算法存在的问题：（1）梯度越来越稀疏：从顶层越往下，误差校正信号越来越小；（2）收敛到局部最小值：尤其是从远离最优区

原文地址：http://blog.youkuaiyun.com/hjimce/article/details/47323463作者：hjimce卷积神经网络算法是n年前就有的算法，只是近年来因为深度学习相关算法为多层网络的训练提供了新方法，然后现在电脑的计算能力已非当年的那种计算水平，同时现在的训练数据很多，于是神经网络的相关算法又重新火了起来，因此卷积神经网络就又活了起来，再

ImageNet Classification with Deep Convolutional Neural NetworksAlex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton摘要我们训练了一个大型的深度卷积神经网络，来将在ImageNet LSVRC-2010大赛中的120万张高清图像分为1000个不同的类别。对测试数据

原文出自：http://blog.youkuaiyun.com/wangran51/article/details/7579100最近一直在做相关推荐方面的研究与应用工作，召回率与准确率这两个概念偶尔会遇到，知道意思，但是有时候要很清晰地向同学介绍则有点转不过弯来。召回率和准确率是数据挖掘中预测、互联网中的搜索引擎等经常涉及的两个概念和指标。召回率：Recall，又

reference link：http://closure11.com/rcnn-fast-rcnn-faster-rcnn%E7%9A%84%E4%B8%80%E4%BA%9B%E4%BA%8B/RCNN -> Fast-RCNN -> Faster-RCNN这里不得不先提的就是为什么会有RCNN这一系列的检测算法，以及为什么它们会被称为深度对象检测的开山之作，我们知道，

转自：http://www.cnblogs.com/tornadomeet/p/3468450.html　　前言：　　CNN作为DL中最成功的模型之一，有必要对其更进一步研究它。虽然在前面的博文Stacked CNN简单介绍中有大概介绍过CNN的使用，不过那是有个前提的：CNN中的参数必须已提前学习好。而本文的主要目的是介绍CNN参数在使用bp算法时该怎么训练，毕竟CNN中有卷

一、什么是Deep Learning？实际生活中，人们为了解决一个问题，如对象的分类（对象可是是文档、图像等），首先必须做的事情是如何来表达一个对象，即必须抽取一些特征来表示一个对象，如文本的处理中，常常用词集合来表示一个文档，或把文档表示在向量空间中（称为VSM模型），然后才能提出不同的分类算法来进行分类；又如在图像处理中，我们可以用像素集合来表示一个图像，后来人们提出了新的特征表示，如

出处：http://blog.youkuaiyun.com/han_xiaoyang/article/details/49999299 声明：版权所有，转载请注明出处，谢谢。1. 线性分类器在深度学习与计算机视觉系列(2)我们提到了图像识别的问题，同时提出了一种简单的解决方法——KNN。然后我们也看到了KNN在解决这个问题的时候，虽然实现起来非常简单，但是有很大的弊端：分类器必须记