卷积神经网络CNN、caffe_Blob（improving）

一、卷积神经网络CNN

稀疏连接(Sparse Connectivity) ：局部感知

权值共享(Shared Weights)

二、Blob的4个维度：
num: 图像数量
channel：通道数量
width：图像宽度
height：图像高度

参考资料：

http://dataunion.org/11692.html 技术向：一文读懂卷积神经网络CNN

http://ibillxia.github.io/blog/2013/04/06/Convolutional-Neural-Networks/ 卷积神经网络（CNN）

http://sanwen8.cn/p/10dIQu2.html 长文干货！走近人脸检测：从VJ到深度学习（下）

https://mp.weixin.qq.com/s?__biz=MzI1NTE4NTUwOQ==&mid=402840844&idx=1&sn=25cce8cdd0d6403943074bce18949b61&scene=1&srcid=0412gEhqheWw0hdggK665pGZ&pass_ticket=jAPclBu6ufBKD9QV9VJ00deYCG3dO5K3UJtDZGNXkFBl4C8kmklFrRWrwlHYI991#rd 长文干货！走近人脸检测：从 VJ 到深度学习（上）

http://ibillxia.github.io/blog/2013/04/06/Convolutional-Neural-Networks/ 卷积神经网络（CNN）

http://blog.youkuaiyun.com/u010555688/article/details/24487301 Deep Learning模型之：CNN卷积神经网络（一）深度解析CNN

http://blog.youkuaiyun.com/zouxy09/article/details/9993743 Deep Learning论文笔记之（五）CNN卷积神经网络代码理解

http://blog.youkuaiyun.com/mao_kun/article/details/52139808 caffe源码解析的三个博客分享

http://blog.youkuaiyun.com/zyazky/article/details/52174961 深度学习解决局部极值和梯度消失问题方法简析

第一，采用sigmoid等函数，算激活函数时（指数运算），计算量大，反向传播求误差梯度时，求导涉及除法，计算量相对大，而采用Relu激活函数，整个过程的计算量节省很多。第二，对于深层网络，sigmoid函数反向传播时，很容易就会出现梯度消失的情况（在sigmoid接近饱和区时，变换太缓慢，导数趋于0，这种情况会造成信息丢失），从而无法完成深层网络的训练。第三，Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生。

http://blog.youkuaiyun.com/myarrow/article/details/51878004 cs231n学习笔记-CNN-目标检测、定位、分割

从R-CNN, SPP-NET, Fast R-CNN, Faster R-CNN一路走来，基于深度学习目标检测的流程变得越来越精简，精度越来越高，速度也越来越快。可以说基于Region Proposal的R-CNN系列目标检测方法是当前目标最主要的一个分支。

http://blog.youkuaiyun.com/lanchunhui/article/details/51279293 机器学习算法的调试 —— 梯度检验（Gradient Checking）