深度学习Deep Learning（01）_CNN卷积神经网络

深度学习 Deep Learning

• github地址：https://github.com/lawlite19/DeepLearning_Python
• 有关神经网络的部分可以查看这里的BP神经网络的部分：https://github.com/lawlite19/MachineLearning_Python

一、CNN卷积神经网络

• 参考文章：http://cs231n.github.io/convolutional-networks/#conv

1、概述

• 典型的深度学习模型就是很深层的神经网络，包含多个隐含层，多隐层的神经网络很难直接使用BP算法进行直接训练，因为反向传播误差时往往会发散，很难收敛
• CNN节省训练开销的方式是权共享weight sharing，让一组神经元使用相同的权值
• 主要用于图像识别领域

2、卷积（Convolution）特征提取

• 卷积核（Convolution Kernel），也叫过滤器filter，由对应的权值W和偏置b体现
• 下图是3x3的卷积核在5x5的图像上做卷积的过程，就是矩阵做点乘之后的和
  
  第i个隐含单元的输入就是：