卷积神经网络

重新思考 - 全连接层

多层感知机十分适合处理表格数据，行对应样本，列对应特征

通过将图像数据展平成一维向量而忽略了每张图像的空间结构信息。

猫狗分类

使用一个还不错的相机采集RGB图片（3600万个像素）使用 100 个神经元单隐含层的 MLP ，模型有 36 亿个参数远超过地球上的狗和猫的数量

 

 

平移不变性

不管检测对象出现在图像中的哪个位置，神经网络的前面几层都应该对相同的图像区域具有相似的反应。

局部性

神经网络的前面几层应该只探索输入图像中的局部区域，而不过度在意图像中相隔较远的区域的关系。

 

卷积层将输入和卷积核进行交叉相关，加上偏移后得到输出

核矩阵和偏移是可学习的参数

核矩阵的大小是超参数

填充和步幅

 

总结

填充和步幅可以改变输出的高度和宽度

填充在输入周围添加额外的行/列，增加输出的高度和宽度

步幅是每次滑动核窗口时的行/列的步长，可以成倍的减少输出形状

填充和步幅可用于有效地调整数据的维度

多个输入和输出通道

彩色图像可能有 RGB 三个通道

转换为灰度会丢失信息

 

多个输入通道

每个通道都有一个卷积核，结果是所有通道卷积结果的和

池化层

平均池化层：将最大池化层中的“最大”操作替换为“平均”

最大池化层

平均池化层 

 

学习表征

浅层学习：不涉及特征学习，其特征主要靠人工经验或特征转换方法来抽取

表示学习：如果有一种算法可以自动地学习出有效的特征，并提高最终机器学习模型的性能，那么这种学习就可以叫作表示学习

通常需要从底层特征开始，经过多步非线性转换才能得到。

通过构建具有一定“深度”的模型，可以让模型来自动学习好的特征表示（从底层特征，到中层特征，再到高层特征），从而最终提升预测或识别的准确性。

AlexNet架构

1. AlexNet比相对较小的LeNet5要深得多。AlexNet由⼋层组成：五个卷积层、两个全连接隐藏层和一个全连接输出层。

2. AlexNet使⽤ReLU⽽不是sigmoid作为其激活函数。

总结

• AlexNet的架构与LeNet相似，但使⽤了更多的卷积层和更多的参数来拟合大规模的ImageNet数据集。

• 今天，AlexNet已经被更有效的架构所超越，但它是从浅层⽹络到深层网络的关键一步。

• 新加入了Dropout、ReLU、最大池化层和数据增强

 

VGG网络

•AlexNet比LeNet更深入更大，以获得更强性能

•能不能更大更深？

•选项

•更多稠密层(开销太大) 

•更多的卷积层

•将卷积层组合成块