Day07 Python Study(深度学习）

优化学习策略：

1.正交化：指只需要改变一个方向，进行调试，就比如对一个图片进行调整。

2.单一数字评估指标：指对某一指标作为目标，进行调试模型参数

3.训练开发测试集的大小。

4.根据人的表现，判断是误差的问题还是方差的问题，从而调整模型。

5.迁移学习：通常指的是从一个多数据集的模型，通过预处理和微调应用到低数据集上。

6.端到端学习：指在模型过程中一步到位，不需要精心手动设计一些过程，通常用于大数据集的情况。在遇到小数据集的情况下，有时设计一些过程可能具有更好的效果。

卷积神经网络：

Padding ：填充像素

Valid卷积：不进行填充

Same卷积：不会改变原先矩阵的大小。

通常使用的是奇数列的过滤器。

卷积步长，当原始矩阵为n*n，过滤器为f*f,s为步长，p为扩充列数，那么(n+2p-f)/s+1。遇到非整数时向下取整。

三维卷积神经网络，n*n*v  过滤器为f*f*v，结果为n-f+1，而且当想同时实现两个或多个维度的边界检测时，可以设置多个过滤器。

卷积网络中，可以把过滤器看成W，把原始矩阵信息看成x，把结果信息看成z,然后再经过激活函数进行下一层的结果。

池化层通常有三个点要注意1.过滤器大小2.取的是最大值还是最小值3.步长是多大。

在设置参数时，通常不要自己设计参数，而是通过文献找到适合的参数，然后进行使用。

参数的计算公式为过滤器矩阵的平方+1乘以过滤器个数。

LE-Net网络：AlexNet  VGG-16。在使用一些经典网络时，我们通常可以保证网络的基本结构不变，只需要对参数进行微调，并且根据最后结果改变最后一层结构。