m0_47152970的博客

有时我也会这样问自己：你们不是教过人工智能课程吗？为什么还要看一遍《深度学习入门》？其实原因有很多，其中一个重要的原因就是当时没学明白卷积神经网络。但是看完本章以后，有一种幡然醒悟的感觉：原来这么简单！CNN主要难的地方我认为就一个，就是理解RGB图象是3通道的，而卷积核可以有很多个，这就导致特征图可以是任意多通道的。理解了通道，就能理解输入输出数据的N, C, H, W是怎么回事；理解了输入输出，就能看懂各种模型的结构了。

在pytorch中，在torch.optim中集成了很多优化器，如SGD，Adadelta，Adam，Adagrad，RMSprop等，这些优化器自带的一个参数weight_decay，用于指定权值衰减率，相当于L2正则化中的λ参数。实际上，SGD相比于其他的optimizer来说只能算是弟中之弟，原因在于它的收敛速度太慢，而且容易卡在局部最优化的位置。Batch Norm的思路是调整各层的激活值（激活函数的输出值）的分布，使其具有适当的广度。这其中，常用的方法就是给损失函数加上权重的L2范数。

这里将第四章与第五章放在一起进行总结与回顾，主要是因为通过对比第四章中的数值微分法，以及第五章中的误差反向传播法，能够很好的理解二者的原理以及优劣。第4章开头很清晰地描述了机器学习与深度学习的区别。例如，在手写数字识别任务中，机器学习方法会先将图像转换为合适的特征量，例如SIFT、HOG等，然后再使用机器学习中的SVM、KNN等进行学习；而深度学习则不需要人为选定特征量，直接使用神经网络对所有参数进行学习即可。对比可以看出：机器学习需要人为设计专门的特征量，而深度学习则不用。