本文详述了Stanford cs231n课程中关于卷积神经网络（CNN）的基础知识，重点讨论了组成CNN的各个模块如全连接层、卷积层、ReLU激活函数、批量归一化等，并分享了在实现这些模块过程中遇到的问题及解决方案。通过作业1和2，作者带领读者深入理解数据在模块中的流动和梯度回传。文章涵盖了CNN模块反向传播公式的推导、编程实现以及调试CNN的思路，包括初始值检查、梯度检查和小批量过拟合等。完整的笔记和代码已在GitHub上公开。
Stanfor cs231n是一门介绍CNN基础概念和知识的课程。这一课程前半部分的重点在于介绍组成CNN的各种模块，包括FC, Conv, Relu, BN等等。特别是在它的assignment1和2中，作者很用心的一步一步、循序渐进的带领初学者动手编程实现每一个模块。这样，在平时的工作中，我们不但可以像搭积木一样，将这些模块一层一层的叠加起来组成我们的CNN，更重要的是，我们可以更深入的了解数据在这些模块中是怎样流动的，以及梯度又是如何在这些模块中backpropagate的。基于此，在这里将学习cs231n课程中的学习心得记录下来，内容包括：
1. 各个模块backpropagation公式的推导过程，以及在编写程序中遇到的问题解决过程。这一点很重要，因为在以后的工作中，不论是使用TensorFlow还是PyTorch,我们只需要考虑forward过程来搭建CNN，至于梯度如何backpropagate，软件会自动帮我们处理好。所以我们只知道CNN会backpropa
最低0.47元/天 解锁文章
扫一扫
365
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
