weixin_42819084的博客

Deep Residual Learning for Image Recognition为什么网络越深，会导致模型变差？因为在更新参数时用到的公式是W（new） = W（old）- LR*（function/W（偏导）），当这个偏导数趋向0的时候，模型参数将不会更新（这种情况一般出现在离输入层比较近的W）。因为在求偏导数的过程中是一个链式求导的过程，它每一层都会进过一个sigmoid函数（1/(e^x +1)）,它的取值范围为0到1，它的导数是f（x）f（1-x）。所以当层数很深的时候，f（x）^

ImageNet Classification with Deep Convolutional Neural Networktop 5 error就是预测出来的标签概率最大的前五个中有和真实标签一样的，就返回0。（5个标签分别于真实标签比较，相同则返回0，不同返回1，再对这五个数取最小值），所以这个错误率是越小越好。AlexNet由5个卷积层和池化层和3个全连接层构成，采用了RELU这个非饱和函数。网络架构：神经元参数的计算：Fi是输入的通道数LRN（Local Response Norm