lzmxxh168的博客

深度学习研究的一大突破是新型激活函数的出现，用 ReLU 函数替换sigmoid 函数可以在反向传播中保持快速的梯度下降过程，sigmoid 函数在正无穷处和负无穷处会出现趋于零的导数，这正是梯度消失导致训练缓慢甚至失败的主要原因。卷积核对应的检测特征可以从其参数分布简单地判断，例如，权重从左到右变小的卷积核可以检测到黑白竖条纹的边界，并显示为中间亮，两边暗的特征图，具体的相对亮暗结果取决于图像像素分布和卷积核的相对关系。此外，这种词表征的方法还能表示词的语义，因为词义相近的词在嵌入空间中距离相近。...

原文链接：https://blog.youkuaiyun.com/u013171226/article/details/113865307。版权声明：本文为优快云博主「陈 洪 伟」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。1.几种手工特征方法提出时间。2.几种手工特征方法简单对比。3.每种方法的参考博客。...

接下来我将结合自己看过的论文，还有这一年多的项目比赛经历谈一谈我所理解的图像分类和目标检测相关轻量级模型设计，本文思想还比较浅薄，主要是给自己的工作做个总结，有不正确的地方希望大家能共同讨论。设计之前通常我们都是基于已有的硬件架构去进行模型的部署，这个时候就需要确定这个架构下能部署什么算子，可以通过已有的接口自己拓展哪些算子，并且哪些算子不是很高效。...

在最开始,比如在 LeNet 那个年代，也就几层网络，当网络更深的时候便会出现精度不升反降的现象，后来我们知道是因为梯度下降导致学习率下降甚至停滞，而到了 VGG 和 GoogLeNet 的年代，我们有了 ReLU，有了更好的初始化方法，有了 BN，但是如下面第一幅图所示，当深度达到50多层时，问题又出现了了，所以激活函数或者初始化方法仅仅是缓解了梯度消失，让网络的深度从几层推移到了二十多层，而如何让网络更深，正是 ResNet 被提出的原因。这里所指的网络是可以作为 backbone 的基础网络结构。..

深度学习500问