木子李的博客

MobileNetV2从MobileNetv1的结构来看，没有使用现在比较火residual连接，而是采取了最常见的直筒型网路，那么本文就是从激活函数ReLU层面分析了shorcut的必要性。我们知道，当图像在网络中流动的时候，一般来说，我们的激活函数是ReLU，从ReLU的性质来看，如果输出是小于0的，那么就会丧失这个部分的信息，因为ReLU在负半轴为0，所以如果我们有一种结构，能够把某些会...

Multi-Sample-Dropout自从BN出来后，感觉BN的热度超过了此前的dropout。然而，最近一篇最新论文指出，其实dropout并没有想象的那么差，而是可以通过优化，来提升网络模型性能的。详细点击原文解读具体看下面的分析：首先要知道dropout的工作原理，现在的dropout不如从前了，从前是在卷积层后也会使用（N年前），但现在一般卷积层后使用的是BN层来归一化输出，那么d...