码农ZZK的博客

前言在大部分人看来，卷积神经网络是一种黑盒技术，通过理论推导，以及梯度传播，去不断逼近局部最优解。这也导致人们对于神经网络研究进展的缓慢，因为这种黑盒模型无法给出研究人员进行改进的思路。所幸的是，近几年来的论文，也从常规的神经网络结构转向神经网络可视化，目的是让我们能看见卷积神经网络“学习”到了什么，神经网络是怎么判别物体的类别今天就要为大家介绍一种卷积神经网络可视化的技巧，它发表于一篇论文，...

前言在神经网络地不断发展中，研究人员不断探索网络中通道之间的特性在最近提出的几个网络比如目标检测中的ResNext，甚至是注意力Attention机制都采用了一种从全局信息采集，对各个通道分配不同的权值，以此来获得更好的信息流动Squeeze_Excitation这种从全局信息来调整各个通道的权重比，最早是应用在Squeeze_excitation的网络块...

前言笔者最近在复现Shufflenet Mobilenet 和谷歌最新推出的EfficientNet结构发现各大网络都在往轻巧化方向发展其中一个很关键的，就是Depthwise卷积结构的提出，可以参考我上篇博客而其中Depthwise卷积需要对单独的通道在做一次卷积，而不是多通道上进行累加因此这就涉及到了通道的分离下面我们直接来看代码代码实现import kerasfrom ke...

训练神经网络过程中，过拟合常常出现为了避免出现过拟合Hinton提出使用Dropout层来减少过拟合Dropout就是将某些神经网络的隐层单元的输出设置为0从而反向传播的时候不会进行参数的更新现在很多机器学习框架已经帮我们实现好了Dropout层了我们只需传入保留率，这是一个数值在0-1的超参数就可以实现DropoutDropConnect而DropConnect它丢弃掉的是神经...