呆呆的猫的博客

本文主要介绍神经网络中常用的归一化方法

本文主要介绍神经网络中常用的激活函数

本文主要介绍 E-LAN

文章目录一、背景二、方法四、RepKLNet：a Large-Kernel Architecture4.1 结构论文链接：https://arxiv.org/pdf/2203.06717.pdf代码链接：一、背景CNN 虽然在计算机视觉上处于长期的统治地位，但由于基于 transformer 方法的提出，这一现象发生了改变。比如 ViT，已经在分类、特征学习、目标检测、语义分割、图像复原等方面都取得了超越 CNN 的效果。有人认为 ViT 的效果离不开 MHSA （多头自注意）的结构，也有人替换了

文章目录Abstract1、introduction2、Related work3、Design Space Design3.1 Tools for Design Space Design3.2 The AnyNet Design Space论文地址：https://arxiv.org/pdf/2003.13678.pdfAbstract在这项工作中，我们提出了一个新的网络设计范例。我们的目...

文章目录一、背景二、方法2.1 训练方法2.2 宏观设计2.3 ResNeXt-ify：79.5%→80.5%2.4 Inverted Bottleneck： 80.5%→80.6%2.5 Large Kernel Sizes2.6 微观设计三、实验五、结论论文链接：https://arxiv.org/pdf/2201.03545.pdf代码链接：https://github.com/facebookresearch/ConvNeXt一、背景2020年出现了 ViT，是基于 Transformer

这种变换同样可以被用于恒等映射分支，因为恒等映射分支可以被看做一个 【1x1 conv with an identity matrix as the kernel】表 2 展示了 RepVGG 的设计细节，包括宽度和深度，其中主要使用了 3x3 conv，没有使用 max pooling。将每个 BN 和其前面的 conv 可以转换成一个【conv with bias vector】，假设。RepVGG 如何解决上述问题：结构重参数化（训练和推理使用不同的结构）当有 n 个 blocks 时，相当于有。

为了实现更好的效果，深度神经网络一直在往更深和更宽的方向发展，但也带来了一系列计算量的上升，难以在边端小型设备使用。由于这里 transition layer 使用的是 concat 方法，而 concat 方法的梯度传播会分开进行，就是还是会传递到对应的来源处去，所以经过密集 block 和未经过密集 block 的特征是分别优化的，梯度单独更新。Cross Stage Partial Network (CSPNet) 的主要设计思想：让网络中的梯度进行丰富的结合，降低冗余，减少计算量。

本文主要介绍 VoVNet

越来越深的神经网络会带来梯度消失问题，ResNet 和 Highway Network 使用了恒等映射的方式，让网络都超过了 100 层且效果良好，也就是给梯度增加了一条高速路，可以顺畅的在浅层和深层之间传输。DenseNet 的做法：在一个 block 内部（即特征图大小都相同），将所有的层都进行连接，即第一层的特征会直接传输给后面的所有层，后面的层会接受前面所有层的输出特征。然后再来看 DenseNet 的网络结构：每层接收前面所有层的特征输出，然后进行对应层的特征提取。

本文主要介绍 ShuffleNet V1 和 V2

MobileNet 系列介绍

提升模型 cardinality 可以在无参数增加的前提下提升模型效果