u010067397的专栏

如何评价谷歌的xception网络？动机传统的要提高模型的准确率，都是加深或加宽网络，但是随着超参数数量的增加（比如channels数，filter size等等），网络设计的难度和计算开销也会增加。本文提出的 ResNeXt 结构可以在不增加参数复杂度的前提下提高准确率，同时还减少了超参数的数量；贡献作者在这篇论文中提出网络 ResNeXt，同时采用 VGG 堆叠的思想和 I...

what在目标检测和实例分割两个领域，我们使用随机初始化方法训练的模型，在 COCO 数据集上取得了非常鲁棒的结果。其结果并不比使用了 ImageNet 预训练的方法差，即使那些方法使用了 MaskR-CNN 系列基准的超参数。在以下三种情况，得到的结果仍然没有降低：仅使用 10％ 的训练数据；使用更深和更宽的模型使用多个任务和指标。ImageNet 预训练模型并非必须，Ima...

文章指出一种基于 boosting（提升）原理，逐层训练深度残差神经网络的方法，并对性能及泛化能力给出了理论上的证明参考方法框架残差网络:gt+1(x)=f(gt(x))+gt(x)g_{t+1}(x)=f(g_{t}(x))+g_{t}(x)gt+1​(x)=f(gt​(x))+gt​(x)hypothesis module:ot(x)=softmax(WtT⋅g...

what残差结构对比本文也是一种残差结构，只是逐渐增加特征通道数，而不是像以前的一样，在下采样之后双倍特征图。whyResNet参数多了，删除下采样单元（双倍特征维度）仍然导致表现下降how每一个单元特征数目增加网络结构α\alphaα是一个超参数，文中=48；这里不能直接使用恒等映射，因为通道数数目不一样，文中使用zero-padding...

欢迎大家随时交流，添加，转发，微信：woxinxie1234

动机之前有一篇论文提出了SENet，在feature map的通道上进行attention生成，然后与原来的feature map相乘。这篇文章指出，该种attention方法只关注了通道层面上哪些层会具有更强的反馈能力，但是在空间维度上并不能体现出attention的意思。attention不止能告诉网络模型该注意什么，同时也能增强特定区域的表征。本文的CBAM在channel和spat...

本论文追求的不是准确率的提高，而是不降低准确率的前提下，减少参数数量，寻找更有的结构；这篇论文是不错的实验模仿对象，以后做实验可以按照本论文的思路探索；动机要解决什么问题？探寻Inception的基本思路，并将这种思路发扬光大。用了什么方法解决？从Inception发展历程的角度，理解其基本思想，并引入与Inception类似的Depthwise Separa...

动机深度学习中的Attention，源自于人脑的注意力机制，当人的大脑接受到外部信息，如视觉信息、听觉信息时，往往不会对全部信息进行处理和理解，而只会将注意力集中在部分显著或者感兴趣的信息上，这样有助于滤除不重要的信息，而提升信息处理的效率。最早将Attention利用在图像处理上的出发点是，希望通过一个类似于人脑注意力的机制，只利用一个很小的感受野去处理图像中Attention的部分，降低...

解读Squeeze-and-Excitation Networks（SENet）动机卷积神经网络已被证明是解决各种视觉任务的有效模型。对于每个卷积层，沿着输入通道学习一组滤波器来表达局部空间连接模式。换句话说，期望卷积滤波器通过融合空间信息和信道信息进行信息组合，而受限于局部感受野。通过叠加一系列非线性和下采样交织的卷积层，CNN能够捕获具有全局感受野的分层模式作为强大的图像描述。最...

解读Dual Path Networks（DPN，原创）动机以前方法的不足ResNet： 侧重于特征的再利用，但不善于发掘新的特征；DenseNet: 侧重于新特征的发掘，但又会产生很多冗余；优点关于模型复杂度，作者的原文是这么说的：The DPN-92 costs about 15% fewer parameters than ResNeXt-101 (32 4d)...

动机SENet在调整特征权值的时候只是关注了通道间的信息，本文将通道信息和位置信息分别用两个注意力模型实现，然后融合来调整输入特征图的权重。网络结构下面是block可以加入的方式，在原来的网络中加入来调整某些层的权重。整体公式通道注意力模型空间注意力block框架...

体会感觉这篇文章的关键不是idea，而是写法；通过实验和公式说明了这样组合的优势；动机之前的卷积神经网络都是通过不断降低图像精度，直到图像被一个仅保留微弱空间信息的特征map表示（一般最后卷积层输出仅为7×7），最后通过计算类别概率来分类图像。这样情况下，尽管前面卷积网络做的很好，但是整个网络却不能获取一个十分精确的结果，例如一个很小的目标对解析图片信息十分重要，但是却被前面卷积网...

paper动机以前的网络都是关注cnn的网络结构，比如ResNet，Inception等这里关注卷积这个操作本身，贡献提出了Active Convolution Unit，方法ACU概念ACU可以为具有可学习位置参数的卷积定义更多不同形式的感受域；与传统卷积相比，ACU可以生成分数扩张卷积并用于直接计算内插卷积的结果。将离散的过程，连续化；卷积公式：...

whenCVPR 2019what对于深度卷积神经网络而言，准确度和计算成本往往难以得兼，研究界也一直在探索通过模型压缩或设计新型高效架构来解决这一问题。印度理工学院坎普尔分校的一篇 CVPR 论文则给出了一个新的思路——使用异构的卷积过滤器；实验表明这种方法能在保证准确度的同时显著降低计算成本。who （动机）卷积神经网络（CNN）在视觉和自然语言处理领域都已经取得了卓越的表...