2021年3月第四周论文学习:Libra R-CNN、Dual Path Networks、ECANet、M2Det、

NIPS 2017 | Attention is all you need | Transformer 阅读笔记(部分翻译) Attention is all you need Author Unit: Google Brain, Google Research, University of Toronto Authors: Ashish Vaswani∗^*∗, Noam Shazeer*, Niki Parmar*, Jakob Uszkoreit*, Llion Jones*, Aidan N. Gomez*†^††, Łukasz Kaiser∗^∗∗, Illia Polosukhin∗‡^{∗ ‡}∗‡ Code: h 阅读详情

Libra R-CNN: Towards Balanced Learning for Object Detection

2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)

这篇文章的点子很好,作者认为设计比较sota的目标检测模型的架构固然重要。

但是在目标检测的实践中,发现检测性能通常受到训练过程中的不平衡的限制,这通常包括三个级别——样本级别、特征级别和目标级别。

所以作者通过为了减轻这种不平衡所带来的负面影响,提出了Libra RCNN。

最后的实验结果就是将LIbra RCNN的思路用到Faster RCNN+FPN 和RetinaNet上,对COCO目标检测数据集进行实验,分别提高了2.0和2.5的mAP。

在这里插入图片描述
分成三类不平衡,如图所示:

(a) region中难易样本的不平衡
(b)FPN中特征融合的不平衡,低级特征缺乏语义信息,高级特征语义信息丰富
©多任务损失函数的不平衡,cls损失和loc损失之间存在着一个imbalance

Based on this paradigm, the success of the object detector training depends on three key aspects:
(1) whether theselected region samples are representative,
(2) whether theextracted visual features are fully utilized,
(3) whether the designed objective function is optimal.
However, our study reveals that the typical training process is significantly imbalanced in all these aspects. This imbalance issue prevents the power of well-designed model architectures from being fully exploited, thus limiting the overall performance.

作者认为,正是这三类不平衡,影响着目标检测模型的性能,无论是单阶段还是双阶段。

接下来就看作者是如何分别解决这三类不平衡的

  • 对于(a),作者提出IoU-balanced sampling
  • 对于(b),作者提出balanced feature pyramid
  • 对于©, 作者提出balanced L1 loss
    在这里插入图片描述
作者发现60%的硬负样本的IoU>0.05,而通过随机采样得到的样本超过 70% 都是在 IoU 在 0 到 0.05 之间的,这就是不科学的地方,统计得到的事实是 60% 的 hard negative 都落在 IoU 大于 0.05 的地方,但是随机采样只提供了 30%。所以作者提出了 IoU-balanced Sampling。

作者的想法就是希望采样得到的样本能够在IoU的各个区间中均匀分布
在这里插入图片描述
在这里插入图片描述

balanced FPN

在这里插入图片描述

balanced L1 loss

在这里插入图片描述
在这里插入图片描述

之所以会提出 Balanced L1 loss,是因为这个损失函数是两个 loss 的相加,如果分类做得很好地话一样会得到很高的分数,而导致忽略了回归的重要性,一个自然的想法就是调整 λ 的值。

根据梯度反求出函数的表达式:

在这里插入图片描述
成功使得loss降了下来

在这里插入图片描述

Dual Path Networks

Y. Chen, J. Li, H. Xiao, X. Jin, S. Yan, and J. Feng. “Dual path networks.” In Proceedings of the 31st International Conference on Neural Information Processing Systems (NIPS’17). Curran Associates Inc., Red Hook, NY, USA, 4470–4478.

在这里插入图片描述
左边绿色是ResNeXt的通路,右边是DenseNet的通路,ResNeXt是DPN的主体,DenseNet是辅助体。作者认为,ResNet 系列的网络结构善于重用特征,但对于发现新的特征并不擅长,而 Densenet 善于发现新的特征但易冗余,而作者则让其强强联合,互为补充。

总结一下这篇论文,这篇论文提出了一种网络结构,这种网络结构由ResNeXt和DenseNet结合。使用了ResNeXt中的分组卷积和shortcut的思想,同时采用了DenseNet在channel上密集连接的思想。性能都超过了ResNeXt和DenseNet。
DPN的Pytorch代码实现

看了一下 Pytorch 的DPN实现,主要看点是 conv2~5 的4个DPN stage:ResNeXt 为主(bottleneck 形式),DenseNet为辅,DenseNet通路所占比例较低。每个stage的第一个DPN块会创造 2inc 的初始DenseNet feature maps,然后提取 inc 的新特征。inc 即DPN 的宏观设计表格中括号标注的(+k),含义与 DenseNet 的growth rate 相同。stage 1 即 conv2 的第一个 DPN 块不进行 stride=2 的下采样,其它 stage 的第一个 DPN 的stride 都为2,即使用 stride=2 的卷积层,而非使用maxpooling进行下采样。4个 stage 中,除了第一个 DPN 块会创造 2inc 层的初始 DenseNet 通路 feature maps 外,每个 DPN 都会探索得出 inc 的新 feature maps,包括第一个DPN,即各 stage 第一个DPN块输出会产生 (2+1)*inc 的DenseNet 通路 feature maps。

这个网络Pytorch官方实现了吗?

在这里插入代码片

ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks

2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)

在这里插入图片描述

ECA的核心思想就是通过对SENet及其变体的分析,发现了全连接层降维带来的负面影响,并且捕获跨所有信道的依赖关系是低效和不必要的。

为了避免降维带来的负面影响,作者在SE模块的基础上开发了ECA模块,主要的思想就是捕获局部信道之间的依赖关系,引入一个超参数k认为输出的通道注意力值yi只与其输入空间相邻的对应k个元素有关系。这种思路很简单用1维卷积来实现。

如下图,将ECA模块的变换当成一种矩阵变换,就是只有k个参数

W1,1…W1,k 是对第一个元素进行操作的卷积核
W2,2…W2,k 是对第二个元素进行操作的卷积核,对应位置的卷积核的值与上面相同
一直到Wc 全部都相同
在这里插入图片描述

总结一句话,ECA模块就是一个GAP加上一个1D卷积,只有k个参数。

用矩阵表示就是::
在这里插入图片描述

import torch
from torch import nn
from torch.nn.parameter import Parameter

class eca_layer(nn.Module):
    """Constructs a ECA module.
    Args:
        channel: Number of channels of the input feature map
        k_size: Adaptive selection of kernel size 超参数
    """
    def __init__(self, channel, k_size=3):
        super(eca_layer, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.conv = nn.Conv1d(1, 1, kernel_size=k_size, padding=(k_size - 1) // 2, bias=False)
        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        # x: input features with shape [b, c, h, w]
        b, c, h, w = x.size()

        # feature descriptor on the global spatial information
        y = self.avg_pool(x)

        # Two different branches of ECA module
        y = self.conv(y.squeeze(-1).transpose(-1, -2)).transpose(-1, -2).unsqueeze(-1)

        # Multi-scale information fusion
        y = self.sigmoid(y)

        return x * y.expand_as(x)
为了避免通过交叉验证手动调优k,我们开发了一种自适应地确定k的方法,其中交互的覆盖范围(即内核大小k)与信道维数成正比

在这里插入图片描述

M2Det: A Single-Shot Object Detector based on Multi-Level Feature Pyramid Network

在这里插入图片描述

首先论文分析了以前的FPN存在的两个限制:
  • 第一,特征金字塔对于目标检测任务并不完全适用,因为backbone的设计是为了图片分类;
  • 第二,金字塔中的每个特征映射(用于检测特定大小范围内的对象)主要或甚至完全由骨干的单层构造,即主要或仅包含单层信息,金字塔中的每个特征映射(用于检测特定大小范围内的对象)主要或仅由单层特征组成,将导致次优检测性能

在这里插入图片描述

总结:M2Det首先融合来自不同尺度的backbone的特征图,然后经过若干个U-shape模块编码解码,最后收集所有U-shape模块解码器的所有特征图按照size相同的原则组装在一起形成FPN用于目标检测。

作者主要描述M2Det的设计引入了3个模块

  • FFM:用于backbone的不同size的特征图的融合
  • TUM:
  • SFAM:
FFM模块:

从图中可以看出不同尺度的特征图是如何融合的:

小特征图进行上采样 然后与大特征图 进行channel concat

(a)是FFMa
(b)是FFMb
在这里插入图片描述

TUM模块

不用多说,作者自己也没有介绍,就是一个U-Net

不同于FPN,TUM采用较薄的U型结构,如图所示。4©。该编码器是一系列具有stride = 2的3x3卷积层。解码器将这些层的输出作为其特征映射的参考集,而原始的FPN选择网主干网中每个阶段的最后一层的输出。此外,在解码器分支进行上采样和元素和操作后,添加1x1卷积层,提高学习能力,保持平滑性。每个TUM的解码器中的所有输出都形成了当前级别的多尺度特征。总体上,堆叠TUM的输出形成多层次多尺度特征,前TUM主要提供浅层特征,中间TUM提供中层特征,后TUM提供深层特征。

使用stride = 2的conv进行下采样

那么是使用什么进行上采样的呢?

得看了代码再来学习总结。。

SFAM模块

这个模块就是将若干个Unet输出的不同size的特征图收集组合在一起形成FPN
在这里插入图片描述

SFAM模块首先是将相同size的特征图收集起来在channel上进行cat,然后使用一个SE模块提高channel注意力使得特征更加有效。

M2Det的Pytorch代码学习
在这里插入代码片

计算机视觉会议全称 11、IROS,全称:IEEE/RSJ International Conference on Intelligent Robots and Systems。7、ICRA,全称:IEEE International Conference on Robotics and Automation。17、ICME,全称:IEEE International Conference on Multimedia and Expo。 阅读详情

相关推荐

笔记汇总 | 斯坦福 CS229 机器学习

本文为斯坦福大学 2014 秋季 CS229 机器学习课程学习笔记本文主体部分转载自黄海广博士,文末已给出,大家有兴趣可以直接访问笔记首页,下载对应课程资料及作业代码。

ReturnTmp的博客 2466

[论文精读]Inductive Representation Learning on Large Graphs

计算机-人工智能-脑科学与类脑智能

Sherlily的博客 639

车载监控系统升级指南:如何用XS9950A替换TP9950实现高清视频解码(附配置代码)

本文提供了从TP9950升级至XS9950A车载视频解码芯片的完整实战指南。详细解析了硬件设计调整、PCB布局要点,并重点分享了通过I2C配置寄存器实现高清HDCCTV视频解码与同轴音频集成的软件驱动代码与调试技巧,助力工程师平滑完成系统升级。

weixin_29268637的博客 376

【论文阅读|深读】 GraphSAGE:Inductive Representation Learning on Large Graphs

原文链接:https://dl.acm.org/doi/abs/10.5555/3294771.3294869会议:NIPS’17: Proceedings of the 31st International Conference on Neural Information Processing Systems (CCF A类)年度:2017/06/07大型图中节点的低维嵌入已被证明在从内容推荐到识别蛋白质功能的各种预测任务中非常有用然而,大多数现有的方法要求图中的所有节点在嵌入的训练过程中都存在这些以前的

海到无边天作岸 山登绝顶我为峰 2615

PostgreSQL14 离线安装全攻略:从下载到配置详解

本文详细介绍了PostgreSQL14在无网络环境下的离线安装全流程,涵盖RPM包与源码编译两种主流方法。文章重点解析了安装前的系统环境检查、依赖包准备、数据库初始化、远程访问配置以及安装后的关键检查与性能调优,旨在帮助运维和开发人员在离线服务器上高效、稳定地部署PostgreSQL14数据库。

p5l2m9n4o6q的博客 733

Unity游戏开发客户端Unity基础

Unity游戏开发客户端面经 之 Unity 篇

Sea3752的博客 2万+

论文笔记:Dual Path Networks

首先分析了 ResNet 和 DenseNet。 借鉴RNN的表达方式。 k: 当前处于哪个步 t:第t步 ht: 第t步的隐藏状态 :在第k步中,提取第t状态特征的函数 gk:第k步,转换聚合特征的函数   如果 , 那么可以写成: 简化成: 其中,。 如果, 那就是RNN。 如果不共享,就是ResNet。   如果  不满足,就是DenseNet  ...

欢迎来到我的酒馆 838

ChatBI告别“NL2SQL依赖症”!从准确率50%到90%,3大技术路线+4个企业案例拆解核心玩法

摘要: ChatBI通过自然语言交互实现数据民主化,其核心是“语义理解+数据执行+知识沉淀”的全链路能力,而非单一的NL2SQL技术。行业采用三大技术路线提升准确率:专有知识库(提升30%)、指标标签语义层(准确率85%)、JSON中间层(多轮对话提升25%)。数据执行方案包括NL2SQL、NL2API等,需结合场景选择。企业落地需解决四大痛点:跨表查询准确率低(引入拓扑图)、模糊查询(用户干预机制)、响应慢(预计算缓存)、多轮对话(上下文池)。Spring AI Alibaba提供轻量级集成方案,助力企业

weixin_52610848的博客 1657

Attention is all you need文章翻译

近期读完了经典文章《Attention Is All You Need》,发表在第31届神经信息处理系统会议上(31st Conference on Neural Information Processing Systems, NIPS 2017, Long Beach, CA, USA)有挺多地方还是一知半解的,这里再次翻译一遍,加深理解也留下一些材料 文章有8个联合作者,主要是来自谷歌团队的大佬们。在论文首页的注释中,注明了所有作者对研究有相同的贡献,不同人有不同的分工。 训练以及结果部分不翻译 整理不

weixin_42338988的博客 2405

Ubuntu22.04上如何用Docker一键部署Ragflow+Ollama(附CUDA配置避坑指南)

本文详细介绍了在Ubuntu22.04系统上使用Docker一键部署Ragflow+Ollama的完整流程,特别提供了CUDA配置的避坑指南。从硬件兼容性检查、驱动安装到容器网络配置,手把手教你搭建本地化大模型环境,解决CUDA驱动冲突等常见问题,助力开发者快速构建AI应用开发平台。

weixin_26875109的博客 285

am62x A53与R5F通信

AM62x是Ti的一款异构多核芯片。remoteproc驱动,硬编码(写死)了R5F/M4F固件的名字,这样驱动启动时,就会找硬件编码的固件,下面是其对应关系。值得注意的是,linux内核中的M4F remoteproc驱动启动M4F,而linux内核中的R5F remoreteproc驱动不启动R5F,相反,它attach到已经在boot阶段启动的R5F固件上。在/lib/firmware的真实固件名:,而我们生成的固件名如下所示,没有直接对应的,经确认,.out文件就是我们需要的,重命名后即可。

鹰之翔 1363

全球计算机视觉顶会CVPR 2020论文出炉:腾讯优图17篇论文入选

全球计算机视觉顶级会议CVPR2020 (IEEE Conference on Computer Vision and Pattern Recognition,即IEEE国际计算机视觉与模式识别会议) 即将于2020年6月14日-19日在美国西雅图召开。本届大会总共录取来自全球论文1470篇,腾讯优图实验室入选17篇。

AI科技大本营 5790

从毫K级温控到分子级洁净:光刻机环境控制系统的技术演进与专利格局

摘要 光刻机环境控制系统是半导体制造中的"隐形精密工程",通过毫K级温度控制(±0.002℃)、超高洁净度(ISO Class 1)等核心技术为纳米级光刻提供环境保障。本文系统分析了温度、湿度、洁净度、流场和压力控制五大技术方向的发展趋势,揭示了从单参数控制向多参数协同智能控制的转型路径。研究显示:1)温度控制正从PID向神经网络智能控制演进;2)EUV光刻将湿度控制推至ppbv级;3)洁净度控制扩展到分子级污染物管理。头部厂商中,ASML侧重系统集成,Nikon专注浸没流场,Canon

huanghm88的专栏 324

计算机视觉领域顶级会议和顶级期刊汇总

计算机视觉领域顶级会议和顶级期刊汇总

weixin_41171614的博客 1万+

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

计算机视觉部分会议介绍及历年地点

尽管最初是一个全国性会议,但它现在是一个享有盛誉的主要国际盛会,外国参与程度很高(2013 年,84% 的被接受论文完全来自英国以外,另有 4% 是混合作者)并且对论文质量高度重视。IEEE / CVF 计算机视觉和模式识别会议 (The IEEE / CVF Computer Vision and Pattern Recognition Conference,CVPR) 是首屈一指的一年一度计算机视觉盛会,包括主要会议和多个同地研讨会和短期课程,被认为是该领域最重要的会议之一。会议通常持续四到五天。

hzh1981903的博客 5395

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

我总结了70篇论文的方法,帮你透彻理解神经网络的剪枝算法

无论是在计算机视觉、自然语言处理还是图像生成方面,深度神经网络目前表现出来的性能都是最先进的。然而,它们在计算能力、内存或能源消耗方面的成本可能令人望而却步,这使得大部份公司的因为有限的硬件资源而完全负担不起训练的费用。但是许多领域都受益于神经网络,因此需要找到一个在保持其性能的同时降低成本的办法。 这就是神经网络压缩的重点。该领域包含多个方法系列,例如量化 [11]、分解[13]、蒸馏 [32]。而本文的重点是剪枝。 神经网络剪枝是一种移除网络中性能良好但需要大量资源的多余部分的方法。尽管大型神经网络已经

deephub 9326

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

不再只有Yolo,现在轻量级检测网络层出不穷(框架解析及部署实践)

计算机视觉研究院专栏作者:Edison_GNanoDet总体而言没有特别多的创新点,是一个纯工程化的项目,主要的工作就是将目前学术界的一些优秀论文,落地到移动端的轻量级模型上。最后通过这些...

gzq0723的博客 1294

pytorch实现DPN 最详细的全面讲解

DPN这个模型融入了三种基础模型,inception,resnet,densenet。有inception的宽度又有resnet的shortcut利用和densenet的浅层特征重复利用,可以看出它的强大。这个模型比较难掌握,需要你之前实践过前三种模型才可以理解本篇的代码。前三种模型我都有详细的讲解,inception详细讲解 resnet详细讲解 densenet详细讲解完全理解这三篇就可以轻松...

cp1314971的博客 3298

(精华)入选论文为哪般?请看腾讯优图惊艳CVPR 2019的干货论文……

之前小编曾有报道,全球计算机视觉顶级会议 IEEE CVPR 2019(Computer Vision and Pattern Recognition,即IEEE国际计算机视觉与模式识别会议)于6月在美国长滩召开。 本届大会总共录取来自全球论文1299篇,而腾讯公司有超过58篇论文被本届CVPR大会接收,其中腾讯优图实验室25篇、腾讯AI Lab33篇,相比过去两年成绩大幅提升。 据了解,此次...

科技星象 674

学术 | 如何写一篇学术论文?(下)

每天给你送来NLP技术干货!来自:NLP就该这么学上一篇已经介绍了学术论文的基本结构以及每部分具体该写什么,本文将进一步介绍更多论文写作的细节,并提供一些小建议。排版尽量不要出现一行只有一...

zenRRan的博客 853

循环神经网络(RNN, Recurrent Neural Networks)介绍

循环神经网络(RNN, Recurrent Neural Networks)介绍   这篇文章很多内容是参考:http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/,在这篇文章中,加入了一些新的内容与一些自己的理解。  循环神经网络(Recurrent Neural N

我和我追逐的梦~~~ 54万+

全球计算机视觉顶会CVPR 2019论文出炉:腾讯优图25篇论文入选

全球计算机视觉顶级会议 IEEE CVPR 2019(Computer Vision and Pattern Recognition,即IEEE国际计算机视觉与模式识...

腾讯技术工程 895

A 3D Dual Path U-Net of Cancer Segmentation Based on MRI

A 3D Dual Path U-Net of Cancer Segmentation Based on MRI 总结:MRI数据集(没说获得方法,也没说是不是公开数据集),采用了U-Net加DPN的方法,Dice为0.772 Abstract 鼻咽癌是我国最常见的恶性肿瘤之一。然而,癌症的区域是微妙的、多变的和不规则的。在传统的诊断方式中,临床医生的诊断依赖于人工勾画,耗时长,需要丰富的先验经验。近年来,U-Net和DPN(Dual Path Network)的深度学习体系分别在生物医学分割和自然场景中

Acmer_future_victor的博客 605

NIPS (神经信息处理系统进展大会)

神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems),简称NIPS是一个关于机器学习和计算神经科学的国际会议。该会议固定在每年的12月举行,由NIPS基金会主办。NIPS是机器学习领域的顶级会议 。在中国计算机学会的国际学术会议排名中,NIPS为人工智能领域的A类会议。https://nips.cc/

Mittens 的专栏 4086
上一篇: 《动手学深度学习》(Pytorch版)——预备知识学习
下一篇: 关于pip install ensemble-boxes报错的处理
practical_sharp
博客等级 码龄8年 500粉丝 148原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值