【论文阅读】【3d目标检测】Improving 3D Object Detection with Channel-wise Transformer

最新推荐文章于 2024-11-12 16:42:17 发布
原创 最新推荐文章于 2024-11-12 16:42:17 发布 · 921 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #计算机视觉 #自动驾驶 #神经网络

研究介绍了一种名为CT3D的方法，通过在点云上应用Transformer进行对象检测的改进。论文创新在于将位置编码与特征融合，并提出结合全局和通道局部信息的解码策略。尽管实验显示效果提升有限，但方法强调了对现有单阶段检测器的补充，尤其是在处理局部几何关系时。

标题：Improving 3D Object Detection with Channel-wise Transformer

iccv2021
浙江大学 阿里达摩院 著名的CT3d
文章是在点上进行transformer，前面的文章曾说过在巨大的点云上进行tranformer计算量是巨大的 所以这篇文章玩了点小聪明 利用transformer设计refinement net
文章基于利用原始点的特征足够来进行box refinement的假设来进行行文
老规矩 上图
在这里插入图片描述
可以看到trans主要是用在了编码和解码的阶段
首先作者利用单阶段网络输出的proposals 对它们进行一个尺寸的扩大 具体操作就是将proposal扩展成一个大的圆柱体 圆柱体半径为proposal的对角线 而高度不限制尺寸 在这样的一个圆柱体里 我们随机选择256个point进行transformer
在这里插入图片描述
transformer的结构没啥创新 主要是作者将位置编码与feature进行了一个较为深度的融合 而不是之前工作的pe的简单的相加。
在这里插入图片描述
随后进行256个点的叠加 得到NXD的特征维度

下面是全文的重点 ：

最低0.47元/天 解锁文章
【论文阅读】3D Object Detection with Pointformer解读
毛毛的博客
08-30 2527
文章目录摘要1.介绍2.相关工作3.Pointformer3.1. Background3.2. Local Transformer3.3. Coordinate Refinement3.4. Global Transformer3.5. Local-Global Transformer3.6. Positional Encoding3.7. Computational Cost Reduction4. Experimental Results5.总结 摘要 作者提出了Pointformer，一个可以有
CT3D：Improving 3D Object Detection with Channel-wise Transformer 论文阅读
ko_gu_dao的博客
04-26 2635
Abstract 现在点云的两阶段3D物体检测灵活性和高性能的建议修正工作都不是很好。以前的refining 3D proposals 都依赖人工设计，比如关键点采样，set straction 和多尺度特征融合等，都不能很好捕捉点之间上下文依赖信息。所以我们提出CT3D，其中包含region proposal 和 a Channel-wise Transformer。对于每一个proposal 都是由proposal-aware embedding和 channel-wise context aggre
Improving 3D Object Detection with Channel-wise Transformer
weixin_36670529的博客
02-20 1663
tf.meshgrid 函数 meshgrid( *args, **kwargs ) 定义在：tensorflow/python/ops/array_ops.py。 参见指南：张量变换>张量形状的确定与改变 广播用于计算 N 维网格的参数。 给定 N 个一维坐标数组 *args，返回N 维坐标数组的列表输出，用于计算 N 维网格上的表达式。 Note：me...
清华大学提出Pointformer：基于Transformer的3D目标检测
阿木寺的博客
12-22 4926
没错！Transformer的"魔爪"已经伸向3D目标检测了。 Pointformer：用于3D点云的特征学习backbone，可结合并提高现有的3D点云目标检测网络性能，如VoteNet、PointRCNN和CBGS等。 注：文末附【Transformer】和【3D目标检测】学习交流群 Transformer最近在3D点云方向应用的工作可以看一下： 牛津大学等提出：Point Transformer 清华大学提出PCT：Point Cloud Transformer Pointformer 3
【论文阅读】【3d目标检测】从votenet到MLCVNet再到Pointformer
hgj1h的博客
04-07 1383
论文题目：MLCVNet: Multi-Level Context VoteNet for 3D Object Detection 论文题目：3D Object Detection with Pointformer 两篇文章要对比着来看 首先，我们来看看mlcvnet做了些什么 万物的起源：mlcvnet将attention模块引入了点云目标检测中： 文章主要由三个部分组成：ppc ooc及GSC 首先我们利用pointnet++作为backbone生成一系列的patches，这些patch的生成显然是通
论文总结--Improving 3D Object Detection with Channel-wise Transformer
m0_60799447的博客
11-12 914
CT3D方法的关键特点是利用一个自定义的Transformer架构，通过通道级的自注意力机制来增强提议的特征表示，并精炼3D物体检测任务中的候选框。
3D目标检测论文方法汇总 【持续更新中~
家鸽的代码屋
05-31 8206
Automanous-3D-detection-methods 该项目地址为：https://github.com/LittleYuanzi/awesome-Automanous-3D-detection-methods 该项目主要在对近期（17年）开始的自动驾驶场景的目标检测...
3D Object Detection经典论文整理【分类/下载/代码/笔记】
u013086672的博客
01-10 4265
笔者分类整理了与三维目标检测有关的经典论文和部分最新论文的PDF下载链接、开源代码、阅读笔记（部分）。笔者认为的必读经典论文通过加粗标识。论文主要按照Point-based和Voxel-based来划分，还包括一些交叉领域新的方向，比如Transformer、Self-ensembling等。
探索3D空间的视觉新边界：Pointformer深度解析与应用推荐
gitblog_00057的博客
06-11 521
探索3D空间的视觉新边界：Pointformer深度解析与应用推荐 在三维感知领域，准确高效的物体检测一直是研究的核心。今天，我们特别推荐一个令人瞩目的开源项目——3D Object Detection with Pointformer，该项目源于CVPR 2021的创新性论文，并基于强大的MMDetection3D框架构建。 项目介绍 Pointformer是一个开创性的解决方案，它专为解决复杂...
目标检测文章阅读(一)《End-to-end Object Detection with Transformer》
海绵宝宝强无敌的博客
07-14 629
目标检测文章阅读(一) 文章《End-to-end Object Detection with Transformer》 code: https://github.com/facebookresearch/detr Introduction 本篇文章是比较有影响力的DETR，开End-to-end object detection之先河。 之前的object detection的model，ex. Fast-RCNN，YOLOv2，RetinaNet等都会通过对数据集的先验知识来设计一些proposal,
Deep Multimodal Fusion by Channel Exchanging论文解析
hongyuge的博客
11-16 3787
Deep Multimodal Fusion by Channel Exchanging论文解析 NeurIPS 2020 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录Deep Multimodal Fusion by Channel Exchanging论文解析 NeurIPS 2020前言一、pandas是什么？二、使用步骤1.引入库
CVPR 2021 | 论文大盘点：3D目标检测
3D视觉工坊
09-28 4248
作者丨我爱计算机视觉@知乎来源丨https://zhuanlan.zhihu.com/p/389319123编辑丨3D视觉工坊本篇汇总 3D 目标检测相关论文，包含基于单目、基于深度图、基...
今日arXiv精选 | 29篇顶会论文：ACM MM/ ICCV/ CIKM/ AAAI/ IJCAI
Paper weekly
08-23 3135
关于#今日arXiv精选这是「AI 学术前沿」旗下的一档栏目，编辑将每日从arXiv中精选高质量论文，推送给读者。Group-based Distinctive Image Capt...
阅读笔记 A Deep Multi-Level Attentive network for Multimodal Sentiment Analysis
阿里武的技术博客
01-14 1146
前言 论文讲的是两个模态的情感分析， 作者提出一个网络，此网络通过在多个层次上引入注意力，从视觉和文本中产生区分性特征。 通过利用视觉数据中的通道channel注意力和空间注意力来获得双注意力的视觉特征。 总体来说 用 两个注意力 channel attention 和 spatial attention 注意力 提高CNN 采集图像特征能力 提出 语义注意力 模拟单词的图像区域与语义之间的相关性， 也就是一个JOINT ATTENDED MULTIMODAL LEARNING的过程（联合多模态学习)
Multimodal Object Detection via Probabilistic Ensembling——基于概率集成实现多模态目标检测
lsfeitianzhuzhuxia的博客
05-11 780
ECCV2022 | 多模态融合检测新范式！基于概率集成实现多模态目标检测 github代码
【3D detection】CT3D部分代码的理解
printfff的博客
12-30 2368
【3D detection】CT3D部分代码的理解取一个box的八个角点坐标 paper: Improving 3D Object Detection with Channel-wise Transformer code：https://github.com/hlsheng1/CT3D 取一个box的八个角点坐标 在/pcdet/models/roi_heads/ct3d_head.py 中 130行左右 # corner #输入的rois大小为(batch_size,ro
CenterNet: Keypoint Triplets for Object Detection
weixin_36670529的博客
02-16 1799
摘要 尽管近年来从点云进行三维物体检测取得了快速进展，但是缺乏灵活且高性能的建议细化仍然是现有最先进的两级检测器的一大障碍。以前关于改进3D方案的工作依赖于人类设计的组件，例如关键点采样、集合抽象和多尺度特征融合，以产生强大的3D目标表示。然而，这种方法捕捉点之间丰富的上下文相关性的能力有限。在本文中，我们利用高质量的区域提议网络和通道式Transformer架构，以最少的手工设计构建了我们的两阶段3D目标检测框架(CT3D)。所提出的CT3D同时对每个建议中的点要素执行建议感知嵌入和通道式上下文聚合。具
计算机视觉最新进展概览2021年8月22日到2021年8月28日
weixin_36670529的博客
02-20 934
tensorflow出现LossTensor is inf or nan : Tensor had Inf valueshttps://blog.youkuaiyun.com/qq_22291287/article/details/82712050
MoCoV3：何恺明团队新作！解决Transformer自监督训练不稳定问题！
夕小瑶科技说
04-07 3418
文 | happy源 | 极市平台论文链接: https://arxiv.org/abs/2104.02057本文是FAIR的恺明团队针对自监督学习+Transformer的一篇实证研究。...
Removal and selection: Improving RGB-infrared object detection via coarse-to-fine fusion
最新发布
07-24
在RGB-红外目标检测中，为了提升多模态信息的融合效果，采用从粗到细的融合方法（Coarse-to-Fine Fusion）是一种有效的策略。这一方法的核心思想是模拟人类大脑在处理多模态信息时的过滤与选择机制，即先去除干扰信息，再进行特征的精细选择，从而实现互补特征的有效融合[^1]。 ### 冗余光谱去除（RSR）模块 在“粗”阶段，设计了冗余光谱去除（Redundant Spectrum Removal, RSR）模块。该模块通过将图像转换到频域空间，并引入动态滤波器，以自适应地减少RGB和IR模态中不相关的频谱。这样可以初步过滤掉不必要的冗余信息，保留对目标检测有帮助的关键频谱[^1]。例如，在频域中应用动态滤波器时，可以通过以下代码实现频谱的自适应调整： ```python import numpy as np import cv2 def apply_dynamic_filter(image): # 将图像转换为频域 f = np.fft.fft2(image) fshift = np.fft.fftshift(f) # 动态滤波器设计 rows, cols = image.shape crow, ccol = rows // 2, cols // 2 mask = np.ones((rows, cols), np.uint8) mask[crow - 30:crow + 30, ccol - 30:ccol + 30] = 0 # 动态调整滤波区域 # 应用滤波器 fshift_filtered = fshift * mask f_ishift = np.fft.ifftshift(fshift_filtered) img_back = np.fft.ifft2(f_ishift) img_back = np.abs(img_back) return img_back ``` ### 动态特征选择（DFS）模块 在“细”阶段，设计了动态特征选择（Dynamic Feature Selection, DFS）模块，用于在RGB和IR模态之间精细选择所需的特征。该模块通过探索不同尺度特征的组合，权衡对象检测所需的不同尺度信息，从而进一步提升检测性能。DFS模块能够根据任务需求，自适应地选择最相关的特征，确保最终融合的特征具有更强的判别能力[^1]。 ### 去除与选择检测器（RSDet） 为了验证该融合策略的有效性，构建了一个新的目标检测框架——去除与选择检测器（Removal and Selection Detector, RSDet）。该框架嵌入了从粗到细的融合策略，能够在RGB-红外目标检测任务中实现更优的性能表现。在多个公开的RGB-红外检测数据集上的实验结果表明，RSDet能够有效促进互补融合，并达到了当前最先进的性能水平[^3]。 ### 改进方向 为了进一步提升RGB-红外目标检测的效果，可以从以下几个方面进行改进： - **更精细的频谱分析**：在RSR模块中引入更复杂的频谱分析方法，例如基于深度学习的频谱注意力机制，以提高频谱过滤的精度。 - **多尺度特征融合**：在DFS模块中引入多尺度特征金字塔网络（Feature Pyramid Network, FPN），以更好地捕捉不同尺度的目标特征。 - **端到端优化**：将整个融合过程设计为端到端可训练的结构，使RSR和DFS模块能够协同优化，提升整体检测性能。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值