多视图3D目标检测位置嵌入变换

【论文阅读】PETR: Position Embedding Transformation for Multi-View 3D Object Detection + 代码 在本文中,我们开发了用于多视图 3D 对象检测的位置嵌入变换(PETR)。PETR 将 3D 坐标的位置信息编码为图像特征,产生 3D 位置感知特征。对象查询可以感知 3D 位置感知特征并执行端到端对象检测。PETR 在标准 nuScenes 数据集上实现了最先进的性能(50.4% NDS 和44.1% mAP),并在基准测试中排名第一。它可以作为未来研究的简单而强大的基线。 阅读详情


✨✨ 欢迎大家来访Srlua的博文(づ ̄3 ̄)づ╭❤~✨✨

🌟🌟 欢迎各位亲爱的读者,感谢你们抽出宝贵的时间来阅读我的文章。

我是Srlua小谢,在这里我会分享我的知识和经验。🎥

希望在这里,我们能一起探索IT世界的奥妙,提升我们的技能。🔮

记得先点赞👍后阅读哦~ 👏👏

📘📚 所属专栏:传知代码论文复现

欢迎访问我的主页:Srlua小谢 获取更多信息和资源。✨✨🌙🌙

​​

​​

目录

概述

模型结构

3D坐标生成器

3D位置编码器

查询生成器和解码器

演示效果

核心逻辑

部署方式

参考文件


 本文所有资源均可在该地址处获取。

概述


  多视角图像中的3D目标检测由于其在自动驾驶系统中的低成本而具有吸引力。

  • 在DETR中,每个对象查询表示一个对象,与Transformer解码器中的2D特征交互以产生预测的结果。
  • 在DETR3D中,由对象查询预测的3D参考点通过相机参数投影回图像空间,并对2D特征进行采样,以与解码器中的对象查询进行交互。
  • PETR通过将3D位置嵌入编码到2D图像特征中生成3D位置感知特征,对象查询直接与3D位置感知特征交互,并输出3D检测结果。

  PETR体系结构具有许多优点,它既保留了原始DETR的端到端的方式,又避免了复杂的2D到3D投影和特征采样。

模型结构


  给定来自N个视角的图像I={Ii∈R3×HI×WI,i=1,2,...,N}I={Ii​∈R3×HI​×WI​,i=1,2,...,N},这些图像被输入到主干网络中,生成2D多视图特征F2d=Fi2d∈RC×HF×WF,i=1,2,...,NF2d=Fi2d​∈RC×HF​×WF​,i=1,2,...,N。在3D坐标生成器中,相机视锥空间首先被离散化为三维网格,然后通过相机参数对网格坐标进行变化,生成3D世界空间中的坐标。3D坐标和2D多视图特征被输入到3D位置编码器中,产生3D位置感知特征F3d=Fi3d∈RC×HF×WF,i=1,2,...,NF3d=Fi3d​∈RC×HF​×WF​,i=1,2,...,N。3D特征进一步输入到Transformer解码器,并与查询生成器生成的对象查询进行交互。更新后的对象查询用于预测对象类和3D边界框。

3D坐标生成器

  为了构建2D图像和3D空间之间的关系,PETR将相机视锥空间中的点投影到3D空间。PETR首先将相机视锥空间离散化以生成大小为(WF,HF,D)(WF​,HF​,D)
的网格。网格中的每个点可以表示为pjm=(uj×dj,vi×dj,dj,1)Tpjm​=(uj​×dj​,vi​×dj​,dj​,1)T,其中(uj,vj)(uj​,vj​)
是图像中的像素坐标,djdj​是沿与图像平面正交的轴的深度值。由于网格由不同的视觉共享,因此可以通过3D逆投影来计算3D世界空间中对应的3D坐标

pi,j3d=(xi,j,yi,j,zi,j,1)Tpi,j3d=Ki−1pjmpi,j3d​=(xi,j​,yi,j​,zi,j​,1)Tpi,j3d​=Ki−1​pjm​

其中Ki∈R4×4Ki​∈R4×4是第i个视图的变换矩阵,它建立了从3D空间到相机视锥空间的转换。所有视图的3D坐标在变换后覆盖场景的全景图。PETR进一步对3D坐标进行归一化。

{xi,j=(xi,j−xmin)/(xmax−xmin)yi,j=(yi,j−ymin)/(ymax−ymin)zi,j=(zi,j−zmin)/(zmax−zmin)⎩⎪⎪⎨⎪⎪⎧​xi,j​=yi,j​=zi,j​=​(xi,j​−xmin​)/(xmax​−xmin​)(yi,j​−ymin​)/(ymax​−ymin​)(zi,j​−zmin​)/(zmax​−zmin​)​

其中[xmin,ymin,zmin,xmax,ymax,zmax][xmin​,ymin​,zmin​,xmax​,ymax​,zmax​]​是3D世界空间中的感兴趣区域(RoI),HF×WF×DHF​×WF​×D点的归一化坐标最终转置为P3d={Pi3d∈R(D×4)×HF×WF,i=1,2,…,N}P3d={Pi3d​∈R(D×4)×HF​×WF​,i=1,2,…,N}。

3D位置编码器


  3D位置编码的目的是通过将2D图像特征与3D位置信息相关联来获得3D特征,3D位置编码器可以公式化为

Fi3d=ψ(Fi2d,Pi3d),i=1,2,…,NFi3d​=ψ(Fi2d​,Pi3d​),i=1,2,…,N

  ψψ的方法如上图所示,给定2D特征F2dF2d和3D坐标P3dP3d,P3dP3d首先输入到一个多层感知机网络中转换到3D位置编码(PE)之后,3D特征通过一个1x1的卷积层和3D PE相加形成3D位置感知特征。最终,PETR将3D位置感知特征作为transformer解码器中的key。

查询生成器和解码器

查询生成器
  原始DETR直接使用一组可学习参数作为初始对象查询,可变形DETR和DETR3D基于初始化的对象查询预测参考点。为了缓解3D场景中的收敛困难,PETR首先在3D世界空间中初始化一组可学习的锚点,这些锚点具有从0到1的均匀分布。然后将3D锚点的坐标输入到具有两个线性层的小型MLP网络,生成初始对象查询Q0Q0​。
解码器
  对于解码器网络,PETR遵循DETR中的标准Transformer解码器,它包含了L个解码层,PETR将解码层中的交互过程公式化为Ql=Ωl(F3d,Ql−1),l=1,…,LQl​=Ωl​(F3d,Ql−1​),l=1,…,L。在每个解码器层中,对象查询通过多头注意力和前馈网络与3D位置感知特征交互,迭代交互后,更新后的对象查询具有高级表示,可用于预测相应的对象。

演示效果

其中红色边界框表示自车车辆
Radar结果


lidar 结果


6个相机的结果

核心逻辑

生成3D位置坐标

def position_embeding(self, img_feats, img_metas, masks=None):
        eps = 1e-5
        # 首先将所有的特征图都填充到原始图像的大小
        pad_h, pad_w, _ = img_metas[0]['pad_shape'][0]
        # 在特征图较大的情况下来获取它的位置信息
        B, N, C, H, W = img_feats[self.position_level].shape
        # 32但是每个间隔维16,因此定义每个图像放大的倍数为16的形式
        coords_h = torch.arange(H, device=img_feats[0].device).float() * pad_h / H
        coords_w = torch.arange(W, device=img_feats[0].device).float() * pad_w / W

        if self.LID:
            # 此时定义的是深度信息,目的是为了转换吗
            index  = torch.arange(start=0, end=self.depth_num, step=1, device=img_feats[0].device).float()
            index_1 = index + 1
            # 获得每个网格的深度箱的大小,但是为什么还要除以65
            bin_size = (self.position_range[3] - self.depth_start) / (self.depth_num * (1 + self.depth_num))
            # 此时的结果也是64,但是此时深度箱的大小用来表示什么
            coords_d = self.depth_start + bin_size * index * index_1
        else:
            index  = torch.arange(start=0, end=self.depth_num, step=1, device=img_feats[0].device).float()
            bin_size = (self.position_range[3] - self.depth_start) / self.depth_num
            coords_d = self.depth_start + bin_size * index

        D = coords_d.shape[0]
        # [3,88,32,64]->[88,32,64,3] 通过将特征图进行离散化形成坐标来生成网格和视锥的形式
        coords = torch.stack(torch.meshgrid([coords_w, coords_h, coords_d])).permute(1, 2, 3, 0) # W, H, D, 3
        # 生成齐次坐标系,获得[x,y,z,1]形式的坐标
        coords = torch.cat((coords, torch.ones_like(coords[..., :1])), -1)
        # [88,32,64,2] x,y处也包含了深度的信息torch.tensor
        coords[..., :2] = coords[..., :2] * torch.maximum(coords[..., 2:3], torch.ones_like(coords[..., 2:3])*eps)
        img2lidars = []
        
        for img_meta in img_metas:
            img2lidar = []
            # 针对6副图像,使用np将旋转矩阵的逆求解处出来
            for i in range(len(img_meta['lidar2img'])):
                img2lidar.append(np.linalg.inv(img_meta['lidar2img'][i]))
            # 将一个batch内的图像到雷达的数据计算出来
            img2lidars.append(np.asarray(img2lidar))
        # [1,6,4,4]
        img2lidars = np.asarray(img2lidars)
        # 使img2lidars获得coords相同的类型和device情况
        img2lidars = coords.new_tensor(img2lidars) # (B, N, 4, 4)
        # [1,1,88,32,64,4,1]->[1,6,88,32,64,4,1]
        coords = coords.view(1, 1, W, H, D, 4, 1).repeat(B, N, 1, 1, 1, 1, 1)
        # [1,6,1,1,1,4,4,4]->[1,6,88,32,64,4,4]
        img2lidars = img2lidars.view(B, N, 1, 1, 1, 4, 4).repeat(1, 1, W, H, D, 1, 1)
        # 6个图像分别进行相乘形成新的坐标系,从相机视锥空间生成6个视图现实空间的坐标。
        # 并且只选取x,y,z三个数据
        coords3d = torch.matmul(img2lidars, coords).squeeze(-1)[..., :3]
        # 位置坐标来进行归一化处理,pos_range是3D感兴趣区域,先前都设置好了
        coords3d[..., 0:1] = (coords3d[..., 0:1] - self.position_range[0]) / (self.position_range[3] - self.position_range[0])
        coords3d[..., 1:2] = (coords3d[..., 1:2] - self.position_range[1]) / (self.position_range[4] - self.position_range[1])
        coords3d[..., 2:3] = (coords3d[..., 2:3] - self.position_range[2]) / (self.position_range[5] - self.position_range[2])
        # 除去不再目标范围内的数据
        coords_mask = (coords3d > 1.0) | (coords3d < 0.0) 
        # [1,6,88,32,64,3]->[1,6,88,32,192]->[1,6,88,32] 设定一个阈值,超过该阈值我们不再需要
        coords_mask = coords_mask.flatten(-2).sum(-1) > (D * 0.5)
        # 当取值为1的时候,此时是我们希望屏蔽的数据
        coords_mask = masks | coords_mask.permute(0, 1, 3, 2)
        # [1,6,88,32,64,3]->[1,6,64,3,32,88]->[6,192,32,88]
        coords3d = coords3d.permute(0, 1, 4, 5, 3, 2).contiguous().view(B*N, -1, H, W)
        # 将其转换为现实世界的坐标
        coords3d = inverse_sigmoid(coords3d)
        # embedding_dim是depth的四倍
        coords_position_embeding = self.position_encoder(coords3d)
        
        return coords_position_embeding.view(B, N, self.embed_dims, H, W), coords_mask

PETR主体部分

    def forward(self, mlvl_feats, img_metas):
        """Forward function.
        Args:
            mlvl_feats (tuple[Tensor]): Features from the upstream
                network, each is a 5D-tensor with shape
                (B, N, C, H, W).
        Returns:
            all_cls_scores (Tensor): Outputs from the classification head, \
                shape [nb_dec, bs, num_query, cls_out_channels]. Note \
                cls_out_channels should includes background.
            all_bbox_preds (Tensor): Sigmoid outputs from the regression \
                head with normalized coordinate format (cx, cy, w, l, cz, h, theta, vx, vy). \
                Shape [nb_dec, bs, num_query, 9].
        """
        # 因为此时两者的结构式一致的,因此选择第一个,且选择特征图较大的情况、
        x = mlvl_feats[0]
        batch_size, num_cams = x.size(0), x.size(1)
        # batch为1,且6个相机视角,每个视角下的大小都一致,因此选取第一个的形式
        input_img_h, input_img_w, _ = img_metas[0]['pad_shape'][0] 
        masks = x.new_ones( # [1,6,512,1408] 不太确定此时的mask用来遮挡什么物体
            (batch_size, num_cams, input_img_h, input_img_w))
        for img_id in range(batch_size):
            for cam_id in range(num_cams):
                img_h, img_w, _ = img_metas[img_id]['img_shape'][cam_id]
                masks[img_id, cam_id, :img_h, :img_w] = 0
        # x.flatten(0,1)将第0维到第1维拍成第0维,其余保持不变  
        # x: [1,6,256,32,88]->[6,256,32,88]->[6,256,32,88]  不理解input的目的,是为了多加一个非线性吗
        x = self.input_proj(x.flatten(0,1)) 
        
        x = x.view(batch_size, num_cams, *x.shape[-3:])
        # interpolate masks to have the same spatial shape with x [1,6,512,1408]->[1,6,32,88]
        # 在mask上进行采样,生成新的mask的形式,但此时mask的作用是什么呢
        masks = F.interpolate(
            masks, size=x.shape[-2:]).to(torch.bool)

        if self.with_position:
            # pos_embedding是PETR的重点,包含了坐标系的转换等一系列 此时生成的是3D位置嵌入
            coords_position_embeding, _ = self.position_embeding(mlvl_feats, img_metas, masks)
            pos_embed = coords_position_embeding
            
            # 如果具有多个视角,那么不同的视角也需要使用位置编码来进行操作
            if self.with_multiview:
                # [1,6,32,88]->[1,6,384,32,88]->[1,6,256,32,88]
                sin_embed = self.positional_encoding(masks)
                sin_embed = self.adapt_pos3d(sin_embed.flatten(0, 1)).view(x.size())
                pos_embed = pos_embed + sin_embed
            else:
                pos_embeds = []
                for i in range(num_cams):
                    xy_embed = self.positional_encoding(masks[:, i, :, :])
                    pos_embeds.append(xy_embed.unsqueeze(1))
                sin_embed = torch.cat(pos_embeds, 1)
                sin_embed = self.adapt_pos3d(sin_embed.flatten(0, 1)).view(x.size())
                pos_embed = pos_embed + sin_embed
                
        else:
            if self.with_multiview:
                pos_embed = self.positional_encoding(masks)
                pos_embed = self.adapt_pos3d(pos_embed.flatten(0, 1)).view(x.size())
            else:
                pos_embeds = []
                for i in range(num_cams):
                    pos_embed = self.positional_encoding(masks[:, i, :, :])
                    pos_embeds.append(pos_embed.unsqueeze(1))
                pos_embed = torch.cat(pos_embeds, 1)
        # [900,3] pos2posemb3d: [900,384]
        reference_points = self.reference_points.weight
        # 针对每个query形成一个嵌入的形式[900,256],线形层来生成查询
        query_embeds = self.query_embedding(pos2posemb3d(reference_points))
        # query是直接从Embedding生成 [1,900,3]
        reference_points = reference_points.unsqueeze(0).repeat(batch_size, 1, 1) #.sigmoid()
        # 利用transformer架构来获取query填充后的信息,之后用于计算class和bbox
        outs_dec, _ = self.transformer(x, masks, query_embeds, pos_embed, self.reg_branches)
        # 通过nan_to_num()将NaN转换为可处理的数字 [6,1,900,256]
        outs_dec = torch.nan_to_num(outs_dec)
        outputs_classes = []
        outputs_coords = []
        
        for lvl in range(outs_dec.shape[0]):
            
            reference = inverse_sigmoid(reference_points.clone())
            assert reference.shape[-1] == 3
            
            outputs_class = self.cls_branches[lvl](outs_dec[lvl])
            tmp = self.reg_branches[lvl](outs_dec[lvl])


            tmp[..., 0:2] += reference[..., 0:2]
            tmp[..., 0:2] = tmp[..., 0:2].sigmoid()
            tmp[..., 4:5] += reference[..., 2:3]
            tmp[..., 4:5] = tmp[..., 4:5].sigmoid()


            outputs_coord = tmp
            outputs_classes.append(outputs_class)
            outputs_coords.append(outputs_coord)

        all_cls_scores = torch.stack(outputs_classes)
        all_bbox_preds = torch.stack(outputs_coords)

        # 转换为3D场景下的数据
        all_bbox_preds[..., 0:1] = (all_bbox_preds[..., 0:1] * (self.pc_range[3] - self.pc_range[0]) + self.pc_range[0])
        all_bbox_preds[..., 1:2] = (all_bbox_preds[..., 1:2] * (self.pc_range[4] - self.pc_range[1]) + self.pc_range[1])
        all_bbox_preds[..., 4:5] = (all_bbox_preds[..., 4:5] * (self.pc_range[5] - self.pc_range[2]) + self.pc_range[2])

        outs = {
            'all_cls_scores': all_cls_scores,
            'all_bbox_preds': all_bbox_preds,
            'enc_cls_scores': None,
            'enc_bbox_preds': None, 
        }
        
        return outs

部署方式

# 新建一个虚拟环境
conda activate petr
# 下载cu111 torch1.9.0  python=3.7 linux系统
wget  https://download.pytorch.org/whl/cu111/torch-1.9.0%2Bcu111-cp37-cp37m-linux_x86_64.whl
pip install 'torch下载的位置'
wget https://download.pytorch.org/whl/cu111/torchvision-0.10.0%2Bcu111-cp37-cp37m-linux_x86_64.whl
pip install 'torchvison下载的地址'
# 安装MMCV
pip install mmcv-full==1.4.0 -f https://download.openmmlab.com/mmcv/dist/cu111/torch1.9.0/index.html
# 安装MMDetection
git clone https://github.com/open-mmlab/mmdetection.git
cd mmdetection
git checkout v2.24.1 
sudo pip install -r requirements/build.txt
sudo python3 setup.py develop
cd ..

# 安装MMsegmentation
sudo pip install mmsegmentation==0.20.2

# 安装MMdetection 3D
git clone  https://github.com/open-mmlab/mmdetection3d.git
cd mmdetection3d
git checkout v0.17.1 
sudo pip install -r requirements/build.txt
sudo python3 setup.py develop
cd ..

# 安装PETR
git clone https://github.com/megvii-research/PETR.git
cd PETR
mkdir ckpts ###pretrain weights
mkdir data ###dataset
ln -s ../mmdetection3d ./mmdetection3d
ln -s /data/Dataset/nuScenes ./data/nuscenes

参考文件

github地址
论文地址

​​

BEV (3)---DETR3d ①. 利用Resnet101 + fpn提取6张环视图像特征,获得1/4, 1/8, 1/16, 1/32, 4个不同尺度的输出(②. 预设900个预测框(object_querys), 拆分object query为query和query_pos, 利用全连接处理query_pos获得BEV空间3D reference point (x, y, z)的预测结果。 阅读详情

相关推荐

论文精读:《DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries》

我们介绍了一个多摄像机三维目标检测(multi-camera 3D object detection)的框架。与现有的直接从单目图像中估计三维边界盒或利用深度预测网络从二维信息中生成用于三维目标检测的输入相比,我们的方法直接在三维空间中处理预测。具体流程:我们的架构从多个摄像机图像中提取2D特征,然后使用稀疏的3D对象查询集索引到这些2D特征中,使用摄像机变换矩阵将3D位置链接到多视角图像。最后,我们的模型对每个对象查询进行包围盒预测,使用集到集的损失来度量真实框和预测之间的差异。

zyw2002的博客 9137

DETR3D笔记

2、对于尺寸的建模不是特别好,比如在gt中有个车是很长的,在预测结果中车相对而言是很短的,产生这样尺寸差异的原因是什么呢?DETR3D是可以利用重复特征去预测的,3D reference point对多视角分别投影,比如一个reference point投影回视角1的时候投影到重叠区域了,拿一次特征,投影回视角2的时候又投影到这个重叠区域了,又拿一次特征,是可以通过多视角特征进行融合的,所以对于重叠区域,DETR3D的检测融合的是多视角的特征,相比单一视角的检测而言,性能自然是有明显提升的。

qq_42250207的博客 2695

DETR3D模型源码导读 & MMDetection3D构建流程

本文主要是学习整理,结合DETR3D的模型结构与MMDetection3D的模型构建方法,首先介绍model dict的模型参数设置,然后介绍逐个介绍DETR3D中的子结构,过程中简单讲解mmdetection3d的模型构建流程。model部分:定义按照backbone,neck,head的顺序设置模型参数.....................

AI训练师中的点滴 4746

适合小白的Detr3D详解:3D目标检测的“Transformer革命”

本文用大白话+代码逐行解析的形式,带你搞懂Detr3D这个将Transformer引入3D目标检测的开创性工作。

shyr_sheyu的博客 3311

PETR:Position Embedding Transformation forMulti-View 3D Object Detection

该论文提出了一种简单而优雅的多视角三维物体检测框架PETR,通过将二维特征转换为三维位置感知特征来实现端到端检测。相比于DETR3D,PETR避免了复杂的2D-to-3D投影和特征采样过程,并且在推理时可以使用离线生成的三维坐标作为额外的输入位置嵌入,更加易于实际应用。实验结果表明,PETR在标准nuScenes数据集上实现了最先进的性能(50.4% NDS和44.1% mAP),并在3D目标检测排行榜中排名第一。

读书郎 1182

无人驾驶-202501-自动驾驶BEV感知算法指南06:隐式视角转换的 BEV 感知算法【DETR3D(202110)、BEVFormer(202203)、PETR(202203)】

本章介绍隐式视角转换的方法。隐式视角转换的BEV感知算法,如DETR3D、BEV-Former和PETR,是近年来3D目标检测领域的新兴技术。这些算法通过深度学习模型,直接将图像或多传感器数据映射到鸟瞰视角下,无须显式地进行视角转换。其中,DETR3D借鉴了检测变换器(Detection Transformer,DETR)的思想,利用Transformer实现端到端的3D目标检测。BEVFormer则通过引入时空交叉注意力机制,在BEV空间内对多传感器数据进行特征融合,提升了检测的精度和鲁棒性。

u013250861的博客 749

【传知代码】多视图3D目标检测位置嵌入变换(论文复现)

多视角图像中的3D目标检测由于其在自动驾驶系统中的低成本而具有吸引力,如下图所示:1)在DETR中,每个对象查询表示一个对象,与Transformer解码器中的2D特征交互以产生预测的结果。2)在DETR3D中,由对象查询预测的3D参考点通过相机参数投影回图像空间,并对2D特征进行采样,以与解码器中的对象查询进行交互。3)PETR通过将3D位置嵌入编码到2D图像特征中生成3D位置感知特征,对象查询直接与3D位置感知特征交互,并输出3D检测结果。

ztK63LrD的博客 1460

多视图3D目标检测位置嵌入变换(论文复现)

多视图3D目标检测位置嵌入变换(论文复现)

wei_shuo的博客 336

PETR:多视图 3D 目标检测的位置嵌入变换新范式

本文是对论文《PETR: Position Embedding Transformation for Multi-View 3D Object Detection》的深度解读。在自动驾驶多视图 3D 目标检测领域,如何避免复杂 2D-to-3D 投影与特征采样是关键挑战。MEGVII 团队提出的 PETR 框架,创新性地将 3D 坐标编码为位置嵌入注入 2D 特征,生成 3D 位置感知特征,实现端到端检测,在 nuScenes 数据集取得 SOTA 性能,为该领域提供强基线。

m0_65010824的博客 1564

32、MVSalNet:用于 RGB - D 显著目标检测的多视图增强方法

本文提出了一种名为 MVSalNet 的新方法,用于 RGB-D 显著目标检测(RGB-D SOD)。该方法通过多视图增强技术,结合基于 Transformer 的动态过滤模块和多视图融合策略,有效解决了 RGB 图像与深度图之间的模态差距和噪声问题,显著提升了检测性能。实验结果表明,MVSalNet 在多个数据集和评估指标上均优于现有先进方法,展现出强大的鲁棒性和应用潜力。

c7d8e9的博客 32

服务器安全配置:二、本地安全策略设置

密码最长使⽤期限”设置为“90天”;“⽤可以还原的加密来存储密码”设置为“禁⽤”“复位账户锁定计数器”设置为15分钟,贴图这里是我自己设置的时间,15分钟也够用,具体看自己需要。”网络访问: 不允许 SAM 帐户和共享的匿名枚举“设置为“已启用””网络访问: 限制对命名管道和共享的匿名访问“设置为“已启用””网络访问: 不允许匿名枚举 SAM 帐户“设置为“已启用”“关机: 允许系统在未登录的情况下关闭”设置为“已禁用”(1)交互式登录:不显示最后的⽤户名”设置为“已启⽤”

weixin_48825672的博客 3137

图像 检测 - PETR: Position Embedding Transformation for Multi-View 3D Object Detection (ECCV 2022)

在本文中,我们开发了用于多视图3D目标检测的位置嵌入变换(PETR)。PETR将3D坐标的位置信息编码为图像特征,产生3D位置感知特征。目标查询可以感知3D位置感知特征并执行端到端的目标检测。PETR在标准nuScenes数据集上实现了最先进的性能(50.4%的NDS和44.1%的mAP),并在基准测试中排名第一。它可以作为未来研究的一个简单而有力的基线。代码在https://github.com/megvii-research/PETR.关键词:位置嵌入,transformer,3D目标检测。

77wpa的博客 2416

挑战第七天:Llamaindex RAG 实践

安装python 依赖包,并安装 Llamaindex和相关包以及Sentence Transformer 模型。进入开发机后,创建新的conda环境,命名为。镜像,然后在资源配置中,使用。的选项,然后立即创建开发机器。后,点击 选择镜像 使用。然后安装相关基础依赖。

weixin_53579823的博客 728

ECCV2022 - PETR: Position Embedding Transformation for Multi-View 3D Object Detection

在本文中,我们开发了用于多视图 3D 对象检测的位置嵌入变换 (PETR)。PETR 将 3D 坐标的位置信息编码为图像特征,产生 3D 位置感知特征。对象查询可以感知 3D 位置感知特征并执行端到端对象检测。PETR 在标准 nuScenes 数据集上实现了最先进的性能(50.4% NDS 和 44.1% mAP),并在基准测试中排名第一。它可以作为未来研究的简单而强大的基线。Fig. DETR、DETR3D 和提出的 PETR 的比较。

点亮创新之光,照亮科研梦想 1025

Ferromagnetic soft continuum robots

本文来自机器人领域顶刊,Science Robotics。介绍了一种铁磁软连续体机器人,主要贡献为1)介绍了一个基于磁性微粒和聚合物的软连续体机器人的制造方法,在机器人外表面涂了一层水凝胶,极大地降低了摩擦阻力;2)并研究了在磁场下,不同粒子体积分数下,此机器人的驱动性能;利用手动操控的磁铁,进行了许多实验证明该机器人性能的优异性。 铁磁软连续体机器人 Ferromagnetic soft continuum robots [1] Paper Link Authors: Kim, Yoonho, et al

XU Yangxin的博客 1376

如何通过CAD图中的坐标来确定是哪个坐标系

地理坐标系:为球面坐标。参考平面地是椭球面,坐标单位:经纬度。以地球参考为例,坐标系就相当于整个地球,而地理坐标系就是椭球状的完整的立体地球。所以我们可以看到生活中的数据与地图是一定含有地理坐标系的,因为他是客观上来说确确实实存在的。投影坐标系:为平面坐标。参考平面地是水平面,坐标单位:米、千米等。这就相当于把地球当成一个橘子,然后一刀切开,把橘子皮平面铺开,这个过程就是地理投影的过程。严谨一点来说就是建立一个参考系统,按照对应位置把椭球体投射到平面。那坐标系统主要有那些呢?北京54。

vjmap的博客 2万+

【ICCV 2023】3DPPE: 3D Point Positional Encoding for Multi-Camera 3D Object Detection Transformers

【ICCV 2023】3DPPE: 3D Point Positional Encoding for Multi-Camera 3D Object Detection Transformers

weixin_45657478的博客 1535

.NET适配HarmonyOS进展 1. 前言

目前国产化系统浪潮下,适配鸿蒙是中国软件大势所趋,.NET作为最适合开发客户端语言之一,适配鸿蒙系统(HarmonyOS Next)是目前.NET开发者最关心的事情。我目前业余时间正在移植Avalonia到HarmonyOS,去年在.NET Conf CN上分享过,目前又取得一点进展,所以本文把所有问题进行整合与大家进行分享。

2301_76476890的博客 1463

TPAMI 2025 | 即插即用 DK3D:无额外算力,大幅提升单目 3D 目标检测性能

该模块的核心是“注释前景物体级深度图(AFOD)”——仅保留前景目标的精准深度,避免背景噪声干扰,再通过交叉注意力和坐标嵌入,将深度线索与视觉语义特征融合,让教师生成带深度感知的指导特征,学生则从这些特征中隐式学习几何推理能力,无需显式估计深度。这也为纯视觉3D检测的落地,提供了新的技术路径。今天要分享的这篇TPAMI 2025的顶刊论文,提出了全新的深度感知知识蒸馏框架DK3D,直击跨模态蒸馏的痛点,无需额外数据、不增加推理成本,就能显著提升单目和多视图3D检测模型性能,堪称即插即用的性能增强神器!

小白学视觉 655

5分钟搞定PettingZoo多智能体环境搭建:从安装到运行第一个Demo

本文详细介绍了如何在5分钟内完成PettingZoo多智能体环境的搭建,从安装到运行第一个Demo。通过精准的版本控制和常见问题解决方案,帮助开发者快速上手多智能体强化学习(MARL)环境配置,并提供了实战案例和性能优化技巧。

backprop5master的博客 223

西门子 S7-1200 G2 高速计数器的使用方法介绍

西门子 S7-1200 G2 高速计数器的使用方法介绍

Robot_PLC_HMI_Automation 1718

PETRv2:一个多摄像头图像3D感知的统一框架

点击上方“3D视觉工坊”,选择“星标”干货第一时间送达作者丨黄浴来源丨计算机视觉深度学习和自动驾驶arXiv上传于6月10日的论文“PETRv2: A Unified Framework for 3D Perception from Multi-Camera Images“,是旷视科技孙剑团队的工作(也是孙博士离世前的项目报告,仅做纪念)。基于PETR,PETRv2探索了...

3D视觉工坊 2364

机器人轨迹规划——梯形速度轨迹(超详细)

机器人轨迹 这一系列轨迹教程将主要包括以下内容: 点到点轨迹(P2P) 五次多项式插值轨迹 三次多项式插值轨迹 梯形速度曲线轨迹 双S形速度曲线轨迹 多个自由度轨迹的时间同步 在线轨迹规划 多项式在线轨迹规划 梯形在线轨迹规划 双S形在线轨迹规划 非线性实时轨迹滤波 多点轨迹(Multi-point) 三次样条曲线(cubic spline) 贝赛尔曲线(Bezier Curve) B样条曲线(BSpline) 时间最优轨迹 三次样条时间最优轨迹 任意路径下的时间最优轨迹 时间

出门搔白首,若负平生志 1万+

PETRv2: A Unified Framework for 3D Perception from Multi-Camera Images

该论文提出了一种名为PETRv2的统一框架,用于从多相机图像中实现三维感知。该框架在原有基础上增加了时序建模和多任务学习,并通过引入特征引导位置编码(FPE)来改进了原始的3D位置嵌入(3D PE)。实验结果表明,该框架在3D目标检测、BEV分割和3D车道检测等任务上均取得了最先进的性能。本文提出PETRv2,这是一种用于多视图图像的三维感知统一框架。基于PETR[24],PETRv2探索了时间建模的有效性,利用前一帧的时间信息来提升三维物体检测性能。

读书郎 1496

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

Cross Modal Transformer: Towards Fast and Robust 3D Object Detection

在本文中,我们提出了一个完全端到端的框架用于多模态 3D 物体检测。它隐式编码将 3D 坐标转化为图像和点的标记云。通过坐标编码,简单而有效可采用主动DETR管道进行多模态融合以及端到端的学习。通过蒙面模态训练,我们的多模态检测器可以学习,具有很强的鲁棒性,即使错过了多种模式中的一种。我们希望这样的简单的管道设计可以提供更多关于端到端 3D 物体检测。

人无远虑,必有近忧 1908

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

多视角学习研究记录

【PETR:用于3D多视角目标检测的位置嵌入变换】论文本文提出了一种用于多视角3D目标检测的位置嵌入变换。PETR将3D坐标的位置信息编码为图像特征,以产生3D位置感知特征。对象查询可以感知3D位置感知特征并实现端到端的目标检测。在标准NuScenes数据集上,PETR实现了SOTA性能(50.4%NDS和44.1%mAP)。PETR针对的是DETR3D网络在预测中存在的问题:参考点坐标的预测值不够精确,会使得采样特征超出特征区域;只有投影点上的图像特征会被采集,因此网络不能进行全局视角的表征学习;

fzaegvsww的博客 796

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

上一篇: 一种通用的图像分割模型
下一篇: 图像高清化
Srlua小谢
Srlua小谢 优质创作者: 编程框架技术领域 优质创作者: 编程框架技术领域
博客等级 码龄4年 8963粉丝 332原创
评论 30
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值