PVNet: A Joint Convolutional Network of Point Cloud and Multi-View for 3D Shape Recognition

PVN3D学习(一):跑通PVN3D PVN3D 阅读详情

论文链接:http://gaoyue.org/paper/PVNet.pdf

摘要

       3D目标识别已经吸引研究者们的注意在领域多媒体和计算机视觉。随着最近涌入的深度学习,各种深度模型使用不同的展示形式实现先进的表现。大部分它们,点云和多视点基于3D模型展示正在引进在最近,它们对应的深度模型已经展示出重要性在3D模型识别。然而,有较少集中在点云数据和多视点数据对于3D模型展示,在我们的研究中,它们是有益和互补的相互。在这篇文章中,我们提出点视网络PVNet,首先框架集成点云和多视点数据加入到3D模型识别。较明确地,一个嵌入注意融合观点是提出利用高阶特征从多视角数据去模型内相关和区别不同的结构特征从点云数据。尤其,这个区别描述被量化和利用作为软注意mask,来重定义3D模型特征。我们已经评估这个提出的方法在ModelNet40数据集对3D模型分类和检索任务。实验结果和对比先进的方法证明我的框架能够实现较好的性能。

效果图

只有点云以及多视角下的3D识别,以及将二者融合在一起后的效果。

系统框架

在ModelNet40数据集的算法对比

了解更多关于《计算机视觉与图形学》相关知识,请关注公众号:

下载我们视频中代码和相关讲义,请在公众号回复:计算机视觉课程资料

pvnet——自我总结 第一阶段:(检测2D关键点) pvnet: 利用卷积网络对图片中像素进行分类,生成语义标签,假设关键点,计算指向关键点的向量场,根据向量进行比较投票分数确定确定关键点。使用FPS(farhest point sampling)选出八点作为估计匹配的关键点。 执行细节: 网络中使用的优化器:Adam 单独对象模型网络都是使用resnet_18网络一对一训练,所有模型是使用resnet_50训练 cr... 阅读详情

相关推荐

PVN3D:最详细的来了,对PVN3D的总结与理解

摘要:从单个RGBD图像得到对象的6DoF对象姿态估计。使用了一种深度霍夫投票网络,以检测对象的3D关键点,然后以最小二乘法拟合的方式估计6D姿态参数。 6DoF:即物体在空间中具有6个自由度,3D平移和3D旋转。6DoF姿态就是说,已知物体在世界坐标系的坐标,求物体在相机坐标系的姿态。即物体从世界系到相机系所需的3D旋转和3D平移。 1.介绍 由于光线,传感器噪声,场景的遮挡和物体的截断等原因,6DoF估计已被证明是一个极具挑战性的问题。有人提出直接使用DNN(深度神经网络)回归对象的旋转和平移,由于所解

feng_du_lan_的博客 5176

姿态估计2-03:PVNet(6D姿态估计)-白话给你讲论文-翻译无死角(1)

以下链接是个人关于PVNet(6D姿态估计) 所有见解,如有错误欢迎大家指出,我会第一时间纠正。有兴趣的朋友可以加微信:a944284742相互讨论技术。若是帮助到了你什么,一定要记得点赞!因为这是对我最大的鼓励。 姿态估计2-00:PVNet(6D姿态估计)-目录-史上最新无死角讲解 本论文名为: PVNet: Pixel-wise Voting Network for 6DoF Pose Estimation(CVPR 2019 oral) 话不多说,本人直接开始翻译了 Abstract 该论文主要提出

江南才尽江南山,年少无知年少狂! 6990

PVNet:阅读笔记

PVNet: 论文摘要: 本文解决在severe occlusion or truncation条件下从single RGB图像中做6D姿态估计。最近的主流方法采用two-stage的思路,先检测关键点再求解Perspective-n-Point(PnP)问题,取得remarkable performance。然而,它们只通过回归image coordinates or heatmaps定位出...

layman to computer science 1634

3D点云深度学习综述

3D点云深度学习综述Deep Learning for 3D Point Clouds: A Survey论文翻译 作者:Yulan Guo, Hanyun Wang, Qingyong Hu, Hao Liu, Li Liu, and Mohammed Bennamoun 译者:dxzysk 译者注:本文仅是对原论文的翻译,作为学习笔记仅供记录、参考学习使用,建议阅读作者的英文原文。受水平限制,难免有错误之处,尽情谅解。 原论文:https://arxiv.org/abs/1912.1203...

dxzysk的专栏 6387

3D 语义分割——RPVNet

本文是阅读 CVPR2021 论文《RPVNet: A Deep and Efficient Range-Point-Voxel Fusion Network for LiDAR Point Cloud Segmentation》所做笔记。 首先简要介绍了 3D 语义分割中三种不同的视图,然后再详细地介绍了 RPVNet 的网络结构。

steven_ysh的博客 2449

PVNet: Pixel-wise Voting Network for 6DoF Pose Estimation

摘要: 作者提出一种基于像素投票的网络回归每个像素的指向关键点的单位向量,然后使用RANSAC方法,每个单位向量投票选出关键点位置。这对于定位遮挡和截断的关键点创建了一个灵活的表示,这种表示的另一种重要特征是提供了关键点位置的不确定性从而能够使用PnP求解器进一步求解。 引言:通过CNN回归2d坐标然后使用 Perspective-n-Point(PnP)算法计算6D位姿表现很好,但是很难处理...

a0394zy521的博客 992

初窥PVNet(文献阅读+clean-pvnet复现)

本次复现是在Ubuntu20.04系统上,显卡为3060,驱动为Driver Version: 525.125.06 CUDA Version: 12.0 python=3.8.13,torch=1.8.1+cu111。

m0_45202751的博客 4427

CVPR 2019的“ PVNet:用于6DoF姿势估计的像素级投票网络”的代码-Python开发

“ PVNet:用于6DoF姿势估计的像素级投票网络”代码CVPR 2019口头好消息! 我们发布了一个干净的PVNet版本:clean-pvnet,包括如何在自定义数据集上训练PVNet。 对tless数据集的训练和测试,我们在其中检测图像中的多个实例。 PVNet:用于6DoF姿势估计的像素化投票网络PVNet:用于6DoF姿势估计的像素化投票网络Sida Peng,刘元,黄启兴,周小伟,包虎军CVPR 2019口腔项目页面欢迎任何问题或讨论! 截断LINEMOD数据集检查

探索PVNet:一款强大的3D视觉定位系统

是浙江大学3D视觉实验室开发的一个开源项目,旨在为机器人和自动驾驶提供高精度的三维物体检测与姿态估计。通过深度学习的方法,PVNet能够在复杂的环境中准确地识别出物体并预测其在三维空间中的位置和方向。 ## 技术分析 PVNet的核心是它创新的网络架构设计。该模型首先通过卷积神经网络(CNN)对输入图像进行特征提取,然后利用像素级别的位姿回归网络(Pixel-wise Pose Regress

gitblog_00081的博客 544

Nginx源码安装和基础配置

Nginx简介 nginx: 世界第二大web服务器软件,以高并发、低消耗著称,源自于俄罗斯,创建者 Igor(伊戈尔),2004年开源,最早以代理服务器的身份出现,2015成立nginx公司,2019年以6.7亿被F5 Networks公司收购。 代理服务器: 正向:squid 反向: squid:最古老的代理服务器 LVS: 优点: 1.抗负载能力强、是工作在网络4层之上仅作分发之用 2.配置性比较低,这是一个缺点也是一个优点,简单不易出错 3.工作稳定,抗负载能力很强,有完整的双机热备方案

hjyhjy0的博客 500

数字IC后端PR阶段Innovus,ICC,ICC2修复short万能脚本分享

数字IC后端PR阶段Innovus,ICC,ICC2修复short万能脚本分享

weixin_37584728的博客 3467

【论文笔记】PVNet: Pixel-wise Voting Network for 6DoF Pose Estimation

论文地址:https://arxiv.org/pdf/1812.11788 1.引言 1.1 问题描述 6D Pose Estimation的目标是检测出物体,并求得它们的位置和朝向,实际上就是求得从物体坐标系到相机坐标系的(R,t)。所以算法的输入是一张rgb图像、3D keypoints、bbox_8,输出是(R,t),最终展现的效果是:bbox_8经过旋转、平移、2D映射之后,投影在原...

Medlar Tea 1665

SolidWorks的GB库(钢型材库,包括铝型材、铝管等结构)安装及使用教程(生成铝型材为例)

1、GB库的下载 2、GB库的安装教程 3、GB库的使用教程

树下等苹果的博客 12万+

论文翻译:PVNet: Pixel-wise Voting Network for 6DoF Pose Estimation

论文翻译:PVNet: Pixel-wise Voting Network for 6DoF Pose Estimation 摘要 本文讨论了单幅RGB图像在严重遮挡或截断情况下的6DoF位姿估计问题。最近的许多研究表明,two-stage的方法:首先检测关键点,然后解决一个PnP问题的位姿估计,效果很好。然而,这些方法大多通过回归图像坐标或热图来定位一组稀疏关键点,它们对遮挡和截断非常敏感。相反...

weixin_44636737的博客 2028

新卡尝鲜记:RTX 5070Ti适配PyTorch生态的实战避坑指南

本文分享了RTX 5070Ti适配PyTorch生态的实战经验。针对CUDA 12.8兼容性问题,详细介绍了安装PyTorch Nightly版本、手动编译xformers库以及寻找PyTorch3D第三方预编译包的完整流程与解决方案,帮助用户快速搭建可用的深度学习开发环境。

weixin_29094775的博客 289

STM32H7B0VBT6使用Free RTOS配置SD卡+Fatfs文件管理系统

STM32H7B0VBT6使用Free RTOS配置SD卡+Fatfs文件管理系统,记录配置过程

Jack的小窝 5943

2020.10.13重读 PVN3D:A Deep Point-wise 3D Keypoints Voting Network for 6DoF Pose Estimation

PVN3D:A Deep Point-wise 3D Keypoints Voting Network for 6DoF Pose Estimation1.背景信息2.方法3. Loss4.实验结果4.1 LineMOD数据集4.2 YCB数据集5. 读后感6. 这篇文章的报告ppt 1.背景信息 1.输入RGBD图像 2.两阶段位姿估计方法: 先找到model和scene中的点的对应关系,然后用LS或者PnP进行位姿解算。 作者说end to end的方法,直接回归与旋转有关的量,需要神经网络考虑旋转空间

wolfcsharp的博客 1371

音频DSP开发中的‘隐藏关卡’:那些SigmaStudio未公开的模块计算秘籍

本文深入探讨音频DSP开发中SigmaStudio未公开的模块计算秘籍,重点解析动态范围控制、均衡器参数映射和混响算法优化等核心模块计算公式。通过实际案例揭示如何利用这些非官方技巧提升音频质量与系统性能,为ADI DSP开发者提供宝贵的实战经验。

water的专栏 912

计算机科学与技术论文智慧之美,信息科学与技术学院5篇论文被计算机多媒体领域国际顶级会议录用...

近日,国际顶级会议ACM Multimedia2018公布录用结果,我校信息科学与技术学院王菡子教授等3个课题组共有5篇论文入选,在国内高校名列前茅。ACM Multimedia是计算机学科多媒体领域的顶级会议,被中国计算机学会(CCF)列为A类会议。与其他理工科学科不同,在全国学科评估中,唯有“计算机科学与技术”一级学科将CCF推荐的A类国际会议计入成果评估。ACM Multimedia有着严苛...

weixin_35516624的博客 418

如何在 SAP BTP 上使用 Integration Suite 消费 S/4HANA Cloud API

SAP Integration Suite是一个集成平台即服务(iPaaS),允许开发人员顺利地将内部部署和基于云的应用程序和流程与SAP管理的工具和预构建内容进行集成。登录 SAP Business Technology Platform Cockpit,进入 integration suite:再点击 API management 进入 API Portal:或者直接从收藏夹里打开链接:https://304a49cetrial.integrationsuitetrial-apiportal.cfapp

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1699

orangepi香橙派用户名及密码修改和VNC远程登陆

1、修改 /etc/passwd用户信息文件 vim /etc/passwd #admin❌503:501::/home/admin:/bin/bash #把用户名admin改成rest #test❌503:501::/home/test:/bin/bash 2、修改 /etc/shadow用户密码文件 vim /etc/shadow #admin:Dnakfw28zf38w:8764:0:168:7::: #由于密码加密方式存放,只修改用户名即可(密码不变) #test:Dnakfw28zf38w:876

weixin_40227845的博客 5663

姿态估计2-04:PVNet(6D姿态估计)-白话给你讲论文-翻译无死角(2)

以下链接是个人关于PVNet(6D姿态估计) 所有见解,如有错误欢迎大家指出,我会第一时间纠正。有兴趣的朋友可以加微信:a944284742相互讨论技术。若是帮助到了你什么,一定要记得点赞!因为这是对我最大的鼓励。 姿态估计2-00:PVNet(6D姿态估计)-目录-史上最新无死角讲解 本论文名为: PVNet: Pixel-wise Voting Network for 6DoF Pose Estimation(CVPR 2019 oral) 话不多说,接着上篇波博客继续翻译了 5. Experiment

江南才尽江南山,年少无知年少狂! 3622

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

【亲测免费】 探索未来科技:PVNet——像素级投票网络,6自由度姿态估计的利器

在计算机视觉领域,准确地估计物体的姿态是一项至关重要的任务。PVNet,全称为Pixel-wise Voting Network,正是这样一款能够实现6自由度(6DoF)精确姿态估计的开源工具,其在CVPR 2019会议上作为口头报告被展示。这款强大的算法不仅提供了清晰的模型训练和自定义数据集的指导,还具备与其他检测器协同工作的功能,让我们一起深入了解它。 ## 项目简介 PVNet 是由浙江

gitblog_00711的博客 817

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

PVNet位姿估计网络简单复现2022-5-21

结果图 说明 本博客编写于2022年5月21日,复现时间是2022年5月20日,复现网络是PVNet。 环境 unbuntu18.04.6LTS cuda版本10.2 gcc版本7.5.0 python版本按照需要采用的是3.7 GPU:GTX1070 CPU:i7 其他配置和要求的应该一样了 所需资源下载 项目总地址:https://zju3dv.github.io/pvnet/ 论文:https://arxiv.org/pdf/1812.11788.pdf 代码:https://github.com/

qq_43631827的博客 4078

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

【从零开始复现PVnet】(下)复现PVNet

环境:显卡驱动版本:nvidia-driver-470。

weixin_44338714的博客 2330
上一篇: Explicit Reasoning over End-to-End Neural Architectures for Visual Question Answering
下一篇: GRN: Gated Relation Network to Enhance Convolutional Neural Network for Named Entity Recognition
元宇宙MetaAI
博客等级 码龄10年 331粉丝 333原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值