物体6D位姿的含义

6D位姿估计学习 阅读详情
AI摘要

物体6D位姿包括3D平移和3D旋转,表示物体在世界坐标系到相机坐标系的变换。与相机6D位姿相似,但物体6D位姿关注的是物体相对于世界坐标系的初始位置。通过旋转和平移矩阵,可以将物体从其世界坐标系变换到相机坐标系下,用于场景理解和机器人抓取等应用。

本文同步于微信公众号:3D视觉前沿,欢迎大家关注。

在一些有关物体6D位姿估计或者机器人抓取的论文中,我们常会听到一个词:物体6D位姿估计 (6D object pose estimation),那什么是物体的6D位姿呢?它和SLAM中的相机6D位姿一样吗?

6D是指6个自由度,代表了3个自由度的位移 (也叫平移 (Translation)),以及3个自由度的空间旋转 (Rotation),合起来就叫位姿 (Pose)。位姿是一个相对的概念,指的是两个坐标系之间的位移和旋转变换。物体6D位姿和相机6D位姿是相似的,区别在于从哪个坐标系变换到相机坐标系。

相机6D位姿是指拍摄当前图像时刻,相机坐标系相对于世界坐标系发生的平移和旋转变换。世界坐标系可以定义在任意位置,也可以和当前相机坐标系重合。相机6D位姿通常用世界系到相机系的RT变换来表示,也即: T c = R c w ∗ T w + t c w T_c = R_{cw} * T_w + t_{cw} Tc​=Rcw​∗Tw​+tcw​,其中 R c w R_{cw} Rcw​代表由世界系到相机系的旋转, t c w t_{cw} tcw​ 代表由世界系到相机系的平移, T c T_c Tc​代表相机系下的3D点, T w T_w Tw​代表世界系下的3D点。

而物体6D位姿是指拍摄当前图像时刻,相机坐标系相对于原始物体所在的世界系,发生的平移和旋转变换。原始物体可以放在世界系的任何位置,而且通常将物体本身的重心和朝向与世界系对齐。物体6D位姿通常用原始物体所在世界系到相机系的RT变换来表示,也即: T c = R c m ∗ T m + t c m T_c = R_{cm} * T_m + t_{cm} Tc​=Rcm​∗Tm​+tcm​,其中 R c m R_{cm} Rcm​代表由原始物体 (model) 所在的世界系到相机系的旋转, t c m t_{cm} tcm​代表由物体所在的世界系到相机系的平移, T c T_c Tc​代表相机系下物体的3D点, T m T_m Tm​代表物体所在世界系下物体的3D点。因此,当世界系和物体本身对齐时,相机的6D位姿等价于物体的6D位姿。

具体我们看一个物体6D位姿的例子,数据来自preprocessed LineMod dataset数据集,原始物体3D模型本身的重心和朝向与世界系是对齐的,其坐标值为 T m T_m Tm​:

在这里插入图片描述
使用相机拍摄带有目标物体的场景后,恢复相机坐标系下的点云如下,此时目标物体的3D坐标为 T c T_c Tc​:
在这里插入图片描述
基于给定的Ground Truth的物体6D位姿,camRm2c代表物体所在世界系到相机系的旋转矩阵R,camtm2c代表物体所在世界系到相机系的平移矩阵t:

cam_R_m2c: [0.09630630, 0.99404401, 0.05100790, 0.57332098, -0.01350810, -0.81922001, -0.81365103, 0.10814000, -0.57120699],
cam_t_m2c: [-105.35775150, -117.52119142, 1014.87701320],

使用 T c = R c m ∗ T m + t c m T_c = R_{cm} * T_m + t_{cm} T

6D位姿估计 文章目录问题提出传统的解决方法算法 问题提出 给定单幅RGB图像,估计图像中包含目标物体的6DoF位置姿态 6DoF(degree of freedom,即自由度)即6个方向的自由度,6DoF位姿包括了3维位置和3维空间朝向 传统的解决方法 基于RGB图像的方法,或者使用edge特诊,但对复杂背景敏感,或者使用feature points(缺点:无法处理弱纹理或者无纹理的情况) 基于RGB-D的方法(缺点:依赖传感器,有限制) 算法 目标:实时预测物体的6DoF位姿 要解决的步骤:1、 预测物体3 阅读详情

相关推荐

如何理解物体的6D位姿估计任务?

首先,以物体中心或者质心为坐标原点,建立物体自身坐标系,记作坐标系1。由于是一个物体,那么这个物体上所有的点在这个坐标轴下,都会有一个坐标。 同理,我们用相机拍摄物体时,在拍摄当前图片时刻,我们以相机光心为坐标原点,建立了另一个坐标系,记作坐标系2。 其次,我们将坐标系2进行空间平移,使得坐标系2的原点平移到目标物体的中心处,记作一个新的坐标系Q 我们知道,坐标系1和Q差距在于绕物体中心处进行了旋转,坐标系Q和2在于坐标原点存在空间平移。 那么我们如何描述目标物体在坐标系2下的位姿呢? 我们通过图片中的物体

weixin_39455125的博客 5304

如何使用YOLOv5进行物体检测,并通过GraspNet进行6D位姿估计,从而实现机械臂的抓取规划

上述代码展示了如何使用YOLOv5进行物体检测,并通过GraspNet进行6D位姿估计,从而实现机械臂的抓取规划。每种方法和库都有其特定的优缺点,6D位姿估计确保机械臂能够精确地定位物体,不同的应用场景和物体特性需要调整算法和代码。

weixin_40514381的博客 9034

【2018CVPR】实时单目6D物体姿态估计

背景 该论文发表于2018年CVPR,解决的问题是:给定单幅RGB图像,估计图像中包含目标物体的6DoF位姿;6DoF位姿包括了3维位置和3维空间朝向;传统方法包括以下两种:基于RGB图像的方法,或者使用edge特征,但对复杂背景敏感,或者使用feature points,但无法处理弱纹理或者无纹理情况;基于RGB-D的方法,依赖传感器,本身有一定限制。近年来深度学习的方法,可以给6DoF位姿估...

dsoftware的博客 6461

6D位姿估计的理解及BOP数据集参数说明

6D姿态估计的理解及BOP数据集参数说明 一、6D姿态 姿态估计在百度上搜会出现“姿态估计问题就是确定某一三维目标物体的方位指向问题”的解释,但是具体来讲确定某一三维目标物体的方位指向问题到底是什么意思呢? 首先,6D表示6个自由度,3个自由度的位移(Translation)和3个自由度的空间旋转(Rotation) ...

weixin_46428351的博客 9531

论文笔记,物体六自由度位姿估计,DenseFusion: 6D Object Pose Estimation by Iterative Dense Fusion

论文笔记,物体六自由度位姿估计,DenseFusion: 6D Object Pose Estimation by Iterative Dense Fusion链接摘要1,引言2,模型2.1,整体架构插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能...

u010403272的博客 1万+

物体抓取位姿估計算法綜述_6D姿态估计算法汇总(上)

首发于:公众号【3D视觉工坊】欢迎加入国内最大的3D视觉交流社区,1700+的领域从业者正在共同进步~1、DenseFusion: 6D Object Pose Estimation by Iterative Dense Fusion (CVPR2019)原文链接:https://arxiv.org/abs/1901.04780代码链接:https://github.com/j96w/DenseF...

weixin_42525189的博客 3857

李飞飞团队最新论文:基于anchor关键点的类别级物体6D位姿跟踪

6-PACK: Category-level 6D Pose Tracker with Anchor-Based Keypoints 论文地址:https://arxiv.org/abs/1910.10750v1 代码链接:https://sites.google.com/view/6PACKtracking 简介 作者提出了一种基于RGB-D的深度学习方法6PACK,能够实时的跟踪已知类别物体。...

耗子的博客 1284

点云 相机位姿_汉振分享 | 刚性物体6D位姿估计方法简述

引言在工业上的抓取作业中,多数情况下会有:待检测物体类型单一、物体模型表面纹理较少、工件散乱且密集、金属表面(油污、反光)影响成像效果等作业环境上的特殊性条件存在。针对不同的应用场景及作业需求,需要有的放矢地选择一种合适的位姿估计方案,以提高后续机器人的抓取成功率及作业的整体效率。现阶段,针对刚性物体的位姿估计方法,大致可以归为以下三类:1 基于模板匹配2 基于3D描述符(描述子)3 基于学习(神...

weixin_28972031的博客 2090

Yolo-6D(Real-Time Seamless Single Shot 6D Object Pose Prediction)理解

Yolo-6D

给时光以生命 1万+

[CVPR 2019]类别级物体6自由度位姿估计

类别级6D物体位姿和尺寸估计的归一化物体坐标空间 摘要 本文的目标是估计RGB-D图像中从未见过的物体实例的6D位姿和尺寸。与“实例级”6D位姿估计任务相反,我们的问题假设在训练或测试期间没有精确的对象计算机辅助设计模型可用。为了在给定类别中处理不同的和不可见的对象实例,我们引入了标准化对象坐标空间——一个类别中所有可能对象实例的共享标准表示。然后,我们基于区域的神经网络被训练来直接推断从观察到的...

耗子的博客 3411

物体抓取位姿估計算法綜述_6D位姿估计小结

6D位姿是什么?给定输入图片,6D位姿估计是估计从物体坐标系O到相机坐标系C的刚性转换,包括3D旋转R和3D平移T。其中,T决定物体在图片中的位置和比例,R根据物体的3D形状和表面纹理信息影响物体外观。6D位姿求解方法分类?根据输入数据的不同,大致分为3类:RGB图像输入;点云(point cloud)输入;RGB + 点云输入。基于RGB图片的6D位姿估计 对于RGB图片的输入,传统方法首先从输...

weixin_42467374的博客 2028

[IROS 2018]移动机器人同时估计自身位姿和物体位姿

论文地址:https://arxiv.org/abs/1810.11525 论文视频:https://www.youtube.com/watch?v=W-6ViSlrrZg 简介        作者提出同时进行目标检测和位姿估计,利用一段连续的图像帧,这个图像帧和slam不同之处在于它是对一个场景的扫描,运动的幅度可能很小,就在一个场景附近各个角度扫...

耗子的博客 1243

CST周期边界仿真:揭秘频率选择表面(FSS)单元设计全流程

本文详细解析了CST周期边界仿真在频率选择表面(FSS)单元设计中的应用全流程。从理论基础到工程实践,涵盖了求解器选择、几何建模、边界设置、端口优化等关键步骤,并提供了常见问题排查指南。通过CST仿真技术,工程师能够高效预测FSS的电磁特性,为实际应用提供可靠的设计依据。

weixin_30571465的博客 358

在trae CN中使用conda环境(已解决)

Trae CN 是字节跳动于 2025 年 3 月 3 日发布的国内首个 AI 原生集成开发环境(AI IDE)123。

zwzscnds的博客 6937

卫星监测“America”级#两#栖#攻#击#舰#(LHA-6)出港

卫星监测“America”级#两#栖#攻#击#舰#(LHA-6)出港 前脚刚走,后脚又来,山姆大叔又来刷存在感,2020年7月28日,USS Ronald Reagan流窜在我国东海海区被卫星拍了下来: 2020年8月1日,最新卫星图像显示USS Ronald Reagan已经返回母港日本横须贺:距离其出港(2020年6月8日)已经过去了快两个月 然而事情并没有到此结束,“America”级#两#栖#攻#击#舰#(LHA-6)选择在 “八.一” 这个特殊的日子前后出港颇具挑衅的味道。 根据2020年

qq_46071146的博客 1565

Cadence OrCAD Capture 保持元器件编号情况复制元件,复制后元器件编号与复制前不同的问题解决

如下图所示复制时,已经勾选了“Preserve reference on copy”但是复制后的编号却与复制前不一样。本文简单介绍其原因及解决方法。

fydar的博客 3164

DeepSeek + 微信:手把手教你把 AI 接入个人微信,秒变“高情商”聊天助手(防封指南)

将 DeepSeek 接入微信,本质上是给你的微信装了一个**“最强外挂”**。它不仅能帮你回消息,还能帮你写周报、查资料、甚至陪聊解闷。工具是服务于人的,不要让 AI 完全替代了你的真情实感。毕竟,真正的高情商,是屏幕背后那个在乎对方的你。先申请一个小号,按照步骤跑通流程。然后试着调整 Prompt,训练一个属于你自己的“嘴替”吧!

BUG猿的博客 957

数据分享|2023年OSM道路数据(全国,分省,分市)

首先这个工作非常有必要的,因为我们正常使用的道路的分类都是基于包括城市快速路、城市主干路、城市次干路这个体系的,大家对于这个分类体系应该更熟悉,但是OSM地图的道路分类又不是完全按这个来的,所以非常有必要重新分类;搞清楚道路类型是我们使用道路数据做很多工作的基础,比如我们在使用道路数据的时候,经常需要预估道路的行车速度,而这个速度一般就是根据道路类型来的,比如高架路的车速肯定就比城市支路快很多!下载分为两种情况,第一种是下载小区域的数据,比如下载一个街区的数据,第二种为下载整个中国范围的。

JData_Engineer的博客 4306

高速特征金字塔多角度旋转模板匹配(工业零部件缺陷检测C++ Opencv版)

博主在性能较好的笔记本上测试算法全部执行效果大约为45ms,在一般配置的笔记本上博主在性能较好的笔记本上测试算法全部执行效果大约为130ms。下图即为实际检测效果。本文最后附有完整代码:Qt版和MFC版本(可直接运行)。...

认真努力,做一只会飞的毛毛虫。 5547

【ROS2实体机械臂驱动】rokae xCoreSDK Python测试使用

本文记录了使用xCoreSDK-Python驱动Rokae实体机械臂的测试流程。

机器人梦想家 Bing Lee 1501

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

上一篇: 机器人抓取中物体定位算法概述
下一篇: 最远点采样(Farthest Point Sampling)介绍
Guoguang Du
博客等级 码龄16年 599粉丝 15原创
评论 32
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值