solvepnp 单目三维位姿估计--------利用二维码求解相机世界坐标

姿态解算的结果不对_王高杰,郝向阳,欧阳文.等. 定位点分布对相机位姿解算精度影响分析... 引文格式:王高杰,郝向阳,欧阳文,等.定位点分布对相机位姿解算精度影响分析[J].导航定位学报,2020, 8(6): 21-28.(WANG Gaojie, HAO Xiangyang, OUYANG Wen,et al. Influence analysis of location point distribution on solution accuracy of camera p... 阅读详情

本文是通过相机拍摄二维码得到世界坐标和图像坐标点对,求解相机的姿态或目标(二维码)的姿态。

文章转自:https://blog.youkuaiyun.com/cocoaqin/article/details/77848588

博主代码:https://github.com/xukeqin/PnP

实现平台:

IDE:visual studio 2013
使用库:Eigen opencv2.4.9
文档版本:1.1

(一)solvepnp 单目三维位姿估计--------理论

matlab相机标定获取内参

旋转矩阵到旋转角之间的换算

以下为正文内容:
前言
原理简介
输入参数准备
1 objectPoints特征点世界坐标
2 imagePoints特征点在摄像头下的像素点坐标
3cameraMatrixdistCoeffs内参矩阵和畸变矩阵
相机世界坐标的求解
1求世界坐标中的点在相机坐标系下的坐标
2求相机在世界坐标中的坐标
3效果求解相机在世界坐标系下的坐标点
4求解代码
1.前言

很多时候,当我们利用单目相机获取图像时,往往只能获取图像中特征物体的像素坐标。而在空间三维点计算时,我们也第一时间会想到深度相机(Kinect、Realsense等)、双目相机等。
  但是在实际中,我们亦可以通过单目相机来求得空间三维点,但这个往往有一个条件,已知特征物体的三个以上特征点参数。

在本章中,我们将使用二维码作为标志物,通过二维码四个角点,通过P4P求解相机的位姿及空间坐标。
特别说明:在本章以及未来的几篇博文中都将以右手坐标系为基准,Z轴垂直于二维码平面往里。

这里写图片描述
  
               二维码参数:长140mm,宽140mm

在求解时不一定要使用二维码,也可以用其它标志物代替,使用二维码的好处是,通过识别二维码内部的信息可以更精准的匹配以及识别,同时也能更容易的确定四个角点的顺序。
  
2.原理简介

bool solvePnP(InputArray objectPoints, InputArray imagePoints, InputArray cameraMatrix, InputArray distCoeffs, OutputArray rvec, OutputArray tvec, bool useExtrinsicGuess=false, int flags=ITERATIVE )

objectPoints:特征点的世界坐标,坐标值需为float型,不能为double型,可以为mat类型,也可以直接输入vector
  imagePoints:特征点在图像中的像素坐标,可以输入mat类型,也可以直接输入vector,注意输入点的顺序要与前面的特征点的世界坐标一一对应
  cameraMatrix:相机内参矩阵
  distCoeffs:相机的畸变参数【Mat_(5, 1)】
  rvec:输出的旋转向量
  tvec:输出的平移矩阵
  最后的输入参数有三个可选项:
  CV_ITERATIVE,默认值,它通过迭代求出重投影误差最小的解作为问题的最优解。
  CV_P3P则是使用非常经典的Gao的P3P问题求解算法。
  CV_EPNP使用文章《EPnP: Efficient Perspective-n-Point Camera Pose Estimation》中的方法求解。
  详见 solvepnp三维位姿估算

因此我们只要获得 特征点的世界坐标(三维坐标)、2D坐标(像素坐标)、相机内参矩阵、相机畸变参数矩阵 以上四个参数即可以解得相机与标志物之间的外参(R、T),并以此求得相机的世界坐标(以标志物为世界坐标平面,且原点为标志物已知某一点)。
3.输入参数准备

   在上一节中我们已知solvePnP需要输入四个参数,在这一节中,将介绍如何获得这四个参数。

3.1 objectPoints特征点世界坐标

   以特征点所在平面为世界坐标XY平面,并在该平面中确定世界坐标的原点,以我设计的二维码为例,我设定二维码的中心为世界坐标的原点,并按照顺时针方向逐个输入四个角点的世界坐标。

注意,输入一定要按照顺序输入

    m_markerCorners3d.push_back(cv::Point3f(-70.0f, -70.0f, 0));
    m_markerCorners3d.push_back(cv::Point3f(+70.0f, -70.0f, 0));    
    m_markerCorners3d.push_back(cv::Point3f(+70.0f, +70.0f, 0));
    m_markerCorners3d.push_back(cv::Point3f(-70.0f, +70.0f, 0));

3.2 imagePoints特征点在摄像头下的像素点坐标

   在这儿将获得四个特征点对应2D的像素点坐标,而这个过程你可以人为的从图像中逐个点获得,也可以通过二维码检测程序检测出,详见 PnP 单目相机位姿估计(三):二维码四个角点的检测

注意,这儿检测到的四个像素点的输入顺序要和输入的世界坐标的顺序相同
3.3cameraMatrix,distCoeffs内参矩阵和畸变矩阵

  我们这儿采用matlab的标定工具标定,(参考文章:matlab相机标定获取内参)。并形成以下矩阵输入solvePnP

camMatrix = (Mat_<double>(3, 3) << 598.29493, 0, 304.76898, 0, 597.56086, 233.34673, 0, 0, 1);
distCoeff = (Mat_<double>(5, 1) << -0.53572,1.35993,-0.00244,0.00620,0.00000);

4.相机世界坐标的求解

   在上一节中,我们准备好了四个参数,把这四个参数输入solvePnP中,即可获得求得的R旋转矩阵、T平移矩阵,拿到这两个矩阵的值,我们就可以获得许多我们想要的空间信息啦~

已知 Pc=R*Po+T
定义Pc为相机坐标系的点值,Po为世界坐标系的点值,R、T为世界坐标系和相机坐标系的相对外参。

而我们利用solvePnP解得的R和T正是相机坐标系和世界坐标系的相对外参。

注意,solvePnP返回的raux是旋转向量,可通过罗德里格斯变换成旋转矩阵R。
4.1求世界坐标中的点在相机坐标系下的坐标

    当Po=[0;0;0;]时,Pc=T即世界坐标原点(二维码的中心)在相机坐标系下的坐标就为T 

同样的道理,当我们已知一点的世界坐标Po,我们就可以求得Pc
4.2求相机在世界坐标中的坐标

   因为相机在相机坐标中相当于Pc=[0;0;0],故Po=-R’*T 即可解得相机在世界坐标系下的坐标 

其中R’为R的逆或者转置矩阵(R是正交矩阵,R的逆等于R的转置)
4.3效果(求解相机在世界坐标系下的坐标点):

这里写图片描述
4.4求解代码

        Marker& m = detectedMarkers[i];
        cv::Mat Rvec;
        cv::Mat_<float> Tvec;
        cv::Mat raux, taux;
 
        cv::solvePnP(m_markerCorners3d, m.points, camMatrix, distCoeff, raux, taux, false, CV_P3P);
 
        raux.convertTo(Rvec, CV_32F);    //旋转向量
        taux.convertTo(Tvec, CV_32F);   //平移向量
 
        cv::Mat_<float> rotMat(3, 3);
        cv::Rodrigues(Rvec, rotMat);  //由于solvePnP返回的是旋转向量,故用罗德里格斯变换变成旋转矩阵
 
        //格式转换
        Eigen::Matrix<float, Eigen::Dynamic, Eigen::Dynamic> R_n;
        Eigen::Matrix<float, Eigen::Dynamic, Eigen::Dynamic> T_n;
        cv2eigen(rotMat, R_n);
        cv2eigen(Tvec, T_n);
        Eigen::Vector3f P_oc;
 
        P_oc = -R_n.inverse()*T_n;

更多《计算机视觉与图形学》知识,可关注下方公众号:
在这里插入图片描述

PnP 单目相机位姿估计(三):二维码角点检测 解PnP问题时,用二维码的好处 二维码由黑白两色组成,容易通过对图像阈值处理而发现 二维码具有方向性(只要设计的不为中心对称),可以更好的辅助求解位姿 二维码具有可识别性,即可解析二维码内部黑白块的排列顺序,从而确定该二维码是否为我们所要用的二维码 二维码识别的流程 该流程以该二维码为例阈值处理,二值化操作 去掉二维码周围一圈,即保存为5*5的信息 计算5*5图像内的海明距离,和程序所设定要查找 阅读详情

相关推荐

PnP 单目相机位姿估计(二):solvePnP利用二维码求解相机世界坐标

前言 原理简介 输入参数准备 1 objectPoints特征点世界坐标 2 imagePoints特征点在摄像头下的像素点坐标 3cameraMatrixdistCoeffs内参矩阵和畸变矩阵 相机世界坐标的求解 1求世界坐标中的点在相机坐标系下的坐标 2求相机在世界坐标中的坐标 3效果求解相机在世界坐标系下的坐标点 4求解代码1.前言  很多时候,当我们利用单目相机获取图像时,往往只能获取图像中

cocoaqin的博客 5万+

相机标定+识别二维码+solvepnp解算位姿

现在已经知道标定相机是为了获得 内参矩阵和畸变系数,而获得内参矩阵和畸变系数是为了后面用opencv自带的函数solvepnp解算外参矩阵。4. 说明要链接的库,第一个是链接Zbar和opencv,第二个应该是链接跟ros有关的库,没有这个ros 的代码就会报错。1)size:标定棋盘格的内部角点个数,这里使用的棋盘一共有多少行,每行有个内部角点。把终端里的内参和畸变系数拷贝一下,放到一个自己建的txt文件里就可以了。可以看到这里就用到了我们之前标定相机的结果,即相机的内参和畸变系数。

Q_L_Y的博客 2554

PnP 单目相机位姿估计(一):初识PnP问题

简介 理解 更多 IDE:visual studio 2013 使用库:Eigen opencv2.4.9 文档版本:1.0简介   PnP问题是求解3D-2D点对运动的方法。他描述了当知道n个三维空间点坐标及其二维投影位置时,如何估计相机的位姿。我们可以想象,在一幅图像中,最少只要知道三个点的空间坐标即3D坐标,就可以用于估计相机的运动以及相机的姿态。   而特征点的空间坐标

cocoaqin的博客 5万+

(二)solvepnp 单目三维位姿估计--------利用二维码求解相机世界坐标

本文是通过相机拍摄二维码得到世界坐标和图像坐标点对,求解相机的姿态或目标(二维码)的姿态。 文章转自:https://blog.youkuaiyun.com/cocoaqin/article/details/77848588 博主代码:https://github.com/xukeqin/PnP 实现平台: IDE:visual studio 2013 使用库:Eigen opencv2.4.9 ...

c20081052的专栏 9111

别再手动标定了!用OpenCV3的solvePnP实现AR尺子:实时测量物体尺寸和距离

本文详细介绍了如何利用OpenCV3的solvePnP函数开发AR虚拟卷尺,实现实时物体测距与尺寸估算。通过相机标定、参照物设计和PnP求解等关键技术,开发者可以构建高效的AR测距系统,应用于室内设计、电商等场景,提升测量效率与精度。

weixin_33725722的博客 233

从坐标系对齐到实时定位:深入解析PnP与外参数矩阵的求解与应用

本文深入解析了PnP算法与外参数矩阵在坐标系对齐和实时定位中的应用。通过实际案例和代码示例,详细介绍了外参数矩阵的本质、PnP算法的实现及其在工业实践中的优化技巧,帮助开发者掌握从2D到3D的精准定位技术。

weixin_30736301的博客 313

三维坐标系旋转——旋转矩阵到旋转角之间的换算

相关文章: matlab相机标定获取内参 旋转矩阵到旋转角之间的换算 solvepnp 单目三维位姿估计--------利用二维码求解相机世界坐标 solvepnp 单目三维位姿估计--------理论 在做单目三维位姿估计(即估计目标物相对相机的姿态或相机相对目标物的姿态)时会用到solvepnp函数, 函数原型为: cv2.solvePnP(objectPoints, i...

c20081052的专栏 5万+

opencv (六十)单目位姿估计

我们可以想象,在一幅图像中,最少只要知道三个点的空间坐标即3D坐标,就可以用于估计相机的运动以及相机的姿态。而PnP常见的解法有 直接线性变换、P3P、BA等,在后续几篇博文中,将以基于opencv的solvepnp(P4P)同时借助简单的二维码QRcode来实现相机位姿的估计。因此,PnP方法不需要使用对极约束,又可以在很少的匹配点中获得较好的运动估计。而特征点的空间坐标,我们可以通过深度图来确定,亦可在程序初始化时,通过设定世界坐标系的方法解得。知识相对距离,因为有单位比例等,无法知道真正的距离;

程序员,他们想的是什么?他们想的永远都是技术,他们崇尚的也永远都是技术。 802

转:PnP 单目相机位姿估计(二):solvePnP利用二维码求解相机世界坐标

版权声明:本文转自博主cocoaqin原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 ...

Eric大江的博客 1793

Matlab PnP求解工具箱:集成SRPnP的工程化位姿估计方案

PnP(Perspective-n-Point)是计算机视觉中从2D-3D点对求解相机位姿的核心技术,其原理基于透视投影模型与非线性优化,技术价值在于以低计算开销实现高精度六自由度定位。在AR导航、机器人抓取、工业视觉引导等场景中,传统EPnP等算法易受尺度误差、内参偏差和离群点影响,导致重投影误差突增与位姿跳变。本方案聚焦Matlab平台,提供开箱即用的工程化PnP工具箱,核心集成SRPnP(Scale-Robust Perspective-n-Point)算法,将尺度因子显式建模为可优化变量,并通过交替

weixin_33404102的博客 308

自举电容的工作原理-3句话总结

1、一道面试题 照例,先抛出来一道面试题:“Buck电路的SW引脚通常会放置一颗小电容,这颗电容有什么用?”。这个问题问得比较细,非常考验被面试者的硬件基本功。 2、似懂非懂的答案 有小伙伴可能不太清楚这颗电容的作用,回答不上来。也有小伙伴脱口而出:自举电容,用来做升压的。但后面好像说不出来具体逻辑。 没具体了解过,答不上来,也没啥可惜的。但是了解过一点,但又似懂非懂的这种,给出的答案只是轻轻点水或者千篇一律,那无疑是错过了一个加分项。 3、异步Buck的自举环路组成 既然是针对Buck电路讲自举电容,前面

ltqdxl的博客 3万+

(一)solvepnp 单目三维位姿估计--------理论

相关文章: matlab相机标定获取内参 旋转矩阵到旋转角之间的换算 solvepnp 单目三维位姿估计--------利用二维码求解相机世界坐标 关于相机几个坐标系(图像,成像,相机,世界)之间的转换可参考本文, 转自:https://blog.youkuaiyun.com/KYJL888/article/details/81319422 PnP求解算法是指通过多对3D与2D匹配点,在已知...

c20081052的专栏 5566

如何根据芯片手册时序图编写驱动程序

如何根据芯片手册时序图编写驱动程序 对于电子开发者来说,刚刚拿到一个芯片,常用的芯片可以参考网上的例程来做深入了解,对于一个不常用的芯片来说,Datasheet几乎是使用芯片的唯一的资料,所以根据Datasheet时序图写出对应的驱动程序就尤为重要。 本文根据一个简单的例子来阐述根据时序图来编写对应的程序过程。旨在讲解对于初学者应该怎么利用芯片的时序图编写符合要求的底层驱动程序(老鸟请跳过)。 下载芯片的Datasheet,(个人常用http://www.21icsearch.com/)如..

weixin_36447711的博客 1万+

apriltags2_ros应用实践——如何用apriltags二维码输出相机位姿与轨迹

之前我们已经成功实现了在Realsense D435i的相机下,跑通apriltags2_ros,并发布一个可在RVIZ可视化的odometry topic,输出相机的位姿。接下来我们主要讨论如何利用这个位姿,将其转换到与VINS对齐的机器人坐标系下,并能够输出一个轨迹topic。

Manii 1万+

腾讯云智后台开发实习面试全纪录(已offer)

腾讯云智后台开发实习面经

wenwenaier的博客 5906

Matlab:imageDatastore() 高效读取图像数据集的实战技巧

本文详细介绍了Matlab中imageDatastore()函数的高效使用技巧,帮助用户从繁琐的手动读取图像数据集中解放出来。通过核心语法、关键参数(如IncludeSubfolders、LabelSource、ReadSize)的解析,以及数据集分割、打乱等进阶实战操作,指导读者构建稳定、高效的图像数据读取管道,特别适用于大型图像数据集处理和机器学习项目。

hill8的博客 1101

solvepnp详解

转载自:http://blog.youkuaiyun.com/aptx704610875/article/details/48915149 注意点1:solvePnP里有三种解法:P3P, EPnP,迭代法(默认);opencv2里参数分别为CV_P3P,CV_EPNP,CV_ITERATIVE (opencv3里多了DLS和UPnP解法)。 注意点2:solvePnP需要至少3组点:

flyyufenfei的博客 5万+

jemalloc实战:5分钟搞定C程序内存泄漏检测(附PDF报告生成技巧)

本文详细介绍了使用jemalloc的heap profiling功能快速检测C/C++程序内存泄漏的实战方法。通过预编译库和LD_PRELOAD注入,无需修改代码即可启动低开销剖析,并利用jeprof工具进行深度分析和生成可视化PDF报告,帮助开发者高效定位线上或开发环境中的内存问题。

i3j4k5的博客 229

单目相机姿态解算(OpenCV)

机器人,无人机三维姿态解算,求三维姿态欧式角,即俯仰角,偏航角,滚轮角,能用于机器人抓取物体。

chenmohousuiyue的博客 3万+

VS2022配置Qt6

VS2022配置QT教程

Life is a struggle ! 6364

手把手教你用STM32单片机DIY一个简易PLC(附完整电路图与PCB文件)

本文详细介绍了如何利用STM32单片机DIY一个简易PLC控制器,涵盖硬件设计、电路图解析、PCB布局优化及固件框架实现。通过完整的电路图和PCB文件,帮助读者从元器件选型到工业级优化,逐步构建可靠的PLC系统,特别适合工业自动化爱好者和学习者实践。

weixin_42527160的博客 576

相机位姿估计3:根据两幅图像的位姿估计结果求某点的世界坐标

关键词:相机位姿估计,单目尺寸测量,环境探知 用途:基于相机的环境测量,SLAM,单目尺寸测量 文章类型:原理说明、Demo展示 @Author:VShawn @Date:2016-11-28 @Lab: CvLab202@CSU 目录 《相机位姿估计0:基本原理之如何解PNP问题》 《相机位姿估计1:根据四个特征点估计相机姿态》 《相机位姿估计1_1:OpenCV:...

weixin_30436891的博客 1546

工业质检升级!C#上位机集成YOLOv8.3.138+Blob分析:尺寸测量+缺陷检测一步到位

工业场景的技术选型,从来不是“选最先进的”,而是“选最适配的”。这个项目的成功,不在于采用了多前沿的技术,而在于找对了“贴合场景的技术组合”和“落地导向的实施思路”。C#上位机的稳定性保障了系统长期运行,YOLOv8.3.138的精度解决了缺陷检测痛点,Blob分析的抗干扰能力确保了尺寸测量准确,三者结合实现了“1+1+1>3”的效果。先摸透场景,再选技术:不要盲目追求最新模型,先深入了解车间环境、生产节奏、精度要求,选择兼容性强、稳定性高的技术方案;数据质量决定模型性能。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 611
上一篇: Ubuntu18.04 安装 Anaconda3
下一篇: 科研从这里开始
元宇宙MetaAI
博客等级 码龄10年 331粉丝 333原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值