PnP 单目相机位姿估计（一）：初识PnP问题

最新推荐文章于 2024-11-19 09:23:46 发布
原创 最新推荐文章于 2024-11-19 09:23:46 发布 · 5w 阅读 · 247 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#三维 #pnp #opencv #单目测距 #位姿

本文介绍了PnP问题，即在已知3D点及其2D投影时求解相机位姿的问题。通过解析当特征点数量分别为1、2、3及更多时的解的情况，阐述了PnP方法的重要性和解法，如DLT、P3P、BA等。后续文章将基于OpenCV的solvePnP利用二维码进行相机位姿计算。

IDE：visual studio 2013
使用库：Eigen opencv2.4.9
文档版本：1.1

简介

　　PnP问题是求解3D-2D点对运动的方法。他描述了当知道n个三维空间点坐标及其二维投影位置时，如何估计相机的位姿。我们可以想象，在一幅图像中，最少只要知道三个点的空间坐标即3D坐标，就可以用于估计相机的运动以及相机的姿态。

　　而特征点的空间坐标，我们可以通过深度图来确定，亦可在程序初始化时，通过设定世界坐标系的方法解得，具体请看后篇几篇博文。

　　因此，PnP方法不需要使用对极约束，又可以在很少的匹配点中获得较好的运动估计。是一种重要的姿态估计方法。

　　而PnP常见的解法有 直接线性变换、P3P、BA等，在后续几篇博文中，将以基于opencv的solvepnp（P4P）同时借助简单的二维码QRcode来实现相机位姿的估计。

理解

以下讨论中设相机位于点Oc，P1、P2、P3……为特征点。

当N=1时
　　当只有一个特征点P1，我们假设它就在图像的正中央，那么显然向量OcP1就是相机坐标系中的Z轴，此事相机永远是面对P1，于是相机可能的位置就是在以P1为球心的球面上，再一个就是球的半径也无法确定，于是有无数个解。

当N=2时
　　现在多了一个约束条件，显然OcP1P2形成一个三角形，由于P1、P2两点位置确定，三角形的变P1P2确定，再加上向量OcP1，OcP2从Oc点射线特征点的方向角也能确定，于是能够计算出OcP1的长度=r1，OcP2的长度=r2。于是这种情况下得到两个球：以P1为球心，半径为r1的球A；以P2为球心，半径为r2的球B。显然，相机位于球A，球B的相交处，依旧是无数个解。

当N=

最低0.47元/天 解锁文章
单目相机位姿估计：PNP算法原理与实践
WzisTypescript的博客
09-24 1815
其中，PNP算法是一种常用的解决方案，可以通过已知的3D点与它们在图像中对应的2D点来计算相机的位姿。其中，PNP算法是一种常用的解决方案，可以通过已知的3D点与它们在图像中对应的2D点来计算相机的位姿。其中，s是尺度因子，u是2D点在图像平面上的坐标，K是相机内参矩阵，R是旋转矩阵，T是平移向量，P是3D点在世界坐标系下的坐标。其中，s是尺度因子，u是2D点在图像平面上的坐标，K是相机内参矩阵，R是旋转矩阵，T是平移向量，P是3D点在世界坐标系下的坐标。函数来估计相机的位姿，其中的。
SLAM面试笔记(1) -《视觉SLAM十四讲》
几度春风里的博客
03-05 3367
本内容以《视觉SLAM十四讲》为参考资料，对可能出现的面试题进行汇总，同时也可以帮助复习。
PnP 单目相机位姿估计（二）：solvePnP利用二维码求解相机世界坐标
热门推荐
cocoaqin的博客
09-05 5万+
前言 原理简介 输入参数准备 1 objectPoints特征点世界坐标 2 imagePoints特征点在摄像头下的像素点坐标 3cameraMatrixdistCoeffs内参矩阵和畸变矩阵 相机世界坐标的求解 1求世界坐标中的点在相机坐标系下的坐标 2求相机在世界坐标中的坐标 3效果求解相机在世界坐标系下的坐标点 4求解代码1.前言　　很多时候，当我们利用单目相机获取图像时，往往只能获取图像中
相机姿态估计（一）--PnP
工作笔记
07-26 4万+
PnP（pespective-n-point）问题，就是已知的n个空间3D点与图像2D点对应的点对，计算相机位姿、或者物体位姿，二者是等价的。 有个通俗，但很有用的解释： 以下讨论中设相机位于点Oc，P1、P2、P3……为特征点。 Case1：当N=1时 当只有一个特征点P1，我们假设它就在图像的正中央，那么显然向量OcP1就是相机坐标系中的Z轴，此事相机永远是面对P1，于是相机可能的位...
实时计算标靶位姿
Logan_Lin的博客
03-07 1296
 之前有段时间在做相机标定的实验，用单目相机来获得标靶的位姿，需要用到Opencv中solvePnP这个函数，现在还没有想到要用这个结果来做什么，仅仅是做了一个Demo。实验程序中使用了线程，但自己对线程的理解和使用并不是很深刻，所以在程序中偶尔出现Bug，如反复点击打开摄像头、关闭摄像头，偶尔会出现内存泄漏，但具体原因和如何修改目前还不清楚。麻烦知道的请在下面留言，不甚感激。下面为Demo的部分...
PnP位姿估计matlab工具包
09-03
最新的位姿估计工具箱，对应文献为：Very Fast Solution to the PnP Problem with Algebraic Outlier Rejection。PnP问题是计算机视觉中非常基础的经典问题，可以用来测量目标的三维位置姿态。
位姿估计之PnP算法
feng_float的博客
01-27 2万+
最近实验室学习安排是了解Pnp问题解法，于是就在网上找了各种文章学习，在此进行总结，给我卷！！！ 1.什么是PnP问题？ ​​​​​​PnP(全称Perspective-n-Points)，指3D到2D点对的物体运动定位问题，即已知物体在世界坐标系下的坐标，以及物体在相机的图像平面的像素坐标，求解相机的位姿（六个自由度，位置坐标和三个方向角）。 2.PnP问题的可解性 知道了PnP问题后，就要讨论n在不同取值下的可解性了。 case1： ...
单目姿态估计
light169的专栏
04-20 978
单目视觉深度估计测距的前生今世 自动驾驶中单目摄像头检测输出3-D边界框的方法一览 CVPR2019论文解读：单眼提升2D检测到6D姿势和度量形状ROI-10D: Monocular Lifting of 2D Detection to 6D Pose and Metric Shape 本文提供了基于端到端单目3D目标检测和度量形状检索的深度学习方法。为了在3D中提升2D检...
VSLAM学习(三) 单目相机位姿估计
littlefrogyq的博客
12-02 1892
一、对极几何约束 相机在不同位姿拍到世界中同一个路标，会有不同的成像位置，如下图所示 世界路标P\boldsymbol PP，在相机两个不同位姿所拍到的帧I1,I2\boldsymbol I_1,\boldsymbol I_2I1​,I2​中，分别投影在了p1,p2\boldsymbol p_1,\boldsymbol p_2p1​,p2​两点。 这两帧时刻，相机的坐标中心点分别为C1,C2\boldsymbol C_1,\boldsymbol C_2C1​,C2​ e1,e2\boldsymbol e_
PNP问题-位姿估计方法梳理（pose estimation）
DC
06-28 6793
- 单目视觉 - 位姿测量 目标3D精确模型已知（建立2D-3D对应关系）： 点特征 P3P问题 基于针孔成像模型 Gao的方法（opencv emgucv） Kneip 的 P3P 算法 直接线性变换 （DLT） EP3P（王平） 通用相机模型 （GID） 用在基于鱼眼镜.
PnP 单目相机位姿估计（三）：二维码角点检测
cocoaqin的博客
09-07 1万+
解PnP问题时，用二维码的好处 二维码由黑白两色组成，容易通过对图像阈值处理而发现 二维码具有方向性（只要设计的不为中心对称），可以更好的辅助求解位姿 二维码具有可识别性，即可解析二维码内部黑白块的排列顺序，从而确定该二维码是否为我们所要用的二维码 二维码识别的流程 该流程以该二维码为例阈值处理，二值化操作 去掉二维码周围一圈，即保存为5*5的信息 计算5*5图像内的海明距离，和程序所设定要查找
单目视觉的位姿估算算法
11-22
单目视觉的位姿估算算法 matlab代码 基于位姿估算正交迭代的算法，有test程序和主程序，test中可以比对估算的精度
单目摄像头实现实时3D位姿估计
01-06
Real-time 3D Pose Estimation with a Monocular Camera Using Deep Learning and Object Priors On an Autonomous Racecar 背景 三维物体投影在平面上会失去一个维度，即不知道物体的距离。但是，有了三维物体的先验信息，我们可以知道三维物体的距离 To this end, we propose a low-latency real-time pipeline to detect and estimate 3D position of multiple objects of interest
相机位姿估计1：根据四个特征点估计相机姿态 随文Demo
11-20
相机位姿估计1：根据四个特征点估计相机姿态 随文Demo 使用opencv基于特征点估计位姿
视觉SLAM十四讲学习笔记-第七讲-视觉里程计-PnP和实践
weixin_36773706的博客
03-10 4191
专栏汇总 视觉SLAM十四讲学习笔记-第一讲_goldqiu的博客-优快云博客 视觉SLAM十四讲学习笔记-第二讲-初识SLAM_goldqiu的博客-优快云博客 视觉SLAM十四讲学习笔记-第二讲-开发环境搭建_goldqiu的博客-优快云博客 视觉SLAM十四讲学习笔记-第三讲-旋转矩阵和Eigen库_goldqiu的博客-优快云博客 视觉SLAM十四讲学习笔记-第三讲-旋转向量、欧拉角、四元数_goldqiu的博客-优快云博客 视觉SLAM十四讲学习笔记-第三讲-相似、仿射、..
OpenCV4读书笔记day11：单目位姿估计
小勇博客
03-08 2905
一.单目位姿估计   根据相机成像模型，如果已知相机的内参矩阵、世界坐标系中若干空间点的三维坐标和空间点在图像中投影的二维坐标，那么可以计算出世界坐标系到相机坐标系的旋转向量和平移向量。如图所示，当知道点ci在世界坐标系下的三维坐标和这些点在图像中对应点的二维坐标时，结合相机的内参矩阵和畸变系数，就可以计算出世界坐标系变换到相机坐标系的旋转向量和平移向量。   在这种情况下，可以估计相机在世界坐标系中的位姿。如果将世界坐标系看成前一时刻的相机坐标系姿态，ci在世界坐标系下的三维坐标看成ci在前一时刻相机坐
视觉SLAM笔记--第7篇: 单目相机位姿估计流程
w风的季节-博客
05-09 5341
单目相机位姿估计流程整体流程1. 坐标系变换2. 对极约束3. 单目初始化4. 三角测量5. 求解空间3D坐标6. 最小化重投影误差 整体流程 1. 坐标系变换 已知：匹配的像素点对(u,v)，(u′,v′)(u,v)，(u^{'},v^{'})(u,v)，(u′,v′)，相机内参矩阵KKK 求解：相机归一化坐标(X′,Y′,1)(X^{'},Y^{'},1)(X′,Y′,1) 通过相机与像素间的坐标变换关系，可以得到下面公式： [uv1]=[fx0cx0fycy001][X′Y′1] \left[
视觉SLAM十四讲学习5 位姿估计（4）PNP方法，DLT，P3P
qq_41035283的博客
12-25 2570
视觉SLAM十四讲学习5 位姿估计（4）PNP方法，DLT，P3P，BA前言PnPDLTP3P 前言 上篇记录了本质矩阵，基础矩阵，单应矩阵的求解。 本篇学习3D-2D点的匹配方法PnP(Perspective-n-Point)，DLT，P3P。 PnP 已知某相邻帧之间匹配点的2D和3D坐标（世界坐标），求当前的位姿，称为PnP。 在这里，已知匹配点的3D坐标往往是上一帧的点坐标，2D坐标是当前帧与上一帧匹配到的点坐标。 DLT 直接线性变换(DLT)是直接通过相机运动模型求解。假设P是3D点，P’是2D
推导到实践， PnP求解相机位姿
weixin_41776963的博客
11-19 2811
一旦匹配好的点确定后，接下来就是估计相机的运动。此篇主要是讲第3种，以实践为主，对原理只作必要的简单解释：一，因为这块的某些概念比较复杂，如果深究会涉及到多视角几何学以及矩阵论的相关内容，很多人其实对这个的知识储备不够，初学者很容易淹没其中，迷失方向；二是，这里面的很多实现，OpenCV已经封装好了，初学者直接调用相关函数即可。
单目相机位姿估计
最新发布
05-11
### 单目相机位姿估计方法与实现 单目相机位姿估计的核心目标是确定相机相对于世界坐标系的位置和姿态。这一过程通常依赖于已知的三维空间点与其在图像平面上对应的二维投影点之间的关系[^3]。 #### PnP问题概述 PnP（Perspective-n-Point）问题是解决单目相机位姿估计的主要途径之一。该问题描述了当给定一组三维空间点及其对应二维图像平面投影点时，如何估计相机的外参矩阵（旋转和平移）。理论上，至少需要三个不共线的3D-2D点对才能唯一确定相机的位姿[^2]。 #### OpenCV中的`solvePnP`函数 OpenCV提供了强大的工具来处理PnP问题，其核心函数为`solvePnP`。此函数接受输入参数包括： - `objectPoints`: 已知的世界坐标系下的3D点集合。 - `imagePoints`: 对应的像素坐标系下的2D点集合。 - `cameraMatrix`: 相机内参矩阵。 - `distCoeffs`: 镜头畸变系数。 返回的结果为相机的旋转向量（Rodrigues形式）和平移向量。以下是基于OpenCV的一个简单代码示例： ```cpp #include <opencv2/opencv.hpp> #include <vector> int main() { std::vector<cv::Point3f> objectPoints = {cv::Point3f(0, 0, 0), cv::Point3f(1, 0, 0), cv::Point3f(0, 1, 0)}; std::vector<cv::Point2f> imagePoints = {cv::Point2f(100, 100), cv::Point2f(200, 100), cv::Point2f(100, 200)}; cv::Mat cameraMatrix = (cv::Mat_<double>(3, 3) << 500, 0, 320, 0, 500, 240, 0, 0, 1); cv::Mat distCoeffs = cv::Mat::zeros(5, 1, CV_64F); cv::Mat rvec, tvec; cv::solvePnP(objectPoints, imagePoints, cameraMatrix, distCoeffs, rvec, tvec); // 将旋转向量转换为旋转矩阵 cv::Mat rotationMatrix; cv::Rodrigues(rvec, rotationMatrix); std::cout << "Rotation Matrix:\n" << rotationMatrix << "\n"; std::cout << "Translation Vector:\n" << tvec << "\n"; return 0; } ``` 这段代码展示了如何使用`solvePnP`函数计算相机的旋转和平移向量，并将其转化为更直观的形式以便后续分析[^3]。 #### 利用二维码进行位姿估计 除了手动指定3D-2D点对外，还可以借助特定标记物简化流程。例如，二维码因其结构化特性成为一种理想的选择。通过检测二维码四个顶点并映射到预定义的3D模型上，可以快速构建所需的3D-2D点对集[^1]。 --- ###
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值