动态场景位姿估计与建图鲁棒性分析

已于 2023-03-20 00:34:41 修改
阅读量600 收藏 1
点赞数
分类专栏： # 3D Reconstruction 文章标签： 人工智能 深度学习 计算机视觉
于 2023-03-19 00:18:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m_buddy/article/details/129631124
版权
本文探讨了在使用SFM或SLAM时，如何处理动态场景中的运动目标，以提高位姿估计和场景重建的准确性。重点介绍了无监督视频目标分割方法MATNet、AMCNet和TMO，并提出基于深度和位姿warp校验的Dyna-DM算法，用于动态对象感知的自我监督单目深度映射，增强了算法的鲁棒性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 概述

使用SFM或者SLAM方法时，其前提假设是所处场景为静态的，也就是其中没有运动的物体。但这样的条件其实在实际中很多时候是不成立的，如道路场景，对此需要一种方法将场景中运动的目标从场景中区分出来。通常情况下会使用如语义分割或是实例分割的形式，抽取场景中固定目标的掩膜，之后从SFM方法中排除出去，从而避免这些运动目标给位姿估计和场景重建带来影响。但是这样的方法存在无法区分真实运动目标的能力，也就是对于属于具备行动能力，如车、人，也会存在静止的情况，一股脑直接从算法中排除出去也不具有合理性。而且语义分割和实例分割需要预先假定可移动目标的类别，不在这些类别中的运动物体是无法被探测到的。

对此，经过一些调研发现无监督视频目标分割（Unsupervised video object segmentation）与所期望的需求由一定关联性，在该类型方法也需要去分析视频数据中的主要运动目标，之后使用mask的形式进行描述，这与期望的效果一致。不过上述无监督视频目标分割在训练的过程中也并不是完全无监督的形式，也需要认为去确定需要分割的mask，这一点上与显著性目标分割有点类似，而运动信息（光流）就显得不是那么至关重要了。不过不管怎么说该类型方法也算是为解决运动目标问题提供一些思考。

此时（03.18.2023）暂就对无监督视频目标分割的一些方法研究，后续对场景中运动目标处理的方法或思路也将在这里进行更新。

03.20.2023更新：
对于运动的物体其属性是不满足相机位姿约束的，也就是在给定的深度值和位姿，经过warp变换之后运动目标的mask与真实图像运动目标的mask是存在

最低0.47元/天 解锁文章
传统的6d位姿估计fangfa1_6D位姿估计小结
weixin_39601929的博客
11-21 1081
6D位姿是什么？给定输入图片，6D位姿估计是估计从物体坐标系O到相机坐标系C的刚性转换，包括3D旋转R和3D平移T。其中，T决定物体在图片中的位置和比例，R根据物体的3D形状和表面纹理信息影响物体外观。6D位姿求解方法分类？根据输入数据的不同，大致分为3类：RGB图像输入；点云(point cloud)输入；RGB + 点云输入。基于RGB图片的6D位姿估计 对于RGB图片的输入，传统方法首先从输...
位姿估计
yangwangluoye的博客
11-28 6675
计算机视觉-位姿估计 1. 简述仿射变换和透视变换的基本概念，并用实例说明。 仿射变换： 计算机视觉中的仿射变换一般指：平移，比例缩放，旋转变换都是一种称为仿射变换的特殊情况。 仿射变换的性质： 1.仿射变换有6个自由度（对应变换中的6个系数：空间平移xyz，以及旋转变换三轴）应此仿射变换后互相平行直线仍然为平行直线，三角形映射后仍是三角形。但却不能保证将四边形上的多边形映射为等变数的多边形。 2...
PCL：刚性物体的位姿估计
qq_36418943的博客
11-01 1588
#include <Eigen/Core> #include <pcl/point_types.h> #include <pcl/point_cloud.h> #include <pcl/common/time.h> #include <pcl/console/print.h> #include <pcl/features/norm...
位姿估计_1
热门推荐
xueliang2007的博客
12-19 2万+
姿态估计（Pose estimation）在计算机视觉领域扮演着十分重要的角色。这里主要是求解相机和目标物体的相对位姿
相机位姿估计
weixin_46428351的博客
04-05 2371
相机位姿估计 今天，在查资料时发现一个博主的位姿估计分栏，里面的内容我觉得很实用，适合初学者，推荐给大家，也给自己留个记录，方便查阅。 1、相机位姿估计0：基本原理之如何解PNP问题 2、相机位姿估计1：根据四个特征点估计相机姿态 3、相机位姿估计1_1：OpenCV:solvePnP二次封装与性能测试 4、相机位姿估计2：[应用]实时位姿估计与三维重建相机姿态 5、相机位姿估计3：根据两幅图像的位姿估计结果求某点的世界坐标 6、子坐标系C在父坐标系W中的旋转问题 7.空间点绕轴旋转公式&程序(C+
基于已知位姿的建图方式.pdf
09-10
多次观测到同一特征可以改善位置估计，增强系统的鲁棒性。然而，这种方法依赖于有效的特征检测算法，并且对动态环境的适应性较弱。 3. **TSDF建图**： TSDF是一种时变的体素网格表示，用于记录空间中点相对于...
网络游戏-基于深度神经网络的视觉位姿估计方法研究.zip
09-19
10. 鲁棒性与适应性：游戏环境变化多样，模型需要具有一定的鲁棒性，能够适应光照变化、遮挡物等因素。此外，模型还应具备一定的泛化能力，即使面对未见过的场景也能准确估计位姿。 通过对这些知识点的深入理解和...
slam建图怎么做目标识别和位姿估计
最新发布
04-28
### SLAM建图中目标识别与位姿估计的方法及实现 #### 目标识别在SLAM中的应用 在SLAM（Simultaneous Localization and Mapping）系统中，目标识别是一个重要的组成部分，尤其是在语义SLAM领域。通过目标识别技术，...
SLAM中位姿估计的图优化方法比较
qq_29462849的博客
11-14 4061
A Comparison of Graph Optimization Approaches for Pose Estimation in SLAM作者：Andela Juric´, Fil...
对象检测和图像分割有什么区别？
小白学视觉
10-18 1670
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达01.人工智能中的图像预处理对象检测和图像分割是计算机视觉的两种方法，这两种处理手段在人工智能领域内...
相机位姿估计1：根据四个特征点估计相机姿态 随文Demo
11-20
相机位姿估计1：根据四个特征点估计相机姿态 随文Demo 使用opencv基于特征点估计位姿
3D+2D位姿估计
OscarMind的博客
11-07 1303
一、读取两帧图像，并获得特征点以及匹配后的特征点 Mat img_1 = imread ( argv[1], CV_LOAD_IMAGE_COLOR ); Mat img_2 = imread ( argv[2], CV_LOAD_IMAGE_COLOR ); vector<KeyPoint> keypoints_1, keypoints_2; v...
摄影测量中的计算机视觉之位姿估计(Pose estimation)
mrzkilin的博客
02-14 1421
位姿估计是已知一组世界坐标系3D点和其对应的图像坐标系下的2D点,去寻找他们之间转换关系. x=PX 已知x和X, 求P是位姿估计. 已知x,x’和P,P’,求X是Triangulation. 用数学表达式表达就是: x和X都是已知的,那么如何来估计P呢. 摄影测量一共涉及到三个坐标系,世界坐标系,相机坐标系(咱助教也叫它sensor coordinates),图像坐标系. 现在已知的是目标点在...
计算机视觉中的位姿估计
m0_57622077的博客
04-25 1万+
计算机视觉中的位姿估计1. 问题描述2. 2D-2D：对极几何3. 三角测量4. 3D-2D:PnP4.1 直接线性变换4.2 P3P 1. 问题描述 位姿估计在计算机视觉领域扮演着十分重要的角色。在使用视觉传感器估计机器人位姿进行控制、机器人导航、增强现实以及其它方面都有着极大的应用。位姿估计这一过程的基础是找到现实世界和图像投影之间的对应点。然后根据这些点对的类型，如2D-2D, 2D-3D, 3D-3D，采取相应的位姿估计方法。我们通常称把根据已知点对估计位姿的过程称为求解PnP。 2. 2D-2D：
视觉SLAM位姿估计（总结）
CG-SpatialAI
04-29 1万+
文章目录Features Based Method2D-2D: Epipolar Geometry3D-2D: PnPBundle Adjustment3D-3D: ICP线性代数方式Optical FlowLK光流分类讨论Direct Method参考文献 相关代码： pose_estimation in cggos/slam_park_cg Features Based Meth...
SLAM-基于深度学习的位姿估计
Asber的博客
06-19 1万+
最近老师要做无人车的位姿估计，所谓的位姿估计就是估计某一刻车子的三个方位角和三个旋转角数据，位姿估计在无人驾驶中十分重要，是视觉里程碑的底层算法实现。老师让我在下面的毕业论文中选择一篇详细看，然后后天给老师报告。 基于视觉里程计的无人驾驶车辆定位关键算法研究 南航 2017 基于单目视觉几何的智能车辆位姿估计 2018 浙大 基于道路标识牌的单目相机车辆位姿估计 2017 山东大学 基于深...
【位姿估计】几种位姿估计方法总结
weixin_40514381的博客
09-10 2701
几种在端侧设备上表现良好的位姿估计方法，包括FoundationPose、SAM6D、GigaPose以及PoseNet等，将详细介绍这些方法的开源代码、使用方法、优缺点以及如何部署到系统中
6D 位姿估计 位姿测量 常用方法总结 （适用于单目标场景）
Morty 的挖坑记录
12-03 4664
在机器人的应用中，往往会涉及到基于视觉的 6D 位姿估计或者位姿测量的问题，现在 Pose Estimation 的论文现在非常多，也有很大的创新，不过目前SOTA的工作一般面向几个特定的数据集，比如 LineMod，YCB，T-Less等等，主要面向复杂多目标场景。而在很多应用场景中，其实只涉及对单目标物体进行位姿测量，对于这种相对简单的场景，总结一下常用的基于视觉的方法： 1. 只用RGB： 目标上贴二维码ArUco Marker，结合相机内参求目标表面二维码的 6D 位姿 （2D - 3D） 2.
位姿估计 | 点特征空间目标位姿估计及其Python代码
lovetaozibaby的博客
06-16 2325
SUFT特征匹配主要包括2个阶段：第一阶段：SUFT特征的生成，即从多幅图像中提取对尺度缩放、旋转、亮度变化无关的特征向量。第二阶段：SUFT特征向量的匹配。特征点由关键点(Key-point)和描述子(Descriptor)两部分组成。关键点是指该特征点在图像里的位置，有些特征点还具有朝向、大小等信息。描述子通常是一个向量，按照某种人为设计的方式，描述了该关键点周围像素的信息。描述子是按照“外观相似的特征应该有相似的描述子”的原则设计的。
相机位姿估计icp
03-19
<think>好的，用户想了解或实现相机位姿估计中的ICP算法。首先，我需要明确ICP在计算机视觉中的作用。ICP，即迭代最近点算法，主要用于点云配准，通过最小化两点云之间的距离来估计刚体变换，比如相机的位姿变化。 接下来，我得回忆ICP的基本步骤：找对应点、计算变换矩阵、应用变换并迭代。可能需要详细解释每一步的具体操作，比如如何选择最近点，如何用SVD分解求解旋转和平移矩阵。 然后，用户可能关心如何将ICP应用到相机位姿估计中。通常，这需要两帧的点云数据，通过配准得到两帧之间的变换矩阵，即相机的相对位姿。这里要注意点云的来源，比如RGB-D相机获取的深度图生成点云，或者通过特征点匹配生成的3D点对。 用户可能需要具体的实现步骤或代码示例。Python示例代码会很有帮助，但要注意正确使用numpy进行矩阵运算，并展示如何迭代优化。同时，要指出ICP的局限性，比如依赖初始估计、容易陷入局部最优，以及对应的改进方法如点到面距离、颜色信息融合等。 还需要考虑相关的问题，比如ICP与其他算法（如PnP）的区别，如何加速ICP，处理动态物体等。这些可以作为相关问题部分的内容，帮助用户进一步学习。 在引用资料方面，检查已有的引用内容，看是否有相关文献支持。例如，引用[1]提到了实时相机位姿估计，引用[4]讨论了6DoF姿态估计网络，可能与ICP的应用场景或改进方法有关联，可以适当引用。 最后，确保回答结构清晰，符合用户的要求：使用正确的中文，LaTeX格式的数学公式，代码块用正确语法，相关问题部分覆盖常见疑问点。同时，语言要简洁，避免技术术语过多，但保持准确性。</think>### 相机位姿估计中的ICP算法 在计算机视觉中，**迭代最近点（Iterative Closest Point, ICP）算法**是用于点云配准的核心方法，通过最小化两个点云之间的距离来估计刚体变换（旋转矩阵$R$和平移向量$t$），进而实现相机位姿估计[^1]。 #### ICP算法步骤 1. **输入**： - 源点云$P = \{p_i\}$（当前帧） - 目标点云$Q = \{q_j\}$（参考帧） 2. **迭代过程**： - **步骤1：最近邻匹配** 对每个$p_i$，在$Q$中找到最近邻点$q_j$（通常通过KD树加速）。 - **步骤2：变换估计** 通过最小化对应点距离求解最优刚体变换$(R, t)$： $$ \min_{R,t} \sum_{i} ||R \cdot p_i + t - q_j||^2 $$ 通常使用**奇异值分解（SVD）**求解： - 计算质心：$\mu_p = \frac{1}{N}\sum p_i$，$\mu_q = \frac{1}{N}\sum q_j$ - 协方差矩阵：$H = \sum (p_i - \mu_p)(q_j - \mu_q)^T$ - 对$H$进行SVD分解：$H = U \Sigma V^T$，则$R = V U^T$，$t = \mu_q - R \mu_p$ - **步骤3：应用变换** 更新$P$：$P' = R \cdot P + t$ - **步骤4：收敛判断** 若误差变化小于阈值或达到最大迭代次数，停止迭代。 #### 实现示例（Python伪代码） ```python import numpy as np def icp(source, target, max_iter=50, tolerance=1e-5): R = np.eye(3) # 初始旋转矩阵 t = np.zeros(3) # 初始平移向量 prev_error = 0 for _ in range(max_iter): # 1. 最近邻匹配（需KD树优化） correspondences = [find_nearest_neighbor(p, target) for p in source] # 2. 计算变换 H = np.sum([np.outer((p - mu_p), (q - mu_q)) for p, q in correspondences], axis=0) U, _, Vt = np.linalg.svd(H) R_new = Vt.T @ U.T if np.linalg.det(R_new) < 0: Vt[-1,:] *= -1 R_new = Vt.T @ U.T t_new = mu_q - R_new @ mu_p # 3. 更新变换 source = (R_new @ source.T).T + t_new R = R_new @ R t = R_new @ t + t_new # 4. 检查收敛 error = np.mean([np.linalg.norm(p - q) for p, q in correspondences]) if abs(prev_error - error) < tolerance: break prev_error = error return R, t ``` #### 关键改进与挑战 1. **加速匹配**：使用KD树或近似最近邻（ANN）优化搜索效率[^2]。 2. **鲁棒性增强**： - **剔除异常值**：RANSAC或基于距离阈值的过滤。 - **点到面距离**：优化点到局部平面的距离而非点到点[^4]。 3. **初始值依赖**：需结合其他方法（如PnP）提供初始位姿估计。 #### 应用场景 - **SLAM系统**：实时定位与建图（如RGB-D SLAM） - **3D重建**：多视角点云对齐 - **自动驾驶**：LiDAR点云配准
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值