图像三维重建专题第一期-综述

KinectFusion:RGBD深度相机在高精度三维重建中的经典应用 算法核心在于维护一个场景的(如图1所示,volume可以想象为一个空间包围盒,由多个voxel(体素)组成,其中包含了我们想要重建的场景),通过把当前视角下拍摄的局部场景的点云和颜色不断融合进该volume内,完成对场景的各视角覆盖和补全,最后从中提取网格及颜色即完成了三维重建。图1.示意。 阅读详情

        三维重建(3D Reconstruction)技术一直是计算机图形学和计算机视觉领域的一个热点课题。早期的三维重建技术通常以二维图像作为输入,重建出场景中的三维模型。但是,受限于输入的数据,重建出的三维模型通常不够完整,而且真实感较低。随着各种面向普通消费者的深度相机(depth camera)的出现,基于深度相机的三维扫描和重建技术得到了飞速发展。以微软的Kinect,华硕的XTion以及因特尔的RealSense等为代表的深度相机造价低廉,体积适当,操作方便,并且易于研究者和工程师进行开发。三维重建技术也是增强现实(Augmented Reality,简称AR)技术的基础,经过扫描重建后的三维模型可以直接应用到AR或VR的场景中。本文将简单介绍基于深度相机的三维重建技术的基本原理及其应用。

三维重建

       简单地说,三维重建就是从输入数据中建立3D模型。其中,在面向消费者层面的深度相机出现以前,三维重建技术的输入数据通常只有RGB图像(图1左)。通过对物体的不同角度拍摄的RGB图像,使用相关的计算机图形学和视觉技术,我们便可以重建出该物体的三维模型。不过,早期的三维重建技术得到的模型精度往往较低,且技术的适用范围有限。消费者层面的深度相机的出现为三维重建技术提供了深度图像(depth image)数据,大大降低了重建的难度,并使得三维重建技术可以应用到几乎任何现实场景中(图1右)。由于基于深度相机的三维重建技术所使用的数据是RGB图像和深度图像,因此,这类技术通常也被称为基于RGBD数据的三维重建技术(D指代depth)。

图1:基于RGB图像的三维重建,以及基于RGB图像和深度图像的三维重建

深度值和三维数据

        在介绍基于深度相机的三维重建技术之前,首先需要了解深度图像中的数据的具体含义。对于现实场景中的点,深度相机扫描得到的每一帧数据不仅包括了场景中的点的彩色RGB图像,还包括每个点到深度相机所在的垂直平面的距离值。这个距离值被称为深度值(depth),这些深度值共同组成了这一帧的深度图像(图1右)。也就是说,深度图像可以看做是一副灰度图像,其中图像中每个点的灰度值代表了这个点的深度值,即该点在现实中的位置到相机所在垂直平面的真实距离。图2简单说明了RGB图像和深度图像的关系。

图2: RGB图像和深度值

        如图所示,对于现实场景中点M,深度相机能够获取其在RGB图像中的成像点XM,以及M到相机所在的垂直平面(即XY平面)的距离,这个距离便是M的深度值。以相机位置为原点,相机所朝方向为Z轴,相机的垂直平面的两个轴向为X、Y轴,可以建立相机的局部三维坐标系。另外,RGB图像到相机位置的距离正是相机的焦距。通过这些数据并使用简单的三角几何公式,我们很容易得到M在相机的局部坐标系中的三维坐标。于是,RGB图像中的每个点,都会对应一个在相机的局部坐标系中的三维点。因此,深度相机的每一帧的深度图像就相当于一个在相机的局部三维坐标系中的点云模型。

基于深度相机的三维重建的核心问题

        如果输入的RGBD数据只有一帧,那么只需要把这一帧对应的点云模型作为重建的模型输出即可。不过,通常的深度相机的帧率(FPS)普遍较高,所带来的数据量是非常庞大的。以微软的Kinect v1为例,其FPS=30,即1秒钟扫描30帧,也就是1秒钟便可得到30张RGB图像和30张深度图像。每一帧图像的分辨率通常是640x480,那么在短短的1秒钟,深度相机得到的点云的点的个数是640x480x30=9216000。那么,如何在重建过程中处理如此庞大的数据?另外,深度相机所得到的深度数据是存在误差的,即使相机位置固定,现实场景中的点在不同帧中的深度值也会有区别 。也即是说,对于每一个现实中的点,在扫描过程中会得到众多“测量值”位置。那么,如何估计点的最终位置?这个问题可以被称为“从大数据中建立模型”问题(图3)。

图3: 已知多角度拍摄的庞大的RGBD数据,如何获取重建模型(图片来自[1])

        除了上述问题外,重建过程中还有一个关键性问题——相机位置的估计。首先,为什么需要估计相机位置?通过本文之前内容讲述的深度值的原理可知,每一帧深度图像对应的点云模型是在相机的局部三维坐标系中。因此,不同的相机位置(即不同帧)便对应着不同的局部三维坐标系(local space/coordinate frame)。然而,重建后的模型需要坐落在一个坐标系,即世界坐标系或全局坐标系(world/global space/coordinate frame)中。于是,我们需要找到每一帧的相机局部坐标系同世界坐标系的位置关系,也就是确定每一帧中相机在世界坐标系中的位置(图4)。在计算机视觉和智能机器人领域,这个问题是经典的“同步定位与地图构建”(Simultaneous localization and mapping,简称SLAM)中的定位问题:机器人在未知环境中,如何通过获取的周围环境的数据来确定自己所在的位置。

图4: 如何估计不同帧中的相机位置

相机位置的估计

       给定每一帧输入的RGBD数据,我们需要估计相机在世界坐标系中的位置。通常我们会把第一帧的相机位置当做是世界坐标系的原点,于是,我们需要估计的便是相机在此后每一帧相对于第一帧的位置的转移矩阵(transformation matrix)。使用数学语言描述是:在给定了第k-1帧重建的模型以及转移矩阵Tw,k-1,还有第k帧的输入RGBD数据,估计出第k帧的转移矩阵Tw,k(图5)。这里的w下标指代世界坐标系world,k是帧的编号,k>1。

图5: 估计新的一帧的转移矩阵

        Newcombe 等人于2011年提出的三维重建的经典方法KinectFusion[1] 使用了迭代最近点(Iterative closest point,简称ICP)方法来解决以上问题。给定输入的原始数据(source)和目标数据(target),以及两者的数据点之间的对应关系(correspondence),ICP计算得到原始数据和目标数据之间的转移矩阵,该矩阵使得所有的目标数据点到其对应的原始数据点所在的切平面的距离之和最小(图6)。使用数学公式这个目标函数是:

 

这里的si和di是原始数据点和对应的目标数据点,ni是si所在的切平面的法向量(图6右)。

图6: ICP所实现的效果示意图以及相关参数的含义

       为了给ICP算法找到合适的对应点,KinectFusion方法简单的将目标数据点——第k帧的数据点(图5中的黄色点)——通过转移矩阵Tw,k-1投影到原始数据点——第k-1帧的点(图5中的红色点),然后将两者作为对应相互对应的点。依照这种对应关系的ICP算法的最大优点是速度快,并且在扫描帧率较大,相邻两帧差别很小的情况下的精度很高。在估计了第k帧的转移矩阵后,将其作用到第k帧的在相机的局部坐标系的数据中,便可得到在全局坐标系中的数据。图7展示了典型的从输入数据(a),到估计相机位置并作用到数据上(b),然后到最终的优化之后的重建模型(c)的流程。

图7: 新的一帧数据的处理流程

       KinectFusion中的ICP方法仅仅使用了三维空间中的数据,并未考虑到RGB数据信息。另外,ICP必须要建立在扫描帧率较大,相邻两帧差别很小的前提下。因此,这种估计相机位置的方法存在较大的局限性,尤其是对存在较大平面的场景(如墙面、天花板和地板等)时,这种估计方法会带来很大的误差。KinectFusion之后的科研工作者们也提出了一些改进方法。例如,在估计相机位置时,同时考虑RGB信息和三维信息,并建立新的目标函数来进行优化[2]。另外,使用已定义好的模型来模拟代替较大平面的物体[3],可以很好的排除掉这类物体所带来的扰动。不过,考虑到实时性和稳定性,这种基于ICP的框架依然是非常经典且最常见的估计相机位置的方法。

从大数据中建立模型

        从上文以及图7(c)可以看出,在估计了相机位置后,我们需要把新一帧第k帧的数据同已有的第k-1帧的模型数据结合起来,以输出优化后的模型。这其实就是本文在前面介绍的问题:对于每个现实场景中的点,如何从该点的众多“测量值”位置中估计出最终位置?

这里继续讲述经典的KinectFusion中所采用的方法。KinectFusion在世界坐标系中定义了一个立方体,并把该立方体按照一定的分辨率切割成小立方体(voxel)。以图8上为例所示,图中定义了一个3x3x3米的立方体,并把立方体分为不同分辨率的小立方体网格。也就是说,这个大立方体限制了经过扫描重建的模型的体积。然后,KinectFusion使用了一种称为“截断有符号距离函数”(truncated signed distance function,简称TSDF)的方法来更新每个小网格中的一个数值,该数值代表了该网格到模型表面的最近距离,也称为TSDF值(图8下)。对于每个网格,在每一帧都会更新并记录TSDF的值,然后再通过TSDF值还原出重建模型。例如,通过图8下两幅图中的网格的TSDF数值分布,我们可以很快还原出模型表面的形状和位置。这种方法通常被称为基于体数据的方法(Volumetric-based method)。该方法的核心思想是,通过不断更新并“融合”(fusion)TSDF这种类型的测量值,我们能够 越来越接近所需要的真实值。

图8: KinectFusion的立方体网格形式以及TSDF

        KinectFusion中TSDF的更新方法核心思想就是简单的对所有的测量值加权平均的过程。这种更新方式效率高,对于保证实时三维重建非常有必要。基于体数据的方法简单直观,而且容易使用并行计算实现,因此可以极大的增加扫描和重建效率。另外, 使用计算机图形学中的网格生成相关方法(例如MarchingCubes),我们可以很容易从这种体数据的结构中生成三角网格模型,这对于进一步的研究和渲染非常重要。不过,这种方法也有很大缺点。例如,KinectFusion这种基于体数据的方法提前已经限定了扫描空间(例如图8上的3x3x3米),超过这个空间的显示场景的物体将无法重建,这是因为定义立方体和网格需要的内存空间非常大 。这就意味着,KinectFusion无法用来扫描大范围空间。另外,立方体中的所有的网格中的TSDF都需要记录,即便这个网格在现实场景中根本没有点,这就造成了极大的内存空间的浪费,并限制了扫描范围。针对这些问题,KinectFusion之后的科研工作者们也提出了一些改进方法。例如,一种移动式的体数据网格(moving volume)方法可以不断移动定义好的网格模型到新的场景中,并不断输出已经重建好的模型到本地空间中,从而能够无限扩展扫描空间[4](图9)。另外,一些重建方法使用了点云的数据结构来代替体数据结构,在重建过程中不断把密集的点云数据融合成一定密度的点云[5]。这种方式不需要存储场景中的并不存在的点,因此能够节省大量空间以扩大扫描范围。

图9: 移动体数据网格的三维重建方法

更多《计算机视觉与图形学》知识,可关注下方公众号:
在这里插入图片描述

参考文献

[1] Newcombe, Richard A., et al. "KinectFusion: Real-time dense surface mapping and tracking." Mixed and augmented reality (ISMAR), 2011 10th IEEE international symposium on. IEEE, 2011.

[2] Whelan, Thomas, et al. "Real-time large-scale dense RGB-D SLAM with volumetric fusion." The International Journal of Robotics Research 34.4-5 (2015): 598-626.

[3] Zhang, Yizhong, et al. "Online structure analysis for real-time indoor scene reconstruction." ACM Transactions on Graphics (TOG) 34.5 (2015): 159.

[4] Roth, Henry, and Marsette Vona. "Moving Volume KinectFusion." BMVC. 2012.

[5] Whelan, Thomas, et al. "ElasticFusion: Dense SLAM without a pose graph."Proc. Robotics: Science and Systems, Rome, Italy (2015).

 

基于ORB_SLAM2的可见光结合红外的定位及建图 基于ORB_SLAM2的可见光结合红外的定位及建图 一、论文题目:《Visual Search Based Indoor Localization in Low Light via RGB-D Camera》 作者:Yali Zheng, Peipei Luo, ShinanChen, Jiasheng Hao, Hong Cheng 适应场景:低光照条件下室内场景 解决问题:1)移动平台上的室内定位问题;2)在DBOW框架中融合2D红外特征及3D深度特征来提高匹配结果 框架: A. 图像预处理 首先,利 阅读详情

相关推荐

深度相机 物体三维重建_基于深度相机的实时物体三维重建方法与流程

本发明涉及三维成像领域,特别是一种能够实时地对物体或人体进行三维重建的方法。背景技术:三维重建技术一直是计算机图形学和计算机视觉领域的热点课题。三维重建就是从输入数据中建立3D模型。随着各种面向普通消费者的深度相机的出现,基于深度相机的三维扫描和重建技术得到了飞速发展。对于现实场景中的点,深度相机扫描得到的每一帧数据不仅包括了场景中的点的彩色RGB图像,还包括每个点到深度相机所在的垂直平面的距离值...

weixin_28928039的博客 3906

【3D视觉】深度摄像头与3D重建

大家在上图可以看到,Kinect两端有两个3D深度摄像头,左边那个发射红外线,右边那个是一个红外线感应器,它负责感应发射出来的红外线的方位和强度,由此来获取物体与Kinect之间的深度信息(个人感觉类似声纳和蝙蝠的识别系统),然后再根据中间的一个RGB摄像头,三个摄像头配合构建出了Kinect的图像识别的检测。D435在深度传感器上采用卷帘快门,可提供最高的每度深度质量。,它的分辨率是前代产品的3倍,而体型是前代的十分之一,环境光的检测性能是前代的50倍,可以在日光下工作。...

AI知识搬运工 2213

基于图像的三维重建研究

前言 三维重建,顾名思义就是对现实世界中的三维物体用计算机来进行模拟。目前主流的有两种手段:采用红外设备对物体进行测距、 基于多张有关待测物体的二维图像进行三维重建。由于前者需要红外设备,成本比较昂贵且不易操作,但是随着计算机视觉以及硬件的发展, 基于图像的三维重建正慢慢走入实际应用中。本博文主要讲的是后者基于图像的三维重建实现流程。 基于图像的三维重建,一般分为三个步骤:稀疏重建、密集重...

liu14lang的博客 2万+

tof深度camera三维重建

将自己的RGB数据放在image文件夹中,Depth数据放在depth文件夹中,然后把它们放到同一个文件夹下命名picture(自己随意命名),后移动到ReconstructionSystem文件夹的dataset(没有的话自己新建)里。然后在config文件夹下找到tutorial.json文件,修改里面的database数据为dataset/(你的数据名称,与上面创建的文件夹对应),并把它复制到dataset文件夹下后改名为config.json。1、获取rgbd数据。

weixin_45360491的博客 1308

基于单目视觉的三维重建算法综述

作者:SIGAI特邀作者陈泰红 PDF地址:http://sigai.cn/paper_97.html 三维计算机视觉在计算机视觉是偏基础的方向,随着2010年阿凡达在全球热映以来,三维计算机视觉的应用从传统工业领域逐渐走向生活、娱乐、服务等,比如AR/VR,SLAM,自动驾驶等都离不开三维视觉的技术。 三维重建包含三个方面,基于SFM的运动恢复结构,基于Deep learning的深度估计和结构...

SIGAI_优快云的博客 1万+

深度学习多图像三维重建综述总结

1. 引言核心问题:从单张或多张图像中重建三维场景是计算机视觉的经典问题,但受限于数学上的病态性(ill-posed),需依赖多视图几何约束或先验知识。深度学习的作用:通过端到端训练,学习复杂特征和语义信息,显著提升了传统方法的性能。分类:论文将现有工作分为四类:双目立体三维重建(两校准图像输入)多视角立体三维重建(多校准相机图像输入)以物体为中心的三维重建(未校准相机,聚焦单个物体)基于SLAM的三维重建(实时增量式重建)2. 双目立体三维重建核心任务。

weixin_56337944的博客 2101

多目视觉三维重建研究综述

多目视觉三维重建研究综述 多目视觉三维重建研究综述 三维重建在视觉方面具有很高的研究价值,在机器人视觉导航、智能车环境感知系统以及虚拟现实中被广泛应用. 1.三维重建方法 从整体上来看,三维重建技术主要通过视觉传感器来获取外界的真实信息,然后,再通过信息处理 技术或者投影模型得到物体的三维信息,也就是说, 三维重建是一种利用二维投影恢复三维信息的计算机技术。 从数据获取方法上来划分,可以划分为接触式和非接触式两种。接触式方法其实就是利用某些仪器能够快速直接测量场景的三维信息,主要包括触发式测量、 连续式测量

qq_39381856的博客 1万+

三维重建综述

三维重建简介 广义上,三维重建是指对某些三维物体或者三维的场景的一种恢复和重构,重建出来的模型,方便计算机表示和处理。实际上,三维重建是对三位物体或者场景图像描述的一种逆过程,由二维的图像还原出三维的立体物体或者场景。因此三维重建技术是在计算机中建立表达客观世界的虚拟现实的关键技术。三维重建是指根据基于一个视图或者多个视图所获得的物体或者场景的图像重建三维模型的过程。由于单视图的信息很单一,因此三...

ojbko的博客 7288

深度学习背景下的图像三维重建技术进展综述

三维重建是指从单张二维图像或多张二维图像中重建出物体的三维模型,并对三维模型进行纹理映射的过程。三维重建可获取从任意视角观测并具有色彩纹理的三维模型,是计算机视觉领域的一个重要研究方向。传统的三维重建方法通常需要输入大量图像,并进行相机参数估计、密集点云重建、表面重建和纹理映射等多个步骤。近年来,深度学习背景下的图像三维重建受到了广泛关注,并表现出了优越的性能和发展前景。 本文对深度学习背景下的图像三维重建的技术方法、评测方法和数据集进行了全面的综述。首先对三维重建进行分类,根据三维模型的表示形式可将图像

视觉小新的博客 4315

基于python实现单目三维重建

客观世界的物体是三维的,而我们用摄像机获取的图像是二维的,但是我们可以通过二维图像感知目标的三维信息。三维重建技术是以一定的方式处理图像进而得到计算机能够识别的三维信息,由此对目标进行分析。而单目三维重建则是根据单个摄像头的运动来模拟双目视觉,从而获得物体在空间中的三维视觉信息,其中,单目即指单个摄像头。...

菜狗的玄学修炼室 1万+

【三维重建】基于多视角图像的三维重建

基于多视角图像的三维重建》

m0_64446860的博客 8765

三维重建技术综述

三维重建技术通过深度数据获取、预处理、点云配准与融合、生成表面等过程,把真实场景刻画成符合计算机逻辑表达的数学模型。这种模型可以对如文物保护、游戏开发、建筑设计、临床医学等研究起到辅助的作用。 三维重建技术的重点在于如何获取目标场景或物体的深度信息。在景物深度信息已知的条件下,只需要经过点云数据的配准及融合,即可实现景物的三维重建。基于三维重建模型的深层次应用研究也可以随即展...

知识搬运工的博客 6万+

matlab利用双目图像视差进行三维重建

法一: %% % 清理空间 clc; clear; close all; %% % 导入立体标定参数 load stereoParams.mat % 立体参数的可视化 figure; showExtrinsics(stereoParams); %% % 导入数据 frameLeft = imread('pattern_cam1_im1.png'); frameRight = imread('...

miahhrgbfcyur的博客 1万+

最新综述:深度学习图像三维重建最新方法及未来趋势

点击上方“3D视觉工坊”,选择“星标”干货第一时间送达今天分享的是:深度学习领域基于图像的三维物体重建最新方法及未来趋势综述。原文:Image-based 3D Object Recon...

3D视觉工坊 2万+

医学CT图像三维重建代码

医学CT图像三维重建,面绘制和体绘制两种方法。

t18438605018的博客 8986

基于图像的三维重建与基于三维点云数据的曲面拟合

侧影轮廓线三维重建 此类方法是使用一系列物体的轮廓线条构成三维形体。当物体的部分表面无法在轮廓联机展现时,重建后将丢失三维信息。常见的方式是将待测物放置于电动转盘上,每次旋转一小角度后拍摄其图像,再经由图像处理技巧去除背景并取出轮廓线条,搜集各角度之轮廓线后即可“刻画”成三维模型。 参考: http://blog.youkuaiyun.com/dream_tingness

满城风絮 3万+

基于图像点特征的多视图三维重建

基于图像点特征的多视图三维重建大致分成四步:一.图像特征点描述 ;二.图像特征点匹配; 三.基于图像的稀疏三维重建;四.多视图稠密匹配与三维重建 一.图像特征点描述: 为描述所检测到的图像特征点,通常提取特征点周围的一块区域,并利用特征向量来描述该区域作为特征描述符。在某些特定拍摄条件下(如已矫正的立体像对),像素对应在各图像中的坐标仅在水平方向上有差异。在这种情况下,可使用搜索窗口内的像素

看星星在闪耀 9365

从PCEP到PCAP:一个数据分析师的Python认证升级之路与学习规划

本文详细介绍了数据分析师从PCEP(初级)到PCAP(中级)的Python认证升级路径,包括考试内容、备考策略和时间规划。通过系统化的学习,读者可以掌握Python在数据分析中的核心应用,提升职业竞争力。文章还提供了实用的代码示例和认证考试对比,帮助读者高效备考。

weixin_27427619的博客 442
上一篇: 图像三维重建专题第一期-Texture Mapping for 3D Reconstruction with RGB-D Sensor
下一篇: 图像三维重建专题第一期-KinectFusion详讲
元宇宙MetaAI
博客等级 码龄10年 331粉丝 333原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值