运动触发立体相机系统

原创于 2025-10-13 11:03:06 发布 · 414 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#三维点云 #运动触发 #自适应控制 #节能相机 #体戴系统

部署运行你感兴趣的模型镜像

演示摘要：用于3D体验采集的运动触发立体相机

本摘演要示实现了我们的运动触发式相机系统，该系统利用低成本的基于相机的传感器系统，采集、处理、存储并传输真实世界环境的三维视觉信息，且受限于系统的有限处理能力、存储和电池寿命。该系统可应用于社交媒体中的三维内容采集与共享、不同职业人员的培训以及事件的事后分析等场景。

本系统采用现成硬件和标准计算机视觉算法。其创新之处在于能够最优地控制相机的数据采集与处理阶段，以保证所采集信息的质量和延长电池寿命。控制器的设计基于对相机线性和角运动与生成的三维点云质量以及系统电池寿命之间关系的大量测量与建模。为实现这一目标，我们：1）设计了一种新度量指标，用于量化生成的三维点云质量；2）建立了一个优化问题，以寻找相机系统的最佳触发点，在最大化捕获的三维环境质量的同时延长其电池寿命；3）使模型具备自适应性，从而使系统随时间推移不断演化并提升性能。

1 引言

我们正进入一个三维体验将成为数字生活重要组成部分的时代。以三维方式采集现实世界中的体验，使我们向让数字世界栩栩如生的目标迈进了一步。我们特别关注的场景是：一个人在移动状态中希望采集自己的三维体验，并随后分享三维内容。为了实现上述系统，我们的目标是开发一种低成本、节能的可穿戴体戴相机系统，该系统能够近实时生成三维点云，并通过手机上的播放器应用进行预览。

我们提出Glimpse.3D，这是一种体戴式相机，可在资源受限嵌入式系统中以稀疏三维点云的形式对真实世界环境的三维视觉信息进行采集、处理、存储和传输。整个端到端过程，即从采集到预览，在近实时。

示意图0

Glimpse.3D 采用现成硬件组件和标准计算机视觉算法来捕捉立体图像并生成三维点云。因此，Glimpse.3D 的创新之处并不在于其计算机视觉方面，而在于它对这些算法执行方式的控制。

Glimpse.3D的核心是一个控制器，该控制器优化图像捕获和处理任务的触发点，以确保捕获的三维点云质量以及嵌入式系统的电池寿命达到最低要求。为实现这一目标，我们基于融合三维点云的结构相似性指数(SSIM)[5]定义了一个质量度量，并将其建模为三维重建流程参数的函数。接着，我们构建了一个优化问题，旨在为体戴相机寻找最优触发点（角度和线性距离），在最大化捕获的三维环境质量的同时延长其电池寿命。最后，我们设计了一种自适应机制，使相机控制器能够随着经历新场景并生成更多点云而不断学习和演化。

2 系统概述

Glimpse.3D 的目的是利用受限于有限处理能力、存储和电池寿命的低成本基于相机的传感系统，实现在真实世界移动状态下的三维体验捕捉。体戴相机捕捉并处理立体图像，在相机单元内生成三维点云。当人移动时，新的点被添加到点云中，点云随之逐步增长。该点云被智能手机获取，并在屏幕上进行渲染。

每个体戴相机单元包含一对低成本相机用于采集立体图像，一个惯性测量单元（IMU）用于估计线性和角位移，一个用于数据处理和控制的微控制器，一个用于与智能手机通信的无线模块，以及一块电池。

示意图1

图2显示了单个Glimpse.3D相机单元内部的组件。有三个主要子系统：1）图像处理子系统，2）惯性测量单元数据处理子系统，以及3）一个控制器。前两个子系统实现了用于图像和惯性测量单元数据处理的标准算法，并针对所提系统的约束进行了调优。本节将介绍最后一个组件——控制器，它是本文的主要贡献之一。

图像处理子系统 。图像处理子系统由控制器触发，执行一系列图像处理任务。首先，由两个相同的标定相机组成的立体相机拍摄一对图像。经过标准镜头畸变校正后，这些图像被处理以获得视差图[1]。由于视差与图像像素的深度成反比[4]，因此可以得到图像像素的z坐标，用于重建三维世界坐标。每个体戴相机都维护一个带时间戳的聚合点云，并通过将新生成的点云融合到其中来更新该点云。在融合过程中，我们使用迭代最近点（ICP）[3]算法。为了加快处理速度并降低数据噪声，我们使用体素网格滤波器对数据进行下采样。为了限制执行时间，我们将迭代次数限制为20次，仅在退化情况下达到该上限。当接收设备发出拉取请求时，最新聚合点云将被无线传输。
惯性测量单元数据处理子系统 。此步骤通过以100赫兹采样的惯性测量单元数据测量线性和角位移。对于线位移，我们使用[2]统计步数，然后将步数映射到物理距离。对于角位移，我们采用欧拉向量形式的绝对方向。
控制器子系统 。Glimpse.3D的核心是一个控制器，它根据佩戴体戴相机人员的运动情况，最优地触发图像处理子系统。Glimpse.3D中设计并实现了一个自适应控制器，该控制器通过求解一个优化问题，以找到体戴相机的线性和角位移的最优值，并在运行时自适应地调整模型参数，以适应系统在现实世界中运行时的新经验。我们设计并实现了以下算法来构建该控制器：

(1) 我们使用三维点云的结构相似性指数（SSIM）[5]来定义其质量度量。由于该度量计算开销大，我们将其建模为若干变量的函数，这些变量的值是在三维重建流程中某一步骤的副产品中获得的。

(2) 我们提出了一个优化问题，旨在为体戴相机找到一个最优的触发点，以延长其电池寿命，同时最大化所捕获的3D环境的质量。该优化的结果是一对位移值（线性和角），用于确定何时触发图像捕获和处理任务，以满足最短寿命和质量约束。我们使用惯性测量单元（IMU）来决定何时拍摄图像，从而大量减少不必要的图像捕获和处理。

(3) 我们为相机控制器设计了一种自适应机制，使其在经历新场景并生成更多点云的过程中不断学习和进化。该模块的目标是监控控制器的性能，更新模型参数，并重新调整最优位移值，从而使系统在保持三维信息质量和期望的电池寿命方面变得更加精确。