Javier.Lin_HUST的博客

理解动态3D环境对于机器人代理和许多其他应用至关重要。我们提出了一种名为MeteorNet的新型神经网络架构，用于学习动态三维点云序列的表示。不同于以往的工作采用基于网格的表示，并应用3D或4D卷积，我们的网络直接处理点云。我们提出了两种方式为点云序列中的每一个点构建时空邻域。来自这些邻域的信息被聚合以学习每一个点的特征。我们在包括动作识别、语义分割和场景流估计在内的多种三维识别任务上对我们的网络进行了测试。MeteorNet在辛西娅上表现出比以前基于网格的方法更强的性能，同时达到了最先进的性能。

在给定深度或距离传感器的情况下，三维场景流估计是感知环境的重要工具。与光流不同的是，数据通常是稀疏的，并且在大多数情况下，在两个时间采样之间存在部分遮挡。在这里，我们提出了一种新的场景流体系结构OGSF - Net，它紧密耦合了帧间流和遮挡的学习。它们的耦合共生导致对空间中流动的预测更加准确。与传统的多动作网络不同，我们的统一方法在整个网络中进行融合，提高了遮挡检测和流量估计的性能。我们的架构是第一个在点云上测量三维场景流估计中的遮挡。

场景流是三维点云中各点运动信息的集合。它是应用于许多任务的重要工具，例如自动驾驶和增强现实。然而，无论是从稀疏性数据采样还是现实世界的遮挡，两个连续的点云之间总是存在遮挡点。在本文中，我们重点研究通过移动对象的自相似性和局部一致性来解决场景流中的遮挡问题。我们提出了一种基于Transformer框架的GMA3D模块，该模块利用局部和全局相似性分别从局部和全局非遮挡点的运动信息中推断遮挡点的运动信息，然后使用偏移生成器对其进行聚合。我们的模块是第一个应用基于转换器的架构来测量点云上场景流遮挡问题的模块。

场景流描述了三维场景的动态，对于自动驾驶、机器人导航、AR / VR等应用至关重要。传统上，场景流是从稠密/规则的RGB视频帧中估计的。随着深度感知技术的发展，通过点云进行精确的三维测量已经引起了三维场景流的新研究。然而，由于典型点云采样模式的稀疏性和不规则性，从点云中提取场景流仍然具有挑战性。与不规则采样相关的一个主要问题是点集提取/特征提取过程中的随机性，这是许多流量估计场景中的一个基本过程。为了缓解这种不稳定的抽象问题，提出了一种新的带注意力的空间抽象( SA2 )层。

场景流估计是计算机视觉中的一个长期存在的问题，其目标是从连续的观测中发现场景的三维运动。最近，出现了从三维点云计算场景流的努力。一种常见的方法是训练一个回归模型，该模型消耗源点和目标点云并输出每个点的平移向量。另一种方法是同时学习点云之间的点匹配，并对初始对应流进行回归精化。在这两种情况下，学习任务都是非常具有挑战性的，因为流回归是在自由的3D空间中完成的，一个典型的解决方案是诉诸一个大型的注释合成数据集。我们引入了SCOOP，这是一种新的场景流估计方法，可以在少量数据上学习，而不需要地面真值流监督。

在本文中，我们提出了一种点-体素递归全对场变换( PV-RAFT )方法来从点云中估计场景流。由于点云具有不规则性和无序性，在三维空间中高效地从所有点对字段中提取特征具有挑战性，其中所有点对相关性在场景流估计中具有重要作用。为了解决这个问题，我们提出了点体相关场，它同时捕获了点对的局部依赖和长程依赖。为了捕获基于点的相关性，我们采用保留局部区域细粒度信息的K近邻搜索。通过对点云进行多尺度体素化，我们构建了金字塔相关体素来建模长距离的对应关系。

所提出的RMS - FlowNet是一种新颖的基于端到端学习的架构，可以在高密度的点云上运行，用于准确和高效的场景流估计。对于分层场景流估计，现有的方法要么依赖于昂贵的最远点采样( Farthest Point Sampling，FPS )，要么依赖于基于结构的缩放，从而降低了处理大量点的能力。与这些方法不同，我们基于随机抽样( RS )的全监督架构进行多尺度场景流预测。为此，我们提出了一种新颖的流嵌入设计，结合RS可以预测更加鲁棒的场景流。

从点云中估计三维场景流是计算机视觉中一个低层次的三维运动感知任务。流嵌入是场景流估计中常用的技术，它对连续两帧之间的点运动进行编码。因此，流嵌入对于捕获正确的整体运动方向至关重要。然而，以往的工作只是通过局部搜索来确定软对应关系，忽略了距离较远的点才是真正的匹配点。此外，估计的对应关系通常来自前向相邻点云，可能与从反向获得的估计对应关系不一致。为了解决这些问题，我们在初始场景流估计过程中提出了一种新颖的具有后向可靠性验证的全对全流嵌入层。

场景流估计，即提取场景之间的逐点运动，正成为许多计算机视觉任务中至关重要的任务。然而，现有的估计方法都只利用了单向特征，限制了估计的准确性和通用性。本文提出了一种新颖的使用双向流嵌入层的场景流估计架构。所提出的双向层沿着前向和后向两个方向学习特征，增强了估计性能。此外，分层特征提取和扭曲提高了性能，减少了计算开销。实验结果表明，所提出的架构在FlyingThings3D和KITTI基准测试中取得了优于其他方法的新记录。关键词：场景流估计·点云·双向学习图1 .场景流估计双向学习示意图。

我们提出并研究了一种在点云上估计场景流的方法FLOT。我们开始FLOT的设计是注意到在点云上的场景流估计退化为在完美世界中估计一个置换矩阵。受最近的图匹配工作的启发，我们建立了一种从最优传输中借用工具来寻找这些对应关系的方法。然后，考虑到现实世界的不完美，我们松弛运输约束。两点之间的传输成本由使用合成数据集在完全监督下训练的神经网络提取的深度特征之间的成对相似性给出。我们的主要发现是，FLOT可以在合成数据集和真实数据集上表现出最好的现有方法，同时需要更少的参数，并且不需要使用多尺度分析。

包括场景流和点云配准的三维运动估计引起了越来越多的关注。受2D流估计的启发，最近的方法使用深度神经网络构建代价量来估计精确的3D流。然而，这些方法受限于数据结构的不规则性，很难在点云上定义搜索窗口。在本文中，我们通过一种简单而有效的方法来避免这种不规则性。我们将问题分解为两个交织的阶段，其中第一阶段对3D流进行逐点优化，然后在第二阶段在循环网络中进行全局正则化。因此，循环网络只接收规则的逐点信息作为输入。在实验中，我们在三维场景流估计和点云配准任务上对所提方法进行了评估。

场景流表示动态环境中每一点的三维运动。与表示二维图像中像素运动的光流一样，场景流的三维运动表示有利于许多应用，如自动驾驶和服务机器人。本文研究了从两个连续的三维点云进行场景流估计的问题。本文提出了一种新颖的双注意力分层神经网络，用于学习相邻帧中点特征的相关性，逐层由粗到细地细化场景流。提出的网络具有新的more-for-less分层架构。more-for-less意味着场景流估计的输入点数大于输出点数，带来了更多的输入信息，平衡了精度和资源消耗。在这种分层架构中，不同层次的场景流分别被生成和监督。

估计场景中点的三维运动，称为场景流，是计算机视觉中的一个核心问题。传统的基于学习的端到端3D流学习方法往往泛化性较差。在这里，我们提出了一个循环架构，它学习一个展开迭代对齐过程的单个步骤，以改进场景流预测。受经典算法的启发，我们利用强正则化证明了迭代收敛到解。所提出的方法可以处理大规模的时间变形，并且比目前具有竞争性的全相关方法具有更小的结构。仅在FlyingThings3D合成数据上进行训练，我们的网络成功地泛化到真实场景，在KITTI自监督基准测试集上大大优于所有现有方法。

我们提出了一种新的端到端的深度场景流模型PointPWC - Net，该模型以由粗到精的方式直接处理具有大运动的三维点云场景。在粗层计算的流被上采样和扭曲到一个更细的层，这可以使算法能够适应大的运动而没有令人望而却步的搜索空间。我们引入了新颖的代价体、上采样和变形层来高效地处理三维点云数据。不同于传统的代价体需要在高维网格上穷举计算所有的代价值，我们的基于点的公式将代价体离散到输入的3D点上，并且PointConv操作高效地计算代价体上的卷积。

提出了一种深度场景流估计网络FlowNet3D + +。受经典方法的启发，FlowNet3D + +在FlowNet3D中融入了以点到平面距离以及流场中各个向量之间角度对齐的几何约束[ 21 ]。我们证明了这些几何损失项的加入将之前最先进的FlowNet3D精度从57.85 %提高到63.43 %。为了进一步证明我们的几何约束的有效性，我们在动态3D重建的任务上提出了一个流量估计的基准，从而提供了一个比以前用于评估场景流的单个指标更全面和实用的性能度量。

当与高动态环境交互时，场景流允许自动系统推理多个独立物体的非刚性运动。这是在自动驾驶领域是特别感兴趣的，其中许多汽车、人、自行车和其他物体都需要精确跟踪。当前最先进的方法需要从自动驾驶场景中标注场景流数据来训练有监督学习的场景流网络。作为替代，我们提出了一种使用两个自监督损失，基于最近邻和循环一致性的场景流训练方法。这些自监督损失允许我们在大量无标签的自动驾驶数据集上训练我们的方法；

在机器人和人机交互的许多应用中，可以从理解动态环境中点的三维运动中获益，这被广泛地称为场景流。以往的方法大多以立体图像和RGB - D图像作为输入，很少尝试直接从点云中估计场景流。在这项工作中，我们提出了一种新的深度神经网络FlowNet3D，它以端到端的方式从点云中学习场景流。我们的网络同时学习点云的深层层次特征和表示点运动的流嵌入，并由两个新提出的点集学习层支持。我们在来自FlyingThings3D的挑战性合成数据和来自KITTI的真实Lidar扫描数据上对网络进行评估。

与规则稠密网格表示的图像不同，三维点云是不规则和无序的，因此对其进行卷积是困难的。本文将动态滤波器扩展为一种新的卷积操作，命名为PointConv。Point Conv可应用于点云构建深度卷积网络。我们将卷积核视为3D点局部坐标的非线性函数。这个非线性函数由权重和密度函数组成。对于给定的点，通过核密度估计，利用多层感知器网络和密度函数学习权重函数。这项工作最重要的贡献是提出了一种新的重新制定方法，以有效地计算权重函数，从而使我们能够大幅扩大网络的规模，并显著提高其性能。

已有工作很少研究点集深度学习。Pointnet[ 20 ]是该方向的先驱。然而，通过设计，Pointnet无法得到度量空间点所在的局部结构，限制了其识别细粒图片的能力和对复杂场景的泛化能力。在这项工作中，我们引入了一个分层神经网络，该网络在输入点集的嵌套划分上递归地应用点Pointnet。通过利用度量空间距离，我们的网络能够随着上下文规模的增加学习局部特征。进一步观察到点集通常以不同的密度进行采样，这导致在均匀密度上训练的网络性能大大降低，我们提出了新的点集学习层来自适应地组合来自多个尺度的特征。

这篇作为点云深度学习的开山之作，给出了一种直接用点云作为数据输入，用于分类、分割等任务的神经网络框架。该网络尽管结构简单，但是高效且有效。