5、点云视频处理与少样本分割的创新技术探索

点云视频处理与少样本分割的创新技术探索

在计算机视觉领域，点云视频处理和少样本分割是两个极具挑战性但又十分重要的研究方向。下面将详细介绍相关的技术方法及其实验结果。

点云视频处理技术

在点云视频处理中，提出了一种用于长期点云视频理解的4D骨干网络。该网络的核心思想是利用原始平面来捕捉4D点云视频中的长期时空上下文信息。

1. 短期时空特征提取后的处理

   • 短期时空特征提取完成后，使用原始变换器（Primitive Transformer）来联合分析来自较低层的短期特征和包含预计算原始特征的内存池。这不仅可以降低计算成本，还能实现长期的时空信息集成。
   • 原始变换器的输入是将短期原始特征 (F_{clip}) 和内存池中的原始特征 (F_{mem}) 进行拼接，即 (F_{primitive}^{in} = [F_{clip}||F_{mem}] \in R^{C_l×(L’+L)M})。在原始注意力层中，会在 ((L’ + L) × M) 个原始区域同时进行时空注意力聚合。
   • 原始变换器块由预层归一化（pre-LayerNorm）、原始注意力层、GELU激活函数、前馈层和残差连接组成。对于语义分割任务，会将逐点特征、原始内点特征和原始特征进行拼接，然后通过三层多层感知器（MLP）进行融合；对于动作识别任务，则使用原始特征通过最大池化和MLP来获得分类预测。

2. 实验结果

   • 4D语义分割 </