【论文笔记】点云上采样网络 PU-GAN: a Point Cloud Upsampling Adversarial Network ICCV 2019

最新推荐文章于 2025-09-26 23:50:59 发布

原创

最新推荐文章于 2025-09-26 23:50:59 发布 · 3.3k 阅读

27 ·

CC 4.0 BY-SA版权

提出一种基于生成对抗网络的点云上采样方法PUGAN，该方法能够直接处理激光雷达扫描数据，提升点云的均匀性和靠近曲面性，并改善三维重建的质量。在多个数据集上验证了其优越性。

代码链接：链接
论文介绍：链接
香港中文大学

本文方法可以直接对激光雷达的scan数据进行上采样以及数据修正，得到的结果更加完整、均匀：
在这里插入图片描述
本文在合成数据集以及真实数据集上进行了测试，在上采样点云的均匀性、靠近曲面性（生成的点云要更加接近表面）、三维重建质量三个方面超越了现有方法。

PU GAN

基于生成对抗网络：生成器对输入的N个点云进行上采样，输出rN个点。鉴别器对这rN个点进行判别，输出置信度。
在这里插入图片描述

1. 生成器 Generator

在这里插入图片描述

输入点云 $p : N * d$ , 这里d=3, 只考虑点云的xyz坐标
The feature extraction component：
点云特征提取模块与论文《Patch-based progressive 3D point set upsampling.》相同，论文没有详细说明。
该模块输出为点云特征F。
The feature expansion component：
讲特征F扩展为 $F_{up}$ , 为了使扩展的特征更加多样化，作者提出了一个up-down-up unit 进行特征扩展：
具体结构：上采样-下采样-上采样 + skip connections
在这里插入图片描述
up-feature-operator中的2D-grid是借鉴FoldingNet中的2D网格机制：在对输入的点云特征复制了r次之后，对r份中的每一份点云生成一份单独的2D向量，，将其加入到对应的点云特征中去。这个步骤到达了讲复制的点云分散开的效果，使得点云更加分散、均匀。
图中的self-attention unit 是一个基于注意力模型的特征提取单元，后面鉴别器中也会用到，具体结构：
在这里插入图片描述
$\mathbf{W}=f_{\text {softmax }}\left(\mathbf{G}^{T} \mathbf{H}\right) \\ \mathbf{F} =\mathbf{W}^T\mathbf{K}$
The point set generation component：
首先通过一组多层感知器（mlp）从 $F_{up}$ 中回归出一组3D坐标。由于点云特征扩展本质上还是局部进行的，因此回归出的点集依然更加靠近输入点云。为了提高点云的均匀性，对生成的点集进行最远点采样得到rN个点（因此回归出的点云比rN更多，其实是（r+2)N个）。

2. 判别器 Discriminator

在这里插入图片描述
输入：经过上采样后的点云
首先采用论文《PCN:Point completion network.》中的骨干网络对输入的点云进行全局特征提取。该网络有效地结合了局部和全局信息，并确保了网络足够轻量。在特征concat之后，使用一个self-attention unit 对特征进行进一步提取。
最后使用MLPs+FC的网络层得到预测的置信度，若接近1，鉴别器则认为是来自于真实点云。

3. Patch-based End-to-end Training

在这里插入图片描述
首先在一个mesh表面上随机生成200个采样点。

以每个采样点为中心进行泊松圆盘采样，每个圆盘 $Q^{'}$ 就是一个patch, 包含rN个点云，作为target point。

训练时对 $Q^{'}$ 中的rN个点进行采样得到N个点P，作为网络的输入。

4. 损失函数

Adversarial loss
$\begin{aligned} \mathcal{L}_{\mathrm{gan}}(G) &=\frac{1}{2}[D(\mathcal{Q})-1]^{2} \\ \text { and } \mathcal{L}_{\mathrm{gan}}(D) &=\frac{1}{2}\left[D(\mathcal{Q})^{2}+(D(\hat{\mathcal{Q}})-1)^{2}\right] \end{aligned}$