36、3D机载激光雷达点云处理算法详解

3D机载激光雷达点云处理算法详解

1. 引言

在处理3D机载激光雷达点云数据时，面临着数据量大、处理复杂等问题。为了高效地处理和压缩这些数据，提出了一种DDLCPCD算法，该算法结合了多种预处理方法和深度学习编解码器，旨在解决传统序列深度学习网络中的问题，提高点云数据的处理效率和质量。

2. 预处理方法

2.1 自适应采样（ASiS）

在处理点云数据时，不同的PCD图像可能具有不同数量的3D点，这给模型训练带来了困难。为了解决这个问题，采用了ASiS方法对PCD图像进行下采样，使所有PCD图像具有相同数量的3D点，从而提高DDLC模型的训练效果。
- 采样公式 ：
- (ds(t,k) = *( )1D)（公式16.4）
- 其中，(\delta_s)是在时间周期((\Delta t))内选择的频率信号（样本）数量，以及特定PCD中针对所提出算法的最大信号数量(k)。在ASiS方法中，(\Delta t)的值为2（交替），因此所有PCD图像中的(\delta_s)值是恒定的。
- 采样后的PCD (p_j’)由以下公式描述：
plaintext " = [ ] [ ] [ ] [ ] é = ¢ j N jp x y z x y z x y z x y z s s s 1 1 1 1 3 3 3 5 5 5 , , , , , , , , , , , , d d d ë ùû [ ] [ ] [ ] [ ] éë ùû , , R G B R G B R G B R G B s s s 1 1 1 3 3 3 5 5 5 , , , , , , , , , , , , d d d ì íï îï ü ýï þï （公式16.5）
- (p_j’)是ASiS方法的输出，将其输入到下一个预处理模块，以改善信号数据，便于DDLC网络模型进行高效学习。

2.2 最小 - 最大信号变换（MiST）

MiST过程的主要目的是将记录的世界坐标PCD值转换为窗口坐标值，以减少系统的计算量、内存空间和时间复杂度。当数据集中捕获的原始PCD属性值非常大时，操作、分析和维护这些数据是一项具有挑战性的任务。因此，需要将大型的世界3D坐标数据转换为紧凑的窗口3D坐标值。
- 计算步骤 ：
1. 计算最大和最小频率信号 ：
- 空间信息域：
- (\omega_s = [ ] [ ] [ ] [ ]
éë ùû
max
1 1 1 3 3 3 5 5 5
, , , , , , , , , , , ,
d d d
s x y z x y z x y z x y z
s s s)（公式16.6）
- (\gamma_s = [ ] [ ] [ ] [ ]
éë ùû
min
1 1 1 3 3 3 5 5 5
, , , , , , , , , , , ,
d d d
s x y z x y z x y z x y z
s s s)（公式16.7）
- 颜色信息域：
- (\omega_c = [ ] [ ] [ ] [ ]
éë ùû
max
1 1 1 3 3 3 5 5 5
, , , , , , , , , , , ,
d d d
c R G B R G B R G B R G B
s s s)（公式16.8）
- (\gamma_c = [ ] [ ] [ ] [ ]
éë ùû
min
1 1 1 3 3 3 5 5 5
, , , , , , , , , , , ,
d d d
c R G B R G B R G B R G B
s s s)（公式16.9）
2. 计算信号值范围 ：
- 空间信息域：(r_s = \omega_s - \gamma_s)（公式16.10）
- 颜色信息域：(r_c = \omega_c - \gamma_c)（公式16.11）
3. 计算变换后的信息 ：
- 空间信息：(S_i = [ ] = i i i i i s s S x y z 1 d r, , /)（公式16.12）
- 颜色信息：(R_i = [ ] = i i i i i c s R R G B 1 d r, , /)（公式16.13）
4. 合并变换后的PCD ：
- (p_i’’ = [ ] [ ] éë ùû { } = ¢¢ i N i i i p S R 1,)（公式16.14）
- 在变换后的PCD中，所有信号值都在0 - 1的范围内。该算法是无失真的、完美可逆的过程，并且MiST过程保留了点云的原始结构。变换后的PCD (p_i’‘)将作为DDLC模型的输入。

3. 二元深度学习编解码器（DDLC）

3.1 解决的问题

传统的序列深度学习网络存在两个主要问题：前向传播中的特征重用减少和反向传播中的梯度消失问题。为了解决这些问题，提出了DDLC模型。
- 特征重用减少 ：在序列深度学习模型中，由于训练过程长且层数多，计算和变换过程中使用了多个权重矩阵，导致早期层的原始信息被冲刷掉，从而无法在反向传播过程中计算出合适的梯度值。
- 梯度消失问题 ：多层结构和多次训练过程会降低反向传播的梯度值，使得模型无法在给定数据集上进行有效学习，导致过早收敛到不良解。

3.2 DDLC模型结构

DDLC模型采用级联连接的较少层数结构，将输出层靠近处理层，避免了原始信息的长距离处理，从而缓解了上述两个问题。
- 网络分组 ：将网络模型分为两组，一组处理空间信息，另一组处理颜色信息。
- 子网结构 ：包含两个对称的子网，即压缩子网和 decompression子网。
- 处理流程 ：
- 压缩过程：将变换后的PCD数据拆分为空间信息和颜色信息，分别进行独立压缩。空间和颜色组在压缩子网中各有四个全连接层，分别具有128、64、32、16个神经元。
- 空间信息压缩：(\Psi_S = \theta_s(\theta_s(\theta_s(\theta_s(S)))))（公式16.17）
- 颜色信息压缩：(\Psi_R = \theta_r(\theta_r(\theta_r(\theta_r(R)))))（公式16.18）
- 将(\Psi_S)和(\Psi_R)向量合并，形成相应PCD图像的压缩比特流，用于内部存储和传输。
- 解压缩过程：解压缩子网执行压缩过程的逆操作。
- 空间信息解压缩：(\Omega_S = \varphi_s(\varphi_s(\varphi_s(\varphi_s(\Psi_S)))))（公式16.19）
- 颜色信息解压缩：(\Omega_R = \varphi_r(\varphi_r(\varphi_r(\varphi_r(\Psi_R)))))（公式16.20）
- 将解压缩后的向量合并，形成3D PCD结构(p_i’‘’)：(p_i’‘’ = [ ] [ ] éë ùû { } = ¢¢¢ i N i Si Ri p 1 W W,)（公式16.21）
- 最后，将这些3D PCD数据通过逆MiST函数转换，得到原始采样的PCD图像。

3.3 损失函数和优化器

• 损失函数 ：使用均方误差（MSE）损失函数来计算目标输出和实际输出之间的误差值。
• (MSE = - ( ) =å i i Si s s S 1 2 d d W)（公式16.22）
• 其中，(S_i)是第(i)个目标输出，(\Omega_{Si})是第(i)个实际输出，(\delta_s)是点云中的采样点总数。
• 优化器 ：采用随机梯度下降（SGD）算法根据MSE值生成梯度因子，以平衡权重矩阵值，减少反向传播过程中的误差。
• (\Theta = \Theta - \alpha \times G)（公式16.23）
• (\Theta_i = \Theta_i - \alpha \times (P_i - P_i’))（公式16.24）
• 其中，(\alpha)是学习率，(\Theta_i)是为梯度计算选择的第(i)个随机点，(G)是梯度值。
• 超参数设置 ：两个网络的超参数（(\theta)，(\varphi)）如激活函数（ReLU）、训练轮数（1500）、损失函数（MSE）、优化器（SGD）、学习率（(\alpha = 0.3)）和动量（(\eta = 0.9)）、批量大小（5）相似，除了解压缩网络的最后一个密集层使用Sigmoid激活函数，以生成实值输出PCD图像。

4. 性能指标

为了评估DDLCPCD算法的性能，使用了以下几种客观质量指标。
| 指标名称 | 描述 | 计算公式 |
| ---- | ---- | ---- |
| Chamfer伪距离（CPD） | 测量一个点云中每个点与其在另一个点云中最近邻点之间的平方距离 | (CPD(V_{org}, V_{deg}) = \sum_{x \in V_{org}} \min_{y \in V_{deg}} | x - y |^2 + \sum_{y \in V_{deg}} \min_{x \in V_{org}} | x - y |^2)（公式16.25） |
| Hausdorff距离（HD） | 测量两组点云之间的距离，取两个最大最小距离中的最大值 | (HD(V_{org}, V_{deg}) = \max { \max_{x \in V_{org}} \min_{y \in V_{deg}} d(x, y), \max_{y \in V_{deg}} \min_{x \in V_{org}} d(x, y) })（公式16.26） |
| 点对点指标（p2p） | 测量原始点云和压缩后点云之间的距离误差 | (RMSE = \frac{1}{N} \sum_{i = 1}^{N} (V_{org} - V_{deg})^2)（公式16.27）
(d_{rms}(V_{org}, V_{deg}) = \frac{RMSE(V_{org}, V_{deg})}{\max(RMSE(V_{org}, V_{deg}))})（公式16.28）
(PSNR(V_{org}, V_{deg}) = 10 \log_{10} \frac{\max(x, y, z)^2}{d_{rms}(V_{org}, V_{deg})})（公式16.29） |

5. 实验设置

5.1 数据集

使用了两个不一致、不同密度、未标记的3D模型数据集，即Building数据集和Landscape数据集。
- Building数据集 ：包含8个ASCII格式的建筑物3D模型。
- Landscape数据集 ：包含7个ASCII格式的景观3D模型。
- 使用CloudCompare工具将这些数据集转换为PCD格式，并将PCD图像分为训练集（80%）和测试集（20%）。

5.2 算法实现流程

graph TD;
    A[原始PCD图像] --> B[ASiS下采样];
    B --> C[MiST变换];
    C --> D[DDLC模型训练];
    D --> E[压缩];
    E --> F[存储和传输];
    F --> G[解压缩];
    G --> H[逆MiST变换];
    H --> I[恢复原始PCD图像];

• ASiS下采样 ：使所有PCD图像具有相同数量的3D点。
• MiST变换 ：将PCD数据的信号值标准化到0 - 1的范围内。
• DDLC模型训练 ：对空间信息和颜色信息分别进行训练，共享相同的超参数。
• 压缩和解压缩 ：通过压缩子网生成压缩比特流，通过解压缩子网恢复PCD数据。
• 逆MiST变换 ：将解压缩后的PCD数据转换回原始采样的PCD图像。

通过以上步骤，DDLCPCD算法能够有效地处理和压缩3D机载激光雷达点云数据，提高了数据处理效率和模型的学习效果。

3D机载激光雷达点云处理算法详解

6. 实验结果分析

6.1 数据预处理效果

在实验中，对原始的PCD图像首先使用ASiS方法进行下采样。由于原始PCD图像的3D点数量不同，这给模型训练带来了困难。通过ASiS方法下采样后，所有PCD图像具有了相同数量的3D点，为后续DDLC模型的训练提供了便利。

以Szymbarkmodel (B) PCD图像为例，其原始的空间和颜色信息经过ASiS下采样后，点的数量得到了统一。接着，使用MiST方法对下采样后的PCD数据进行变换。从实验的3D散点图可以观察到，MiST方法将空间和颜色数据的值转换到了0 - 1的范围内，并且没有影响采样PCD图像的结构。这表明MiST方法能够有效地标准化数据，为DDLC模型的训练提供合适的输入。

处理步骤	空间信息变化	颜色信息变化	对模型训练的影响
ASiS下采样	使3D点数量统一	使3D点数量统一	便于模型对不同PCD图像进行训练
MiST变换	将值范围转换到0 - 1	将值范围转换到0 - 1	标准化数据，适合模型学习

6.2 DDLC模型训练效果

将经过ASiS和MiST预处理后的数据输入到DDLC模型进行训练。DDLC模型对空间信息和颜色信息分别进行训练，共享相同的超参数。在训练过程中，使用MSE损失函数计算目标输出和实际输出之间的误差，并通过SGD优化器调整权重矩阵值，以减少误差。

从训练过程中的损失值变化可以看出，模型在早期阶段就达到了收敛状态。这表明DDLC模型能够有效地学习数据特征，克服了传统序列深度学习网络中特征重用减少和梯度消失的问题。在对测试集的PCD图像进行测试时，模型也表现出了较好的性能，能够生成高质量的解压缩PCD图像。

6.3 性能指标评估

使用Chamfer伪距离（CPD）、Hausdorff距离（HD）和点对点指标（p2p）对DDLCPCD算法的性能进行评估。

• Chamfer伪距离（CPD） ：测量了一个点云中每个点与其在另一个点云中最近邻点之间的平方距离。CPD值越小，说明两个点云之间的相似度越高。
• Hausdorff距离（HD） ：测量了两组点云之间的距离，取两个最大最小距离中的最大值。HD值越小，说明两个点云之间的差异越小。
• 点对点指标（p2p） ：包括RMSE、(d_{rms})和PSNR。RMSE反映了原始点云和压缩后点云之间的平均误差，(d_{rms})是RMSE的归一化值，PSNR则表示信号与噪声的比值，PSNR值越高，说明解压缩后的点云质量越好。

通过对实验结果的分析，DDLCPCD算法在这些性能指标上都表现出了较好的结果，表明该算法能够有效地压缩和恢复3D机载激光雷达点云数据。

7. 关键技术总结

为了更清晰地理解整个3D机载激光雷达点云处理算法的流程，下面对关键技术进行总结。

技术名称	作用	操作步骤
ASiS方法	对PCD图像进行下采样，统一3D点数量	根据公式 (ds(t,k) = *( )1D) 选择频率信号，生成采样后的PCD (p_j’)
MiST方法	将PCD数据的信号值标准化到0 - 1的范围内	1. 计算空间和颜色信息域的最大和最小频率信号；2. 计算信号值范围；3. 计算变换后的信息；4. 合并变换后的PCD
DDLC模型	压缩和解压缩PCD数据，克服传统网络问题	1. 对空间信息和颜色信息分别进行压缩；2. 合并压缩后的向量形成压缩比特流；3. 进行解压缩操作；4. 合并解压缩后的向量并通过逆MiST变换恢复原始PCD图像
性能指标评估	评估算法的性能	使用CPD、HD和p2p指标进行评估

8. 算法优势与应用前景

8.1 算法优势

• 解决传统问题 ：DDLC模型克服了传统序列深度学习网络中特征重用减少和梯度消失的问题，提高了模型的学习能力和收敛速度。
• 数据处理高效 ：ASiS和MiST预处理方法能够有效地处理不同数量3D点的PCD图像，并将数据标准化到合适的范围，为模型训练提供了良好的基础。
• 无失真处理 ：MiST方法是无失真的、完美可逆的过程，能够保留点云的原始结构，保证了数据的质量。

8.2 应用前景

• 地理信息系统（GIS） ：在GIS中，3D机载激光雷达点云数据可以用于地形建模、城市规划等。DDLCPCD算法能够有效地压缩和处理这些数据，减少数据存储和传输的成本。
• 自动驾驶 ：自动驾驶车辆需要实时处理大量的激光雷达点云数据。该算法可以提高数据处理效率，使车辆能够更快地做出决策。
• 虚拟现实（VR）和增强现实（AR） ：在VR和AR应用中，高质量的3D点云数据可以提供更真实的场景体验。DDLCPCD算法可以在保证数据质量的前提下，减少数据量，提高系统的性能。

9. 总结

本文详细介绍了一种3D机载激光雷达点云处理算法，包括数据预处理方法（ASiS和MiST）、二元深度学习编解码器（DDLC）、性能指标评估和实验结果分析。通过实验验证，该算法能够有效地处理和压缩3D机载激光雷达点云数据，提高了数据处理效率和模型的学习效果。

该算法在多个领域具有广阔的应用前景，能够为相关行业的发展提供有力的支持。未来，可以进一步研究和优化该算法，以适应更多复杂的应用场景。

graph LR;
    A[原始PCD数据] --> B[ASiS下采样]
    B --> C[MiST变换]
    C --> D[DDLC模型压缩]
    D --> E[存储/传输]
    E --> F[DDLC模型解压缩]
    F --> G[逆MiST变换]
    G --> H[恢复原始PCD数据]
    A -.-> I(性能指标评估)
    B -.-> I
    C -.-> I
    D -.-> I
    F -.-> I
    H -.-> I

以上流程图展示了整个3D机载激光雷达点云处理算法的流程，包括数据预处理、压缩、存储/传输、解压缩和恢复，同时也体现了性能指标评估在整个过程中的贯穿作用。通过这样的流程，能够确保算法的有效性和可靠性。