基于深度学习的Lidar 3D点云表面缺陷检测方法

1. 点云缺陷检测

三维点云异常检测旨在从训练集中检测异常数据点，常用的点云异常检测方法通常采用多个特征记忆库来完全保留局部和全局表示，这种要考虑高昂的计算复杂度和特征间的不匹配问题。

2.实现方法

当前的异常检测方法大多是无监督的，主要针对二维图像，其模型通常在具有成熟架构的图像上进行训练。与二维图像相比，三维点云具有更丰富的结构信息，但也存在无序、高度稀疏和不规则分布的问题。

Real3D-AD

Real3D-AD一个大规模、高分辨率的三维异常检测数据集Real3D-AD被提出。该数据集中的对象具有0.001mm-0.0015mm的分辨率、360度覆盖范围和完美的原型。Real3D-AD将图像异常检测中的PatchCore应用于点云异常检测，并开发了一种通用的基于配准的点云异常检测器Reg3D-AD。Reg3D-AD采用双特征表示方法来保留训练原型的局部和全局特征，虽然检测精度显著，但推理速度较慢。当前的点云异常检测器主要分为两类：
（1）基于重建的方法，通过自动编码器重建输入点云数据，并通过比较原始数据和重建数据之间的偏差来识别异常。然而，这些方法对分辨率敏感，导致推理速度较慢且精度较低。
（2）基于记忆库的方法，其中记忆库用于存储代表性特征，以隐式构建正态分布并寻找分布外的缺陷。与前者相比，直接使用预训练的特征提取器构建记忆库具有训练速度快且不受点云分辨率影响的优点。
（3）现有的点云异常检测器通常采用多个特征记忆库来完全保留局部和全局表示，这会带来高昂的计算复杂度和特征间的不匹配问题。

3. PointCore

为优化当前点云异常检测算法存在的问题，如计算复杂、特征不匹配等，可参考PointCore框架对算法进行改进和升级。

3.1全局和局部配准

使用FPFH特征描述符和随机抽样一致性（RANSAC）算法来实现点云的全局配准。为了增强点云配准的稳定性，引入了点到平面ICP算法来对全局配准的输出进行局部优化。假设需要配准的两个点云分别为$X_s$（源点云）和$X_t$(目标点云），配准过程如下：

1. 应用从全局配准获得的旋转矩阵和平移向量来变换$X_s$。
2. 在$X_t$中搜索与$X_s$中的$p_i$最接近的$q_i$，其中$q_i$的法向量表示为$n_i$。
3. 假设最优旋转欧拉角$\alpha$、$\beta$、$\gamma$接近0，则$\cos (\theta )\to 1$，$\sin (\theta )\to 0$，$\theta \to 0$。旋转矩阵$R$可以近似表示为：$$R\approx \left[\begin{array}{ccc}1& -\gamma & \beta \\ \gamma & 1& -\alpha \\ -\beta & \alpha & 1\end{array}\right]$$
4. 假设最优平移向量为$t=[t_x,t_y,t_z]$。损失函数通过Moore-Penrose逆表示为最小二乘问题：$$E(R,t)=\sum _{i=1}^n((R{p}_i+t-q_i{)}^T{n}_i{)}^2$$
5. 应用计算得到的旋转矩阵和平移向量来变换$X_s$，并重复，直到损失值低于预定义的阈值。注意，用于配准的目标点云(X_t)是固定的。
   

3.2记忆库构建

• 坐标采样：采用贪婪下采样算法对输入点云进行采样。给定输入点云(X)和点集$C_a$，$\alpha$是$C_a$中的点数。我们的目标是从$C_a$中获得$S_{max}$个均匀分布的点。具体步骤如下：
  1. 从$C_a$中随机选择$S_{init}$个点，构建初始点集Pinit={P1,P2,P3,⋯ ,PSinit}P_{init} = \{P_1, P_2, P_3, \cdots, P_{S_{init}}\}Pinit​={P1​,P2​,P3​,⋯,PSinit​​}。
  2. 计算$C_a$与$P_{init}$之间的距离，得到维度为$a\times S_{init}$的矩阵$d_{2d}$：$$d_{2d}=\left[\begin{array}{ccc}{d}_{11}& \cdots & d_{1S_{max}}\\ ⋮& \ddots & ⋮\\ d_{a1}& \cdots & d_{a{S}_{min}}\end{array}\right]$$。
  3. 计算矩阵$d_{2d}$每行的平均值，得到$d_{1d}=[d_{1_{mean}},d_{2_{mean}},\cdots ,d_{a_{mean}}]$。
  4. 找到矩阵(d_{1d})中的最大值，并将对应的点添加到(P_{init})中。重复步骤2-4，直到(P_{init})中的元素数量等于(S_{max})。
• 点特征插值：使用在ShapeNet数据集上预训练的点变换器（PointMAE）作为3D特征提取器。对于每个点云，使用坐标采样阶段的坐标作为分组的中心点。每个中心点形成一个记忆元素，该元素与坐标和PointMAE特征绑定。这些元素构成了图2中的记忆库。为了降低推理时PointMAE特征计算的复杂度，需要对记忆库中的点云坐标进行下采样。因此，进一步执行点特征插值，为记忆库中的每个坐标分配一个PointMAE特征值。特征插值方法如下图所示：
  
  给定一个包含所有中心点坐标的点集$P_{central}$，相应的PointMAE特征集为$M_{init}$。以一个非中心点$P_e$为例，使用k近邻算法在点集$P_{central}$中找到三个最近邻$[P_{k1},P_{k2},P_{k3}]$，相应的欧几里得距离和PointMAE特征值分别为$[D_{k1},D_{k2},D_{k3}]$和$[M_{k1},M_{k2},M_{k3}]$。得到$P_e$的PointMAE特征$M_e$。重复此过程，直到所有非中心点都获得相应的PointMAE特征。$M_e$的计算方法为：$$M_e=\frac{D_{k1}{D}_{k2}{M}_{k3}+D_{k1}{D}_{k3}{M}_{k2}+D_{k2}{D}_{k3}{M}_{k1}}{D_{k1}{D}_{k2}+D_{k1}{D}_{k3}+D_{k2}{D}_{k3}}$$

3.3推理模块

• 多特征异常分数计算：记忆库由元素集组成，即:
  $$M_{train}=\{(M_{1_c},M_{1_p}),(M_{2_c},M_{2_p}),\cdots ,(M_{n_c},M_{n_p})\}$$，其中$M_{i_c}$表示第(i)个点的坐标，$M_{i_p}$表示第$i$个点的PointMAE特征。测试特征库定义为:
  $$F_{test}=\{(F_{1_c},F_{1_p}),(F_{2_c},F_{2_p}),\cdots ,(F_{m_c},F_{m_p})\}$$
  其中$F_{j_c}$是第$j$个点的坐标，$F_{j_p}$是第$j$个点的PointMAE特征。对于$F_{test}$中的元素$(F_{j_c},F_{j_p})$，我们使用其坐标信息$F_{j_c}$在$M_{train}$中找到三个最近邻，表示为$(M_{i_c},M_{i_p})$、$(M_{o_c},M_{o_p})$、$(M_{u_c},M_{u_p})$。使用欧几里得距离，得到它们的坐标距离{DC1,DC2,DC3}\{DC_1, DC_2, DC_3\}{DC1​,DC2​,DC3​}和特征距离{DP1,DP2,DP3}\{DP_1, DP_2, DP_3\}{DP1​,DP2​,DP3​}。最终的坐标异常分数为Sc=mean{DC1,DC2,DC3}S_c = mean\{DC_1, DC_2, DC_3\}Sc​=mean{DC1​,DC2​,DC3​}，PointMAE异常分数为:
  Sp=min{DP1,DP2,DP3}S_p = min\{DP_1, DP_2, DP_3\}Sp​=min{DP1​,DP2​,DP3​}
• 排序模块：由于两种异常分数在尺度和分布上存在差异，因此需要对它们进行归一化。传统的归一化通常采用区间缩放方法。对于一组数据$S_{list}$，区间缩放过程为:
  $$S_{norm}=\frac{S_{list}-min(S_{list})}{max(S_{list})-min(S_{list})}$$
  区间缩放方法将消除两种异常分数之间的尺度差异，但无法解决分布差异。当坐标异常分数有两个异常值时，最终的异常分数将远小于PointMAE异常分数。这对基于算术运算的集成策略有重大影响。为了解决这个问题，设计了一种基于排序的归一化方法，其中$Sor{t}_{r}ank(S_{list})$获得$S_{list}$中每个值的排名，$len(S_{list})$是$S_{list}$的长度。即：
  $$S_{norm}=\frac{Sor{t}_{r}ank(S_{list})}{len(S_{list})}$$