深度学习在巡检机器人中的应用

基于深度学习的巡检机器人架空线路识别与障碍物测距技术研究

一、引言

随着中国工业化水平的不断提高和经济上升的逐年增长，电力需求持续增加。为确保电力的可靠稳定供应，对架空线路进行带电巡视检查和维护显得极为重要且常规化。

架空线路巡检主要有几种方式，包括人工巡视、无人机巡检[1]、机器人巡检[2]和在线监测[3]等。人工巡视具有危险系数高、劳动强度大、成本高和工作效率低的特点。无人机巡检方便高效，但成本较高，户外适应性差，载重能力有限，电池工作时间短，导致无法满足长时间续航的要求。在线监测设备可使工作人员通过可见光和红外光采集设备进行观察。视觉巡检伴随着效率低、易遗漏等问题。对比分析表明，采用移动机器人对架空线路进行巡检具有以下优势：1）大幅提高工作效率，降低人力物力成本；2）适应恶劣天气；3）易于扩展，便于携带服务设备，并可在巡检过程中及时处理发现的部分问题；4）巡检精度高，通过搭载的多种传感器和摄像头实现准确识别与定位；5）操作简便，通过自动控制、行走与越障能力，适应电网智能化需求。因此，开展架空线路巡检机器人的研究对于保障国家电网安全稳定运行、保护一线员工的生命财产安全、提升工作效率、降低维护成本具有重要意义，将极大便利人们的生产生活。

架空线路巡检机器人在巡检过程中通常会遇到悬垂线夹、防振锤和绝缘子等各种金具障碍，导致其无法正常稳定行走，需要根据障碍物的类型、尺寸等信息调整自身姿态。因此，障碍物检测与识别是巡检机器人实现越障的前提条件[4, 5]。为此，近年来基于图像处理技术开展了针对电力领域的相关研究。例如，曹[6]等人基于联合矩不变量进行图像特征提取，取得了良好效果；林等人[7]提出一种局部方向模式用于图像特征提取，以应对照明噪声和非单调光照因素带来的问题。尽管这些研究已取得一定进展，但机器人作业时图像采集设备受到限制，尤其是在户外光照较弱的情况下，导致基于传统视觉方法的识别率降低，与实际应用存在较大差距。

近年来，人工智能发展迅速，在图像、语音、数据分析等方面取得了显著成就[8, 9, 10]。特别是深度学习技术已广泛应用于图像处理领域[11]，避免了人工设计特征的缺陷，能够很好地应对复杂场景，与架空线路和障碍物的识别及距离测量高度契合。

本文采用深度学习技术构建神经网络，用于识别巡检机器人行驶的导线以及前方的障碍物。通过图像中障碍物与机器人之间的距离描述与实际距离建立映射关系，从而获得实际距离参数。基于对障碍物类型的分析，选择相应的越障模式，使机器人能够完全自主地对架空线路进行巡检。实验表明，该方法具有良好的鲁棒性和实用价值。

II. 材料与方法

图1显示了架空输电线路的环境，主要由导线、金具和杆塔组成。金具是机器人在行进过程中需要跨越的主要障碍物。输电线路常见的金具主要包括防振锤、绝缘子和悬垂线夹等。从机器人的视角来看，导线与金具之间的连接处被设定为导线漆点，即金具障碍物的起始位置，如图2所示：

本文提出的方法中，根据导线的消失点判断障碍物的范围，并基于图像中起点的位置关系，使用合适的锚框选取障碍物对应的感兴趣区域。然后识别障碍物类型，并根据障碍物图像中的坐标信息与实际距离的映射关系计算实际距离。图3展示了整个识别过程：

A. 导线识别 Wires present di

不同天气条件下的特征差异。相机向上拍摄导致成像质量差、轮廓和纹理模糊。传统图像处理技术难以应对不同环境下的导线识别。根据观察，导线在相机视图中呈直线延伸，且其粗细程度随距离增加而减小。同时，导线中心部分具有清晰纹理。受[12, 13]启发，我们认为障碍物在相机视图中的位置可视为不连续点，该点可作为一段导线的关键点，将视野范围内的导线划分为多个区间段。因此，只需识别出每一段的区间点即可判断障碍物的位置。

在此基础上，本文设计了一种基于卷积神经网络的图像分割网络。图4展示了网络模型：

根据图4，模型的主干网络主要指[14]，共包含112层。模型输入为原始RGB图像，尺寸为320x480x3，输出为320x480。该网络通过将原始图像映射为二值图像来实现导线识别。图5展示了导线识别效果：

该模型将分割作为回归任务来处理，这与常见的分割模型不同，原因是考虑到上述观察结果：导线中心部分具有清晰纹理。图像样本标签在生成时通过高斯热图进行处理，从而在导线中心部分更亮，周围区域以高斯形式减弱。因此，模型将均方回归误差作为优化目标。模型的损失函数如下所示：

$$
\mathcal{L} {\mathrm{mse}} = \frac{1}{mn} \sum {i=0}^{m-1} \sum_{j=0}^{n-1} (y_{i,j} - \hat{y}_{i,j})^2 \quad (1)
$$

其中，$m$ 和 $n$ 分别指图像的宽度和高度；$y_{i,j}$ 表示网络预测的像素值，$\hat{y}_{i,j}$ 是图像标签的真实值。

B. 障碍物识别 障碍物识别

主要用于判断障碍物的具体类型，并帮助巡检机器人在到达越障点时规划具体的越障动作和通过障碍。在完成导线识别后，根据导线与障碍物之间的关系，可准确确定金具障碍起点。在对图像中导线的线性长度进行标定后，通过选择合适的矩形框包含障碍物，即可获得障碍物的目标区域。

在实际操作中，当障碍物出现在巡检机器人一定距离内时即可进行识别，从而确保其准确性，因为目标金具障碍在基本与导线平行的相机视图中由远及近逐渐清晰。同时，在变化的光照、天气和背景环境影响下，基于传统图像处理技术难以有效提取特征。因此，本文采用深度卷积神经网络对金具障碍进行识别。在网络结构方面，采用了常见分类网络VGG16的简化版本。图6展示了模型结构：

根据图6，模型输入为64x64x3，模型总共由4个部分组成，包括卷积神经网络、批量归一化、池化结构层和全连接层，其中前三个部分主要用于特征提取，最后一个部分用于分类。输出维度为已知障碍物类别。用于拟合金具障碍的矩形框尺寸各不相同，在训练时被调整为64x64x3，并采用双线性插值。假设所有障碍物均为已知类型，优化目标为多类交叉熵损失，表达式如下：

$$
\mathcal{L} = -\frac{1}{N} \sum_{i=1}^{N} y_i \log \hat{y}_i \quad (2)
$$

$$
\hat{y} i = \left( \frac{e^{x_j}}{\sum {k=1}^{M} e^{x_k}} \right) \quad (3)
$$

其中，$M$ 表示类别数，$N$ 表示样本总数，$\hat{y}_i$ 表示经过softmax后的样本预测值。

C. 距离测量 The measurement of

障碍物距离有助于巡检机器人在固定点跨越障碍物。图像中障碍物的像素坐标可通过导线和障碍物识别获得。在相机视图中，从障碍物起点到导线起点的线性长度可表示为像素坐标下的障碍物距离。根据相机成像原理可知，实际图像深度信息以非线性方式体现在像素坐标中。为了近似物理障碍物距离，采用以下模型来拟合物理距离与像素距离之间的映射关系。其关系如下：

$$
d = \lambda_1 p(x) + \lambda_2 p(y) \quad (4)
$$

$$
p(x) = a_1 + b_1 x + c_1 x^3 + d_1 x^4 + e_1 x^5 \quad (5)
$$

$$
p(y) = a_2 + b_2 y + c_2 y^3 + d_2 y^4 + e_2 y^5 \quad (6)
$$

其中 $x$ 和 $y$ 分别指像素坐标系中的 $x$ 和 $y$ 坐标值。

在5米范围内每隔5厘米在导线上添加一个标记点，并手动标注其像素坐标值 $(x, y)$ 和实际物理距离 $d$，以构建训练样本集。通过拟合 $x$、$y$ 坐标与实际距离 $d$ 之间的关系，计算相关系数，从而近似拟合物理距离。

III. 结果与讨论

A. 数据集构建所有导线数据来自 f

数据来自实际线路的拍摄。使用相机在不同背景、光照和其他条件下采集了约10,000张图像，并通过旋转、翻转、对比度拉伸、直方图均衡化和伽马校正等图像增强技术增广至100,000张图像，其中训练集包含90,000张，测试集包含10,000张。针对数据标注，定义了图像中的导线宽度。导线部分以其为中心以高斯热图的形式标记为灰度图像，在导线宽度范围内灰度值根据高斯分布逐渐降低，范围外灰度值为0。所有采集的10,000张图像均采用此方法进行标注，同时根据图像增强方式生成相应增强图像的数据标注。

金具障碍的数据主要沿图像中导线的方向进行裁剪。将障碍物部分视为正样本，其余部分视为负样本。此外，根据障碍物类型对金具进行分类。同时采用图像增强技术进行数据增强，最终得到100,000个正负训练样本和包含10,000张图像的测试集。

在测距数据方面，通过在导线上设置等距标记，并采集不同相机角度和不同程度抖动下拍摄的视频，结合图像标记点的坐标位置与人工标记的实际距离之间的对应关系，构建对应的训练数据集。

B. 训练方法

所提出方法的训练分为三个部分：导线识别训练，基于随机梯度下降法，并采用权重衰减策略，学习率Ir=0.001，batchsize=32和训练轮数=1000；障碍物类型识别，同样使用随机梯度下降法，其中batchsize=64和训练轮数=1000；以及障碍物测距，其中使用标准正态分布对参数 $[a_1、a_2、b_1、b_2、c_1、c_2、d_1、d_2、e_1、e_2]$ 进行参数初始化，并通过梯度下降进行数据拟合，最大迭代次数设置为10,000，当误差为0.01米时停止迭代。

C. 实验结果分析图7显示了训练结果

导线识别模型的结果，其中从左到右分别展示了训练损失与训练轮数、验证损失与训练轮数之间的关系。从图中可以看出，模型在迭代800次时开始收敛，并且在训练和验证数据上取得了良好的结果。图8显示了障碍物类型识别的训练拟合结果，从中可以看出，模型在约迭代1,000次时开始收敛，并且在导线附近样本的金具类型训练中表现出良好的拟合效果。

在距离估计中，参数通过最小均方误差进行更新，使预测结果接近实际距离，如图9所示：

图9从左到右分别展示了像素坐标$(x, y)$和距离$d$（圆越大表示$d$越大，距离越远）的正式表示形式，以及图像标记点（黑点）相对于预测距离（红圈）的偏差程度。右图中的黑点之间相距5厘米，红圈表示基于参数每隔5厘米计算得到的距离点。表10显示了预测值与实际距离之间的偏移量。误差在1到2米的范围内，基本小于5厘米，满足实际工作要求。

四、结论

本文提出了一种基于深度学习的障碍物识别、检测与距离测量方法，以解决架空线路巡检机器人在自主运行过程中遇到的障碍物识别与距离测量问题。通过导线区域的图像分割确定障碍物的大致位置，从而实现更高效、准确的障碍物检测。通过训练障碍物图像ROI的分类器确定障碍物的具体类型。通过距离数据标注拟合实际距离与像素坐标之间的非线性关系，以近似预测实际距离。实验表明，所提出的方法是一种有效的障碍物识别与距离测量方法，提高了巡检机器人的自主性和智能化水平。