【论文阅读】Enhanced real-time detection transformer (RT-DETR) for robotic inspection of underwater bridge

Enhanced real-time detection transformer (RT-DETR) for robotic inspection of underwater bridge pier cracks

发表期刊：Automation in Construction；发表时间：2024；
论文地址

摘要

视觉环境的不足降低了水下桥墩断裂检测的准确性。因此，本文建议改进RT-DETR模型的主干，作为YOLOv8模型的主干。这将通过用PKI模块取代C2F模块来实现，该模块由PKI模块和上下文锚定注意(CAA)块组成。它具有很强的区分裂缝和背景特征的能力，能够对水下桥墩裂缝进行准确识别。为了提供检测这些裂缝的数据，改进CycleGAN网络将陆上类型的桥梁裂缝图像转换为水下类型的断裂图像。该模型的F1得分为0.85，MAP50为0.84。FPS指数为87.47，有利于水下机器人对水下桥梁断裂的实时检测，优化了检测效率。

引言

桥梁桥墩在车流、风雨侵蚀、船舶意外撞击等引起的振动作用下，会产生不可避免的裂缝等缺陷。传统维护方法需要穿着蛙人工作服的专业潜水员通过肉眼观察检测，效率低、耗时长，并且存在重大的安全风险。此外，它还取决于蛙人的主观经验。温度追踪法是一种传统的检测水下混凝土建筑物裂缝的方法。它以热传导理论为基础，通过比较裂口和周围介质中热源的冷却速度来识别裂纹。然而，这需要在水下混凝土结构中预埋大量的检测隧道，这可能会影响水下桥墩的施工性能。由于水下环境的复杂性，视觉感知在水下环境中受到限制。为了解决这一问题，一些学者将水声技术应用于水下桥墩裂缝检测。然而，声纳探测水下桥墩断裂是一种成本较高的方法，而且容易受到其他水下因素的影响。它通常用作辅助设备。

水下混凝土裂缝数据的缺乏阻碍了计算机技术的发展，而批量数据的收集需要大量的经济、时间和人员成本。水下机器人(ROV)在水下资源开发和勘探中发挥着重要作用。与传统方法相比，其高效的数据收集大大减少了收集水下桥墩裂缝数据所需的时间。这些机器人越来越多地应用于各个行业。同时，水下机器人可以实现深度学习算法，提高水下桥墩断裂检测的精度。

为了解决上述问题，本文提出将水下桥墩裂缝检测算法(UCRT-DETR)与水下机器人相结合，实现对水下桥墩裂缝的实时识别。
首先，研究了水下环境的复杂性和RT-DETR检测模型的约束条件。为了适应水下桥墩裂缝和墙体变异性较小的情况，将RT-DETR算法的主干替换为YOLOv8主干。擅长检测细长物体的PKI模块取代了YOLOv8主干中的C2F模块。
其次，采用水下机器人检测桥墩断裂，采集了大量的桥墩墙体图像数据。针对水下桥墩裂缝数据集的稀缺性，采用改进的CycleGAN模型对水下桥墩墙体图像和陆上混凝土桥墩裂缝图像进行迁移，获得水下桥墩裂缝数据，为模型的检测提供训练支持。
为了评估改进的探测方法和风格迁移方法对模型整体性能的具体影响，我们将其与常用的YOLOv5s、YOLOv6s、YOLOv8s和RT-DETR探测模型和消融实验进行了比较。最后，在实际工程场景中，用水下机器人对桥墩裂缝实时检测性能进行了验证，从而展示了该方法的优越性。

方法

面临挑战： 在水下环境中，太阳红光的较长波长被部分吸收，导致水体呈现出蓝色、绿色等深色，水下桥墩被水体覆盖，其表面呈蓝绿色等深色，这使得水下桥墩裂缝与裂缝周围留言板之间的区分度较低，难以检测。其次，水中杂质会导致相机的映像效果出现雾化情况，这也是水下桥墩裂缝检测准确率低的一个原因。

RT-DETR: RT-DETR通过解耦尺度内相互作用和跨尺度融合处理多尺度特征，有助于检测不同尺寸的水下桥墩裂缝。 高效的RT-DETR混合编码器能够适应复杂的水环境变化。RT-DETR的IOU感知查询选择也能适应这种变化，提高不同水下视觉感知条件下的检测性能。因此，选择RT-DETR作为水下桥墩裂缝检测的基础模型。RT-DETR以ResNet为骨架。高效的混合编码器和IOU Sense查询选择适应复杂的水环境变化。然而，其主干网对裂缝和水下桥墩墙壁背景的特征提取差异较小