43、皮鞋抛光与道路路缘检测技术方案解析

皮鞋抛光与道路路缘检测技术方案解析

皮鞋抛光工艺

在皮鞋抛光过程中，最初是由操作人员手动完成。开始时需对鞋子进行目视检查，以此明确所需鞋油颜色以及为使鞋油涂抹均匀需重复操作的次数。接着将鞋楦插入鞋内以增加其硬度。
手动抛光的第一步包含四个主要操作：
1. 操作人员把布放在手指上，通过手指在容器内施加压力蘸取鞋油。
2. 将蘸取的多余鞋油在白色水龙头上擦拭掉，避免首次接触鞋子时染色，影响整个抛光效果。
3. 根据想要赋予鞋子的色调和色泽，从不同点开始涂抹鞋油，因为这些点的色泽最为明显。
4. 重复上述步骤若干次。

第二阶段执行相同操作，但使用不同稠度和粘度的鞋油。步骤 1 和步骤 2 分别重复 n 和 m 次，n 和 m 根据抛光过程的效果而定。

随后，采用协作机器人复制此过程完成首个抛光步骤，这一步对操作人员来说最为精细和费力，之后由操作人员完成最后的抛光步骤。选用直径 30 毫米、固定旋转轴且角速度为 3000 rpm 的抛光工具，仅对鞋头部分进行抛光，使用的是覆盖皮革的刚性鞋楦。

为避免机器人在皮革上留下条纹痕迹，借助 NX 制造软件和“多轴沉积”处理，设计了 16 种不同类型的轨迹来处理鞋头区域。将鞋子的 3D CAD 模型划分为多个区域，鞋头为其中一个区域，从鞋底边缘线等引导线开始在鞋头表面设计路径。这些轨迹的起点和终点不同，有锯齿形或螺旋形等不同路径，相邻线间距在恢复抛光后的第一条路径和恢复抛光前的最后一条路径为 5 毫米，其他为 8 毫米。在实验抛光过程中，鞋油在轨迹 1 前和轨迹 9 前各蘸取一次，机器人将工具与容器接触两秒蘸取鞋油，随后在半球形表面擦拭多余鞋油并使其均匀，再开始不同轨迹的抛光。

协作机器人上的工艺实现

要在协作机器人（如 UR5e）上实现抛光工艺，需从 NX 制造生成的轨迹生成机器人程序。设置 NX 多轴沉积路径后，可导出包含垂直于鞋子表面路径姿态列表的 .cls 文件。在 ROBODK 软件中复制机器人系统，将 UR5e 倒置并加载鞋子的 3D CAD 模型。通过“机器人加工项目”将轨迹的 .cls 文件导入 ROBODK，设置正确参数后，可使用 UR5e 运行在 NX 中设计的抛光过程。从 ROBODK 通用机器人后处理器导出编译后的 URscript，并添加控制力设置等命令，为每个轨迹生成 URscript 并在真实机器人上执行，所有轨迹姿态均参考鞋子坐标系。

接触力通过安装在机器人法兰上的 UR5e 力扭矩传感器控制，该传感器确保与皮革接触时具有良好的灵敏度。为实现沿工具方向不断变化的控制力，实施了一个频率为 100 Hz 的线程，不时更新工具位置并在工具方向施加 5 N 的力，此值通过多次试验确定，能保证良好的抛光质量。工具末端在衬垫前有一个弹簧，有助于机器人在表面垂直方向的顺应运动并保持力恒定。

实验测试与结果

进行实验测试时，将鞋子形状放置在专门构造的、精确复制鞋跟形状的支撑物上。通过机器人获取三个不同点来确定支撑物参考系统的位置和方向，从而得知鞋子参考系统的位置。

抛光效果取决于三个主要参数的恰当平衡：对鞋子施加的力、执行轨迹的重复次数以及运动速度。速度既不能过高，否则鞋油无法沉积；也不能过低，否则会影响周期时间。完成整个抛光过程后，由专业皮革抛光化学实验室对抛光后的鞋头进行仔细目视检查和其他化学测试，结果表明抛光满足鞋子抛光质量标准，可与手工抛光的第二阶段前的效果相媲美。目前，鞋类公司选择让人类和机器人在激光扫描仪监控的不同区域工作，但两者协作也是可行的。

道路路缘检测系统

随着智慧城市概念的发展，对城市环境中作业的多功能车辆的先进技术解决方案需求不断增加。现代道路清扫车具备多种维护道路质量和城市清洁的系统，如刷子、吸尘器等，且机动性强。引入自主性到这些控制系统可减轻操作人员负担，提高工作效率和整体安全性，对工人健康产生积极影响。

为实现支持自主道路清扫的 3D 路缘检测系统，采用了基于视觉的方法，利用立体深度估计和预训练的语义分割模型，同时还实现了一个简单的基于 LiDAR 的路缘检测基线。收集了与实际应用场景相似的驾驶序列数据集进行定性实验。

数据集收集

使用 Lynx 多功能车辆收集数据集，在正常天气条件下的白天，通过七次每次约 15 分钟的不同驾驶序列收集数据。在车辆上安装了由两个彩色相机和一个固态 LiDAR 组成的定制传感器装置，该装置通过两个真空板固定在车辆挡风玻璃内侧，并使用额外绑带确保安全。

相机为 FLIR 的 Blackfly S GigE 彩色相机，具有 2048 × 1536 的高图像分辨率和 35 帧/秒的高帧率；LiDAR 为 RS-LiDAR-M1，适用于量产车辆，具有长达 200 米的探测范围、120°的水平视场和 25°的垂直视场，水平分辨率为 0.2°，运行频率为 10 Hz。

在每次驾驶序列前后进行校准，以检查相机和 LiDAR 的内在和外在参数是否有显著变化。相机通过以太网供电（PoE）交换机供电，LiDAR 有自己的电源但也连接到同一交换机，通过通用精确时间协议（gPTP）同步相机和 LiDAR 的测量。LiDAR 驱动支持机器人操作系统（ROS），对 FLIR 相机驱动进行修改并封装为 ROS 节点。

路缘检测方法

实现了两种路缘检测方法，所有处理组件均作为 ROS 节点，使用 Python 和 C++ 实现。
- 基于视觉的路缘检测 ：仅使用彩色图像估计属于道路路缘的 3D 点。开发的管道包括立体深度估计和语义图像分割模型，模型的类别定义中包含“路缘”。使用半全局匹配（SGM）算法恢复深度图，该算法结合了全局和局部立体方法的概念进行像素级匹配，采用 OpenCV 的公开实现。为识别 RGB 图像中的路缘，使用语义分割输出像素级标签，选择了 Intel 开发的预训练道路分割模型，该模型将每个像素分为道路、路缘、标记和背景四类。在 Mighty AI 数据集的 500 张图像上评估，路缘类的平均交并比（mIOU）为 0.727，准确率为 83.1%，计算效率高，适用于实际应用。使用 Intel 的神经计算棒 2（NCS2）进行模型推理，在收集的数据上进行定性实验，模型在数据集上表现良好，能成功检测不同类型的道路边缘。

以下是皮鞋抛光和路缘检测的流程总结表格：
| 项目 | 步骤 | 详情 |
| — | — | — |
| 皮鞋抛光 | 手动抛光 | 目视检查、插入鞋楦、涂抹鞋油、不同阶段使用不同鞋油、设计轨迹 |
| | 机器人实现 | 生成机器人程序、导入轨迹文件、设置参数、控制接触力 |
| | 实验测试 | 放置鞋子在支撑物上、确定参考系统、评估抛光效果 |
| 路缘检测 | 数据集收集 | 安装传感器装置、收集驾驶序列数据、校准参数 |
| | 检测方法 | 视觉方法（立体深度估计、语义分割）、LiDAR 方法 |

mermaid 流程图如下：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px

    A(皮鞋抛光):::process --> B(手动抛光):::process
    A --> C(机器人实现):::process
    A --> D(实验测试):::process
    B --> B1(目视检查):::process
    B --> B2(插入鞋楦):::process
    B --> B3(涂抹鞋油):::process
    B --> B4(不同阶段使用不同鞋油):::process
    B --> B5(设计轨迹):::process
    C --> C1(生成机器人程序):::process
    C --> C2(导入轨迹文件):::process
    C --> C3(设置参数):::process
    C --> C4(控制接触力):::process
    D --> D1(放置鞋子在支撑物上):::process
    D --> D2(确定参考系统):::process
    D --> D3(评估抛光效果):::process

    E(路缘检测):::process --> F(数据集收集):::process
    E --> G(检测方法):::process
    F --> F1(安装传感器装置):::process
    F --> F2(收集驾驶序列数据):::process
    F --> F3(校准参数):::process
    G --> G1(视觉方法):::process
    G --> G2(LiDAR 方法):::process
    G1 --> G11(立体深度估计):::process
    G1 --> G12(语义分割):::process

皮鞋抛光与道路路缘检测技术方案解析

基于 LiDAR 的路缘检测

基于 LiDAR 的路缘检测方法仅在点云数据上操作。LiDAR 能够实时获取周围环境的三维点云信息，为路缘检测提供了丰富的数据基础。

具体操作步骤如下：
1. 点云数据采集 ：利用安装在道路清扫车上的 RS - LiDAR - M1 固态 LiDAR 采集道路周围的点云数据。该 LiDAR 具有 120°的水平视场和 25°的垂直视场，能够覆盖较大范围的道路区域。
2. 数据预处理 ：对采集到的原始点云数据进行预处理，包括去除噪声点、滤波等操作，以提高数据的质量和后续处理的准确性。
3. 特征提取 ：从预处理后的点云数据中提取与路缘相关的特征，例如点云的密度变化、高度变化等。路缘通常表现为点云在垂直方向上的明显变化，通过分析这些特征可以初步确定路缘的可能位置。
4. 路缘识别 ：根据提取的特征，使用合适的算法（如聚类算法、边缘检测算法等）对路缘进行识别和定位。将符合路缘特征的点云区域标记为路缘。

以下是基于 LiDAR 的路缘检测步骤列表：
| 步骤 | 操作内容 |
| — | — |
| 点云数据采集 | 使用 RS - LiDAR - M1 采集道路周围点云数据 |
| 数据预处理 | 去除噪声点、滤波 |
| 特征提取 | 提取点云密度、高度变化等特征 |
| 路缘识别 | 使用聚类、边缘检测等算法识别路缘 |

校准过程

在道路路缘检测系统中，校准过程至关重要，它能够确保相机和 LiDAR 之间的数据准确对齐，从而提高路缘检测的精度。

校准过程分为相机校准和相机与 LiDAR 的联合校准：
1. 相机校准 ：
- 准备校准板：使用具有已知特征点的校准板，如棋盘格校准板。
- 采集图像：在不同位置和角度下，使用安装在道路清扫车上的两个 FLIR Blackfly S GigE 彩色相机采集校准板的图像。
- 计算参数：通过对采集到的图像进行处理，计算相机的内参（如焦距、主点位置等）和外参（如相机的旋转和平移参数）。
2. 相机与 LiDAR 的联合校准 ：
- 同步数据采集：同时采集相机的图像数据和 LiDAR 的点云数据。
- 特征匹配：在图像和点云数据中找到对应的特征点，例如通过在图像中识别校准板的角点，在点云数据中找到对应的三维点。
- 计算变换矩阵：根据匹配的特征点，计算相机和 LiDAR 之间的变换矩阵，从而实现两者之间的坐标对齐。

校准过程的流程图如下：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px

    A(校准过程):::process --> B(相机校准):::process
    A --> C(相机与 LiDAR 联合校准):::process
    B --> B1(准备校准板):::process
    B --> B2(采集图像):::process
    B --> B3(计算参数):::process
    C --> C1(同步数据采集):::process
    C --> C2(特征匹配):::process
    C --> C3(计算变换矩阵):::process

总结与展望

皮鞋抛光和道路路缘检测这两个看似不同的领域，都在借助先进的技术实现自动化和智能化。皮鞋抛光通过协作机器人实现了部分工序的自动化，提高了抛光质量和效率，减轻了工人的劳动强度。道路路缘检测系统则利用计算机视觉和 LiDAR 技术，为道路清扫车的自主作业提供了支持，有助于提高城市道路清扫的效率和安全性。

然而，这两个领域仍然存在一些挑战和改进空间。在皮鞋抛光方面，虽然目前的自动化抛光效果能够满足一定的质量标准，但周期时间较长，未来可以通过调整抛光速度、优化抛光次数等方式进一步提高效率。在道路路缘检测方面，基于视觉和 LiDAR 的方法在不同的环境条件下可能会受到一定的影响，例如光照变化、恶劣天气等，需要进一步研究和改进算法，提高系统的鲁棒性。

未来，随着技术的不断发展，我们可以期待看到更多先进的自动化和智能化解决方案应用于各个领域，为人们的生活和工作带来更多的便利和效益。例如，在皮鞋制造行业，可能会实现整个生产流程的自动化；在城市环卫领域，道路清扫车可能会实现完全自主作业，大大提高城市清洁的效率和质量。

以下是皮鞋抛光和道路路缘检测的挑战与改进方向表格：
| 领域 | 挑战 | 改进方向 |
| — | — | — |
| 皮鞋抛光 | 周期时间长 | 调整抛光速度、优化抛光次数 |
| 道路路缘检测 | 受环境条件影响大 | 改进算法，提高系统鲁棒性 |