OpenCV与AI深度学习 | 实战 | 通过微调SegFormer改进车道检测效果（数据集 + 源码）

最新推荐文章于 2025-03-28 10:20:03 发布

双木的木

最新推荐文章于 2025-03-28 10:20:03 发布

阅读量1.3k

点赞数 24

分类专栏：深度学习拓展阅读 CV-目标检测专栏文章标签：人工智能 opencv 深度学习 AIGC 计算机视觉 python transformer

本文链接：https://blog.youkuaiyun.com/csdn_xmj/article/details/139563829

版权

本文来源公众号“OpenCV与AI深度学习”，仅用于学术分享，侵权删，干货满满。

原文链接：实战 | 通过微调SegFormer改进车道检测效果（数据集 + 源码）

1 背景介绍

SegFormer：实例分割在自动驾驶汽车技术的快速发展中发挥了关键作用。对于任何在道路上行驶的车辆来说，车道检测都是必不可少的。车道是道路上的标记，有助于区分道路上可行驶区域和不可行驶区域。车道检测算法有很多种，每种算法都有各自的优缺点。

在本文中，我们将使用Berkeley Deep Drive数据集对HuggingFace（Enze Xie、Wenhai Wang、Zhiding Yu 等人）中非常著名的SegFormer 模型进行微调，以对车辆的POV视频进行车道检测。此实验甚至适用于处理起来很复杂的夜间驾驶场景。

2 车道检测在ADAS中的作用

总体而言，车道检测对ADAS系统产生了深远影响。让我们在这里探讨其中的几个：

车道保持：除了警告系统之外，车道检测也是车道保持辅助 (LKA) 技术不可或缺的一部分，它不仅可以提醒驾驶员，还可以采取纠正措施，例如轻柔的转向干预，以使车辆保持在车道中央。
交通流分析：车道检测使车辆能够了解道路几何形状，这在合并和变道等复杂驾驶场景中至关重要，并且对于根据周围交通流量调整速度的自适应巡航控制系统至关重要。
自动导航：对于半自动或自动驾驶汽车，车道检测是使车辆能够在道路基础设施内导航和保持其位置的基本组件。它对于自动驾驶算法中的路线规划和决策过程至关重要。
驾驶舒适度：使用车道检测的系统可以接管部分驾驶任务，减少驾驶员疲劳，提供更舒适的驾驶体验，尤其是在高速公路长途行驶时。
道路状况监测：车道检测系统也有助于监测道路状况。例如，如果系统持续检测到车道标记不清晰或根本没有车道标记，则可以反馈此信息以用于基础设施维护和改进。

3 伯克利Deep Drive数据集

Berkeley Deep Drive 100K (BDD100K) 数据集是从各个城市和郊区收集的各种驾驶视频序列的综合集合。其主要用于促进自动驾驶的研究和开发。该数据集非常庞大，包含约100,000 个视频，每个视频时长 40 秒，涵盖各种驾驶场景、天气条件和一天中的时间。BDD100K 数据集中的每个视频都附有一组丰富的帧级注释。这些注释包括车道、可驾驶区域、物体（如车辆、行人和交通标志）的标签以及全帧实例分割。数据集的多样性对于开发强大的车道检测算法至关重要，因为它可以将模型暴露给各种车道标记、道路类型和环境条件。

在本文中， BDD100K 数据集的10% 样本用于微调 SegFormer 模型。这种子采样方法允许更易于管理的数据集大小，同时保持整个数据集中存在的整体多样性的代表性子集。10% 的样本包括10,000 张图像，这些图像是经过精心挑选以代表数据集的全面驾驶条件和场景。

让我们看一下示例数据集中的一些示例图像和标注掩码：

从上图可以看出，对于BDD数据集中的每个图像，都有一个有效的真实二进制掩码，可协助完成车道检测任务。这可以视为一个2 类分割问题，其中车道由一个类表示，背景是另一个类。在这种情况下，训练集有7000张图像和掩码，有效集有大约3000张图像和掩码。

接下来，让我们为这个实验构建训练管道。

4 代码演练

在本节中，我们将探讨使用 BDD 数据集微调HuggingFace SegFormer 模型（本文还解释了内部架构）所涉及的各种过程。

4.1 先决条件

'BDDDataset' 类的主要目的是高效地从指定目录加载和预处理图像数据及其相应的分割掩码。它负责以下功能：

使用路径加载图像及其对应的蒙版。
图像转换为 RGB 格式，而蒙版转换为灰度（单通道）。
然后将掩码转换为二进制格式，其中非零像素被视为车道的一部分（假设车道分割任务）。
将蒙版调整大小以匹配图像尺寸，然后转换为张量。
最后，将掩码阈值化回二进制值并转换为 LongTensor，适合 PyTorch 中的分割任务。

class BDDDataset(Dataset):
    def __init__(self, images_dir, masks_dir, transform=None):
        self.images_dir = images_dir
        self.masks_dir = masks_dir
        self.transform = transform
        self.images = [img for img in os.listdir(images_dir) if img.endswith('.

最低0.47元/天解锁文章