Ultra-Fast-Lane 车道线检测算法复现

0 . 前景

车道线检测算法可分为基于segment , heatmap , point.本文由于设备影响,要求速度较快,采用的是基于点回归的方式,最终输出的是点, 使用方程拟合车道线后计算轮胎和车道线的距离.
Ultra-Fast-Lane : github地址 , 论文地址

1.数据准备

复现本文一个采用了三个公开数据集, 分别是tusimple, CULane, CurveLanes. 由于三个数据集并不是同等大小,所以进行一定处理.
查看网络会发现,最终输入的尺寸高度要为32的整数倍,所以最终把图像尺寸修改为352*640.

图像尺寸设定

• tusimple : 原始尺寸:720*1280 所以将图像进行上方裁剪16个像素点,然后再等比例缩放2倍.
• CULane : 原始尺寸为590 * 1640 所以将图像左右裁剪284个像素点.
• CurveLanes: 原始图像为1440 *2560 所以将图像上方裁剪32个像素点,然后等比例缩放4倍.

注意: 就是将所有的数据进行缩放至352*640 ,并且尽量保证图像不失真. 如果不考虑图像失真问题,可以直接resize.

图像整理

处理后的图像为:

• gt_image : 为mask标签,需要注意的是,这个没根车道线的mask值不相同,第一条为1,第二条为2,依次类推,网络设置的是4条线,所以针对多的线,可以通过计算进行取舍,代码可以参考 ./scripts/convert_tusimple.py 代码,分别保留左右2条线.
  如果你需要检测更多的线,也可以修改对应线的数量,然后mask进行修改就行,分别设置1,2,3,4,5,6就行.

• images : 为原始图像.

最后整理成一个txt文档:

后面的1和0 代表的是线是否存在,这里可以省掉.

2.代码修改

数据读取

代码部分target_transformer 在后续的读取数据并未使用,这里可以不用设置,

• segmen_transformer: 用于mask图像进行resize, 为输入图像的1/8 , 352-> 44 ,640->80
• img_transformer: images图片的处理,由于我提前做了resize,所以我去掉了resize的过程.
• simu_transformer: 为images和gt_image 共同的操作,这里是首先旋转,然后左右和上下平移.

图像操作的顺序是先进行simu_transformer,然后segmen_transformer,最后img_transformer.
其中 segmen_transformer 和 img_transformer分开的,没有必然联系.

修改读取mask部分内容

这里我采用了不规则点读取,中间密集,下面稀疏,上面没有的原则, 如果你的mask缩放至352*640大小,则需要添加我标记的部分,不然程序无法读取到对应标签内容.
通过阅读这部分代码也会发现,并没有使用txt中后面的1和0 的标签值,所以不写没有影响.

检测头修改

文章主要是使用了resnet作为检测头,语义表达能力有所欠缺,这里我修改了一下,换成了yolo系列的检测头,
主要结构