《Towards End-to-End Lane Detection: an Instance Segmentation Approach》论文阅读之LaneNet + H-Net

最新推荐文章于 2025-05-14 13:13:46 发布
最新推荐文章于 2025-05-14 13:13:46 发布
阅读量1.6k 收藏 12
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 无人驾驶 文章标签： LANE DETECTION
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Gavinmiaoc/article/details/88734517
本文详细解读了《Towards End-to-End Lane Detection: an Instance Segmentation Approach》论文，介绍了如何利用深度学习模型LaneNet和H-Net进行端到端的车道检测。LaneNet结合语义分割和实例分割，通过实例分割分支对像素进行聚类，而H-Net通过学习变换矩阵以适应不同图像的地平线变化，提高了车道线拟合的准确性。实验证明，该算法在tuSimple数据集上达到了96.4%的准确率和52FPS的处理速度。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文将对论文Towards End-to-End Lane Detection: an Instance Segmentation Approach进行解读。这篇论文是于2018年2月挂在arxiv上的。

摘要

当今很多车都带有辅助驾驶员的驾驶的功能，比如车道保持功能。该功能能使车辆保持在车道间的适当位置，这个功能对于有潜在车道偏离或者自动驾驶中的轨迹规划和决策都至关重要。传统的车道检测方法依赖于高度定义化，手工特征提取和启发式方法，通常是需要后处理技术，而这往往会使得计算量大，不利于道路场景多变下的应用扩展。最近越来越多的方法是借助深度学习建模，为像素级的车道分割做训练，即使当在大的感受野中并无车道标记的存在。尽管这类方法有他们的优势，但他们受限于检测一个预训练的，固定数量的车道线（比如本车道）问题，且无法处理车道变化。 本文，我们突破了前面提到的限制，将车道检测问题转为实例分割问题，从而每个车道线各自形成一个实例，这样就能够实现端到端的训练了。在分割车道线用于拟合车道之前，我们进一步提出采用一个已学习好的透视变换，在图像上做这种调整，与固定的鸟瞰图做对比。通过这么做，我们确保在道路平面变化下的车道线拟合的鲁棒性，不同于现有依赖于固定的且预先定义的透视变换矩阵的方法。总结就是，我们提出了一种快速车道检测的算法，运行帧率达50fps，能够处理多数车道和车道变换。本算法在tuSimple数据集中验证过且取得较有优势的结果。

主要贡献是两点，一个是利用

了解本专栏 订阅专栏 解锁全文 超级会员免费看
车道线检测Towards End-to-End Lane Detection: an Instance Segmentation Approach论文解读
sinat_24674017的博客
07-19 1322
论文链接 https://arxiv.org/pdf/1802.05591.pdf 动机 传统车道线检测算法不够灵活，对于不同的检测场景缺少适应性。而基于深度学习的算法在做语义分割后需要进行后处理区分，但是后处理往往计算量大，缺乏灵活性。有些算法对车道线进行分类，直接通过类别对各个车道线进行区分，但这个方法使得可预测的车道线数量固定，只能检测ego lane，当车道线数量变化时，无法适应 贡献 ...
[车道线检测论文学习] Towards End-to-End Lane Detection: an Instance Segmentation Approach
Holeung blog
04-29 1335
车道线检测 Towards End-to-End Lane Detection: an Instance Segmentation Approach Abstract Semantic Instance Segmentation with a Discriminative Loss Function Pipeline Loss Function Curve fitting Exper...
车道线检测--Towards End-to-End Lane Detection: an Instance Segmentation Approach
AI小作坊 的博客
04-26 2652
Towards End-to-End Lane Detection: an Instance Segmentation Approach In IEEE Intelligent Vehicles Symposium (IV’18) https://github.com/MaybeShewill-CV/lanenet-lane-detection 以前的CNN网络将所有的车道线检测出来，没做区分，需...
深度学习车道线检测：LaneNet+H-Net综合应用
weixin_42613018的博客
05-14 775
LaneNet模型由两个主要的子网络组成：一个用于分割车道线的语义分割网络，以及一个用于检测车道线端点的实例分割网络。这种分割网络的设计主要是为了处理图像中车道线的密集特征，以准确地绘制出车道线的路径。实例分割网络则关注于图像中车道线的具体像素点，这对于端点的检测至关重要。在训练车道线检测模型之前，需要对模型参数进行初始化与配置。在深度学习中，参数的初始化对模型的收敛速度和最终性能有着直接影响。
【论文笔记】 Towards End-to-End Lane Detection: an Instance SegmentationApproach
ctfabc4425的博客
07-02 3920
【论文笔记】 Towards End-to-End Lane Detection: an Instance SegmentationApproach ####论文链接：[https://arxiv.org/abs/1802.05591?context=cs](https://arxiv.org/abs/1802.05591?context=cs) 这篇论文是做车道线检测的，之前的检测...
车道线检测论文阅读：Towards End-to-End Lane Detection: an Instance Segmentation Approach
思矣远矣
07-29 4789
Towards End-to-End Lane Detection: an Instance Segmentation Approach 论文链接：https://arxiv.org/abs/1802.05591 代码链接：https://github.com/MaybeShewill-CV/lanenet-lane-detection (tf实现，并不完整，部分功能未实现) 因为最近的项目...
Lanenet 车道线检测网络模型学习（论文解读+官方模型）
热门推荐
c20081052的专栏
06-08 4万+
本文讲解的是用于车道线检测的一个网络结构叫lanenet， 转载请备注，多谢哈|！ 2018.2发表出来的，文章下载地址：https://arxiv.org/abs/1802.05591 github上代码：https://github.com/MaybeShewill-CV/lanenet-lane-detection 官方训练的模型文件（我下载的官方模型是2019.6.26...
自动驾驶车道线检测系列—3D-LaneNet: End-to-End 3D Multiple Lane Detection
u013889591的专栏
07-16 1511
我们介绍了一种网络，可以从单张图像直接预测道路场景中车道的3D布局。这项工作首次尝试使用车载传感设备来解决这一任务，而不假设已知的恒定车道宽度或依赖预先映射的环境。我们的网络架构，3D-LaneNet，采用了两个新概念：网络内逆透视映射（IPM）和基于锚点的车道表示。网络内IPM投影在常规图像视图和俯视图中促进了双重表示信息流。基于每列锚点的输出表示使我们能够采用端到端的方法，取代了常见的聚类和离群值拒绝等启发式方法，将车道估计视为目标检测问题。此外，我们的方法能够明确处理车道合并和分离等复杂情况。
3D-LaneNet+: Anchor Free Lane Detection using a Semi-Local Representation
weixin_56836871的博客
11-07 1003
动机： 对3D-LaneNet的改进； 特点 semi-local tile representation： breaks down lanes into simple lane segments whose parameters can be learnt 【CC】网格化，基于每个网格去学习Lane的特征；最后再通过NN合起来；这样天然就是Anchorfree的，并且支持不规则的/没有封闭的曲线 技术点： 3D-LaneNet： The first is a CNN architecture wi
基于实例分割方法的端到端车道线检测 论文+代码解读
Wincher's blog
01-19 8180
Towards End-to-End Lane Detection: an Instance Segmentation Approach 论文原文 https://arxiv.org/pdf/1802.05591v1.pdf 代码 https://github.com/hq-jiang/instance-segmentation-with-discriminative-loss-tensorflow （100% python） 前言 车道线检测的一篇很经典的论文，网上关于这篇论文的代码解读很
Towards End-to-End Lane Detection: an Instance SegmentationApproach
Recursions的博客
06-11 213
Towards End-to-End Lane Detection: an Instance Segmentation Approach
lane detect
04-22
lane detect c++
lane-detect_道路_道路线检测_车道线检测_车道检测_车道线_
09-30
车道线检测，对道路的车道线进行检测，检测道路线
lanenet-lane-detection:使用深度神经网络模型对车道网模型进行实时车道检测的非官方实现
05-10
LaneNet车道检测 使用tensorflow主要基于IEEE IV会议论文“走向端到端的车道检测：实例分割方法”，实现用于实时车道检测的深度神经网络。有关详细信息，请参阅他们的论文 。 该模型由编码器-解码器阶段，二进制语义分割阶段和使用判别损失函数的实例语义分割组成，用于实时车道检测任务。 主要的网络架构如下： Network Architecture 安装 该软件仅在带有GTX-1070 GPU的ubuntu 16.04（x64），python3.5，cuda-9.0，cudnn-7.0上进行了测试。 要安装此软件，您需要tensorflow 1.12.0，并且尚未测试其他版本的tensorflow，但我认为它可以在版本1.12以上的tensorflow中正常工作。 其他必需的软件包，您可以通过以下方式安装它们 pip3 install -r requirements.txt
lanenet车道检测：使用深度神经网络模型对车道网模型进行实时车道检测的非官方实现https：//maybeshewill-cv.github.iolanenet-lane-detection
02-05
LaneNet车道检测 使用tensorflow主要基于IEEE IV会议论文“走向端到端的车道检测：实例分割方法”，实现用于实时车道检测的深度神经网络。有关详细信息，请参阅其论文 。 该模型由编码器-解码器阶段，二进制语义分割阶段和使用判别损失函数的实例语义分割组成，用于实时车道检测任务。 主要的网络架构如下： Network Architecture 安装 该软件仅在带有GTX-1070 GPU的ubuntu 16.04（x64），python3.5，cuda-9.0，cudnn-7.0上进行了测试。 要安装此软件，您需要tensorflow 1.12.0，并且尚未测试其他版本的ten
LaneNet训练自己教程
03-06
车道线分割模型模型训练自己的数据该模型是属于二分类语义分割
文献阅读记录：Towards End-to-End Lane Detection: an Instance Segmentation Approach
路边的石头
01-25 636
Towards End-to-End Lane Detection: an Instance Segmentation Approach 面向端到端的车道线检测：实例分割方法 摘要 现代汽车正在整合越来越多的驾驶员辅助功能，其中包括自动车道保持。后者使汽车能够在道路车道内正确定位，这对于全自动汽车的后续车道偏离或轨迹规划决策也至关重要。传统的车道线检测方法依赖高度具体、人工特征和疑似特征的结合，通常采用后处理技术，这通常计算量很大且对于不同的道路场景可扩展。越来越多的新方法利用深度学习模型，为像素级车道分割
LaneNet-Towards End-to-End Lane Detection: an Instance Segmentation Approach代码复现(车道线检测)
路边的石头
03-23 745
数据生成 python data_provider/lanenet_data_feed_pipline.py --dataset_dir ./Tu Simple/train_set/training --tfrecords_dir ./data/training_data_example/tfrecords 训练 python tools/train_lanenet.py --net vgg --dataset_dir ./data/training_data_example -m 0 ...
《Towards End-to-End Lane Detection: an Instance Segmentation Approach》论文阅读
On my way
10-12 689
车道自动保持是一项重要的辅助驾驶功能，它依赖于车道线检测算法。传统的车道线检测算法依赖人为设计的特征和规则，以及后处理方法，因此计算量大且无法适应不同的场景。近期人们开始使用深度学习实现像素级的车道线分割，由于巨大的感受野，即使没有显著的特征的车道线也能检测出来。但是这些方法只能检测预定义好的固定数量的车道线，譬如ego-lanes方法；且无法处理车道线的变化。这篇文章中作者提出一种端到端的方法，将车道线检测作为一个实例分割问题来处理——每条车道线都是一个实例。
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks 这个论文相关方向的论文，可以复现的论文
最新发布
06-16
<think>我们正在寻找与FasterR-CNN相关的、可复现的实时目标检测论文，特别是那些包含区域提议网络（RPN）的改进或替代方案。FasterR-CNN本身虽然接近实时，但后续有许多工作进一步优化了速度和精度，并提供了可复现的代码（通常在GitHub上开源）。根据用户需求，我将重点介绍：1.核心的FasterR-CNN论文（基础）2.后续改进其速度或可复现性的关键论文（提供代码链接）3.其他使用RPN的实时检测框架注意：所有推荐论文均有公开代码实现（截至2023年），确保可复现性。###1.**核心可复现论文：FasterR-CNN(2015)**-**论文**：Ren,S.,He,K.,Girshick,R.,&Sun,J.(2015).FasterR-CNN:Towardsreal-timeobjectdetectionwithregionproposalnetworks.*AdvancesinNeuralInformationProcessingSystems*,28.-**代码实现**：-**官方实现(Matlab)**：https://github.com/ShaoqingRen/faster_rcnn(原始版本)-**PyTorch实现**：https://github.com/jwyang/faster-rcnn.pytorch(广泛使用，支持训练/测试)-**TensorFlow实现**：https://github.com/endernewton/tf-faster-rcnn-**复现说明**：这些代码库提供了完整的训练和测试流程，包括在PASCALVOC、COCO等数据集上的预训练模型。PyTorch版本更易复现，文档详细。###2.**优化速度/精度的可复现改进论文**####(1)**Light-HeadR-CNN(2017)**-**论文**：Li,Z.,etal.(2017).Light-headR-CNN:Indefenseoftwo-stageobjectdetector.*IEEEConferenceonComputerVisionandPatternRecognition(CVPR)*.-**贡献**：大幅减少FasterR-CNN头部计算量。使用轻量级R-CNN子网络（如1个全连接层）替代重型全连接层，速度提升至102FPS（ResNet-101），精度保持。-**代码**：https://github.com/zengarden/light_head_rcnn(PyTorch)-**复现性**：提供COCO训练脚本和预训练模型，易于复现实时性能。####(2)**CascadeR-CNN(2018)**-**论文**：Cai,Z.,&Vasconcelos,N.(2018).CascadeR-CNN:Delvingintohighqualityobjectdetection.*IEEEConferenceonComputerVisionandPatternRecognition(CVPR)*.-**贡献**：通过级联多个R-CNN检测器逐步优化边界框，显著提升精度（尤其对小目标）。虽非纯速度优化，但提供了高效实现。-**代码**：https://github.com/zhaoweicai/cascade-rcnn(Caffe,官方)或https://github.com/DetectionTeamUCAS/Cascade-RCNN-Tensorflow(TensorFlow)-**复现性**：官方Caffe代码完整，但需配置环境；TensorFlow版本更易使用。####(3)**LibraR-CNN(2019)**-**论文**：Pang,J.,etal.(2019).LibraR-CNN:Towardsbalancedlearningforobjectdetection.*IEEEConferenceonComputerVisionandPatternRecognition(CVPR)*.-**贡献**：从数据、特征和损失三个维度平衡FasterR-CNN的学习过程，提升精度（+2.3%mAP）且不显著增加计算量。-**代码**：https://github.com/open-mmlab/mmdetection/tree/master/configs/libra_rcnn(集成在MMDetection中)-**复现性**：基于PyTorch的MMDetection框架，一键训练/测试。###3.**结合RPN的单阶段实时检测器（更高FPS）**虽然单阶段检测器（如YOLO、SSD）不使用显式RPN，但部分工作将RPN思想融入单阶段框架以实现实时检测：####(1)**RefineDet(2018)**-**论文**：Zhang,S.,etal.(2018).Single-shotrefinementneuralnetworkforobjectdetection.*IEEEConferenceonComputerVisionandPatternRecognition(CVPR)*.-**贡献**：结合两阶段（RPN-like）和单阶段设计：先通过锚点精炼模块（类似RPN）过滤负样本，再传输特征到检测模块。在VOC上达到41.8%mAP/40FPS。-**代码**：https://github.com/sfzhang15/RefineDet(Caffe)-**复现性**：官方Caffe实现，提供预训练模型。####(2)**FoveaBox(2019)**-**论文**：Kong,T.,etal.(2019).FoveaBox:Beyondanchor-basedobjectdetection.*IEEETransactionsonImageProcessing*.-**贡献**：无锚点（anchor-free）检测器，但保留RPN的“区域提议”思想（通过特征图预测中心区域）。速度达50FPS（ResNet-50）。-**代码**：https://github.com/taokong/FoveaBox(PyTorch)-**复现性**：代码清晰，支持COCO训练。###4.**最新可复现RPN改进工作（2020-2023）**####(1)**DynamicR-CNN(2020)**-**论文**：Zhang,H.,etal.(2020).DynamicR-CNN:Towardshighqualityobjectdetectionviadynamictraining.*EuropeanConferenceonComputerVision(ECCV)*.-**贡献**：动态调整RPN的IoU阈值和回归损失参数，适应训练过程，提升精度（+1.6%mAP）。-**代码**：https://github.com/hkzhang95/DynamicRCNN(PyTorch)-**复现性**：基于MMDetection，易于集成。####(2)**SparseR-CNN(2021)**-**论文**：Sun,P.,etal.(2021).SparseR-CNN:End-to-endobjectdetectionwithlearnableproposals.*IEEEConferenceonComputerVisionandPatternRecognition(CVPR)*.-**贡献**：用固定数量的可学习提议框（learnableproposalboxes）替代RPN，减少计算量，实现端到端训练。速度达40FPS（ResNet-50）。-**代码**：https://github.com/PeizeSun/SparseR-CNN(PyTorch)-**复现性**：官方代码完整，提供COCO预训练模型。###总结推荐-**优先复现**：-**Light-HeadR-CNN**：速度最快（>100FPS），代码易用[^1]。-**SparseR-CNN**：创新RPN替代方案，平衡速度与精度[^2]。-**基础实现**：从**FasterR-CNNPyTorch版**开始，理解RPN机制[^3]。-**高级优化**：**DynamicR-CNN**或**LibraR-CNN**提升精度而不牺牲太多速度[^4][^5]。所有推荐论文均提供开源代码（PyTorch为主），确保可复现性。实验时注意硬件差异（如GPU型号）可能影响FPS。§§相关问题§§1.如何在自定义数据集上复现FasterR-CNN？2.Light-HeadR-CNN是如何减少计算量的？3.无锚点（anchor-free）检测器（如FoveaBox）与RPN有何区别？</think>以下是针对您需求的精选论文列表，这些论文不仅与 Faster R-CNN 核心思想相关，还具备良好的可复现性（均提供开源代码），并专注于实时目标检测和区域提议网络（RPN）的优化： --- ### 一、核心可复现改进论文 1. **Light-Head R-CNN (CVPR 2018)** - **标题**：Light-Head R-CNN: In Defense of Two-Stage Object Detector - **代码**：[GitHub - zengarden/light_head_rcnn](https://github.com/zengarden/light_head_rcnn) - **贡献**： - 将 Faster R-CNN 的检测头轻量化，用全局卷积网络（GCN）替代全连接层 - 速度提升至 **102 FPS**（ResNet-101）同时保持高精度（COCO mAP 41.5%） - RPN 与检测头共享特征，减少重复计算[^1] 2. **Faster R-CNN with FPN (CVPR 2017)** - **标题**：Feature Pyramid Networks for Object Detection - **代码**：[GitHub - facebookresearch/detectron2](https://github.com/facebookresearch/detectron2) - **贡献**： - 通过多尺度特征金字塔增强 RPN 对小目标的检测能力 - 在 COCO 数据集上 mAP 提升 **8.3%** - 官方实现支持 PyTorch，包含完整训练脚本[^2] 3. **Cascade R-CNN (CVPR 2018)** - **标题**：Cascade R-CNN: Delving into High Quality Object Detection - **代码**：[GitHub - zhaoweicai/cascade-rcnn](https://github.com/zhaoweicai/cascade-rcnn) - **贡献**： - 级联多个 R-CNN 检测器逐步优化 RPN 生成的候选框 - 在高速推理（20 FPS）下将误检率降低 **30%** - 提供 Caffe 和 PyTorch 版本[^3] --- ### 二、实时性优化方案 4. **ThunderNet (ICCV 2019)** - **标题**：ThunderNet: Towards Real-Time Generic Object Detection - **代码**：[GitHub - ouyanghuiyu/Thundernet_Pytorch](https://github.com/ouyanghuiyu/Thundernet_Pytorch) - **贡献**： - 专为移动端设计的轻量级 RPN + R-CNN 架构 - 在 ARM 芯片上达到 **24.1 FPS**（mAP 32.8% on COCO） - 完整训练/推理代码和预训练模型[^4] 5. **TridentNet (ICCV 2019)** - **标题**：Scale-Aware Trident Networks for Object Detection - **代码**：[GitHub - TuSimple/simpledet](https://github.com/TuSimple/simpledet) - **贡献**： - 通过并行多分支卷积增强 RPN 的多尺度鲁棒性 - 速度 11.8 FPS（ResNet-101），COCO mAP **48.4%** - 基于 MXNet 的工业级实现[^5] --- ### 三、RPN 结构创新 6. **GA-RPN (CVPR 2019)** - **标题**：Region Proposal by Guided Anchoring - **代码**：[GitHub - open-mmlab/mmdetection](https://github.com/open-mmlab/mmdetection) - **贡献**： - 用语义特征引导 RPN 的锚点生成，减少冗余计算 - 候选框质量提升 **12%**，推理速度提升 **1.5×** - 集成于 MMDetection 框架，支持即插即用[^6] 7. **Sparse R-CNN (CVPR 2021)** - **标题**：Sparse R-CNN: End-to-End Object Detection with Learnable Proposals - **代码**：[GitHub - PeizeSun/SparseR-CNN](https://github.com/PeizeSun/SparseR-CNN) - **贡献**： - 用可学习提议框替代传统 RPN，生成固定数量的高质量候选框 - 在 40 FPS 下达到 COCO mAP **44.5%**（ResNet-50） - PyTorch 实现包含完整训练流程[^7] --- ### 复现关键建议 1. **硬件要求**： - 大部分模型需 GPU（建议 ≥ 8GB 显存），ThunderNet 可在 ARM 设备运行 2. **数据集准备**： - 使用 [COCO](https://cocodataset.org) 或 [PASCAL VOC](http://host.robots.ox.ac.uk/pascal/VOC/) 标准化数据集 3. **框架选择**： - 优先选用 PyTorch 实现（MMDetection/detectron2），社区支持完善 > **性能对比**（参考值）： > | 模型 | 骨干网络 | FPS | COCO mAP | > |---|---|---|---| > | Faster R-CNN | ResNet-50 | 7.1 | 37.9% | > | Light-Head | Xception | 102 | 37.1% | > | ThunderNet | ShuffleNetV2 | 24.1 | 32.8% | > | Sparse R-CNN | ResNet-50 | 40 | 44.5% | --- ### 开源项目推荐 - **MMDetection**：集成 80+ 检测模型，包含所有 RPN 变种 ```bash pip install mmdet ``` - **Detectron2**：Facebook 官方实现，优化分布式训练 ```python from detectron2 import model_zoo model = model_zoo.get("COCO-Detection/faster_rcnn_R_50_FPN_3x.yaml") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值