LSTR: 基于Transformer的车道形状预测

最新推荐文章于 2024-09-13 09:06:41 发布
最新推荐文章于 2024-09-13 09:06:41 发布
阅读量1.9k 收藏 19
点赞数 20
分类专栏： 深度学习 神经网络 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_36315683/article/details/135986242
版权
本文介绍了LSTR，一种基于Transformer的车道形状预测模型，它通过端到端架构简化车道检测，具有超轻量级、低复杂度和训练友好的特点。LSTR在TuSimple数据集上表现优异，且不断更新支持新功能和数据集。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

LSTR: 基于Transformer的车道形状预测

在计算机视觉领域，车道检测是自动驾驶和智能交通系统中的关键技术之一。我们推出了一种名为LSTR的车道形状预测模型，它基于Transformer架构，实现了端到端的车道形状参数输出。本文将介绍LSTR模型的设计思想、功能特性以及应用场景。

项目背景与意义

传统的车道检测方法通常分为多个阶段，包括特征提取、车道线识别和拟合等，这些阶段需要大量的人工设计和调整，而且容易受到环境光照、路面情况等因素的影响。LSTR的出现将车道检测简化为单阶段任务，极大地提高了检测的准确性和效率。

LSTR模型的特点包括模型参数少、计算复杂度低、训练友好等，不仅在理论上具有吸引力，而且在实际应用中也表现出色。其在TuSimple数据集上达到了96.18%的准确率，为自动驾驶和智能交通领域的应用提供了可靠的技术支持。
在这里插入图片描述

LSTR的特性和功能

  • 😎 端到端架构: 直接输出车道形状参数，简化车道检测流程。
  • ⚡ 超轻量级: 模型参数仅有765,787个，适用于资源受限的环境。
  • ⚡ 超低复杂度: 计算复杂度仅为574.280M个乘加操作（MACs）。
  • 😎 训练友好: GPU内存消耗低，使用大小为(360, 640, 3)的输入图像，批量大小为16时，仅占用1245MiB的GPU内存。

最新更新

  • 【2021/12/03】🔥 我们的新作品《从单张图像学习预测3D车道形状和相机姿态：基于几何约束》已被AAAI2022接受！预印本论文和代码即将发布！
  • 【2021/11/23】: 我们现在支持自定义数据的训练和测试。
  • 【2021/11/16】: 修复了多GPU训练的问题。
  • 【2020/12/06】: 现在我们支持CULane数据集。

即将推出的功能

最低0.47元/天 解锁文章
用Transformer端到端车道形状预测Lane Shape Prediction with Transformers
Wincher's blog
06-01 1830
摘要 主流做法（特征提取和后处理）比较有用，但无法学习车道线的细长结构，学习过程有瑕疵。本文提出的端到段方法可以直接输出车道线的形状参数，transformer可以学习全局信息和车道线独有的结构。 引言 提出了个数据集 Forward View Lane (FVL)。 相关工作 和PolyLaneNet类似的思路，在这项工作中，我们的方法也期望参数输出，但不同之处在于这些参数来自车道形状模型，该模型对道路结构和相机姿势进行建模。 这些输出参数具有明确的物理意义，而不是简单的多项式系数。 此外，我们的网络是用
Transformer-Based Attention Networks for Continuous Pixel-Wise Prediction 基于Transformer注意力网络连续像素级与估计
MengYa_Dream的博客
11-10 4471
Transformer-Based Attention Networks for Continuous Pixel-Wise Prediction 基于Transformer注意力网络的连续的像素级的
C# Onnx LSTR基于Transformer的端到端实时车道线检测 源码
11-13
C# Onnx LSTR基于Transformer的端到端实时车道线检测 源码 博客地址： https://blog.youkuaiyun.com/lw112190/article/details/134369126
探索未来驾驶：LSTR——车道线形状预测与Transformer的完美结合
gitblog_00008的博客
06-08 572
探索未来驾驶：LSTR——车道线形状预测与Transformer的完美结合 LSTRThis is an official repository of End-to-end Lane Shape Prediction with Transformers.项目地址:https://gitcode.com/gh_mirrors/ls/LSTR 在这个自动驾驶和智能交通的时代，准确地预测车道线对于车辆...
C# Onnx LSTR 基于Transformer的端到端实时车道线检测
.NET 人工智能实践
11-13 626
C# Onnx LSTR 基于Transformer的端到端实时车道线检测
LSTR：基于Transformer的车道形状预测
最新发布
gitblog_00627的博客
09-13 1165
LSTR：基于Transformer的车道形状预测 LSTR This is an official repository of End-to-end Lane Shape Prediction with Transformers. ...
基于Tusimple数据集在windows cpu上跑通车道线检测算法LSTR
xywy2008的专栏
03-12 2259
在windows cpu上跑通车道线检测算法LSTR 项目地址：https://github.com/liuruijin17/LSTR 项目有两个分支，main分支是基于tusimple数据集的，culane分支是基于culane数据集的。 本文演示的是基于tusimple数据集的。 一、环境配置 方法一：根据官方的txt文件进行配置（耗时，而且不一定适用于windows系统，不太可行）。 方法二：从anaconda克隆一个环境取名为LSTR。 打开 Anaconda Promp.
LSTR：端到端变压器车道形状预测官方资源
- **车道形状预测（Lane Shape Prediction）**：这是一种计算机视觉技术，用于检测道路标线，并预测它们的几何形状。这在自动驾驶车辆和先进驾驶辅助系统(ADAS)中至关重要，因为它们需要准确的车道信息来实现安全...
ONNXRuntime部署LSTR Transformer实时车道线检测包含C++和Python源码+模型+说明.zip
05-02
ONNXRuntime部署LSTR Transformer实时车道线检测包含C++和Python源码+模型+说明.zip
车道线检测-LSTR-论文学习笔记
Learning
07-31 874
LSTR-车道线检测论文学习笔记
LSTR:这是使用变压器进行端到端车道形状预测的官方资料库
03-18
LSTR ：变压器的车道形状预测 :smiling_face_with_sunglasses:端到端架构：直接输出车道形状参数。 :high_voltage:超轻量级：模型参数的数量仅为765,787。 :high_voltage:超低复杂性：MAC的数量（1 MAC = 2 FLOP）仅为574.280M。 :smiling_face_with_sunglasses:易于培训：降低GPU内存成本。批处理大小为16的输入（360、640、3）使用1245MiB GPU使用率。 针对LSTR（带变压器的车道形状预测）的PyTorch（1.5.0）训练，评估和预训练模型。我们通过提出可达到96.18 TuSimple精度的新型车道形状模型，将车道检测简化为单阶段框架。 有关详细信息，请参见刘瑞金，袁泽健，刘铁，熊志良的《进行 。 :star: [CULane的LSTR]（请参阅）-2020-12-06 模型动物园 我们在./cache/nnet/LSTR/LSTR_500000.pkl（〜3.1MB）中提供了基线LSTR模型文件（经过500000次迭代在T
420 FPS！LSTR：端到端实时车道线检测新SOTA！
CV_Autobot的博客
02-28 1085
作者|CVer计算机视觉 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/331892664点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【车道线检测】技术交流群Transformer大法好！表现SOTA！性能优于PolyLaneNet等网络，速度可高达420 FPS！代码已开源！车道线检测是将车道标记识别为近似...
车道线检测：LSTR论文解析
Airs-Gao的博客
04-16 7069
车道线检测：End-to-end Lane Shape Prediction with Transformers论文解析1. Abstract2. Introduction3. Related Work4. Method4.1 车道形状模型（Lane Shape Model）曲线的重新参数化4.2 匈牙利拟合损失（Hungarian Fitting Loss）4.3 网络结构4.3.1 Backbone4.3.2 Encoder4.3.3 Decoder4.3.4 FFNs用于预测曲线参数5. Experi
[python]基于LSTR车道线实时检测onnx部署
FL1623863129的博客
02-03 903
在图像预处理阶段，算法会对输入的道路图像进行灰度化、降噪等处理，以提高图像的质量和识别效果。边缘检测是算法的核心部分，通过使用Canny算子等边缘检测算法，可以有效地检测出车道线的边缘。在车道线拟合阶段，算法会根据检测到的边缘点拟合出车道线的几何模型，如直线、圆弧等。总之，LSTR车道线检测算法是一种重要的计算机视觉技术，在智能交通和自动驾驶等领域具有广泛的应用前景。它基于图像处理和机器学习的技术，通过对道路图像进行分析和处理，提取出车道线的位置和方向等信息。【LSTR算法介绍】
实时车道线检测算法 | LaneATT-250FPS && LSTR-420FPS
热门推荐
weixin_42096202的博客
11-22 1万+
车道线检测领域突然飞速发展，关注一下 论文地址：https://arxiv.org/pdf/2010.12035.pdf Github地址：https://github.com/lucastabelini/LaneATT Abstract： 现有车道线检测方法在复杂的现实世界场景中已取得了卓越的性能，但是许多方法都存在运行实时效率的问题，这对于汽车的自动驾驶来说至关重要。在这项工作中，我们提出了LaneATT：基于anchor的深度车道线检测模型，类似于其他通用的深度目标检测器，该模型将anchors.
Long Short-Term Transformer for Online Action Detection 笔记
scarlet witcher的博客
10-11 1748
在线动作检测任务与普通的动作检测任务有很大区别，其目的是检测当前的视频帧是所属于哪一个类别，并且我们只有当前帧的之前帧的信息。在本文中，提出一个Long Short-Term Transformer（LSTR），通过长时和短时记忆来建模视频数据，模型由一个LSTR编码器，动态利用粗尺度的历史信息从一个扩展时间窗口（例如，2048帧跨越8分钟），连同一个LSTR解码器，从短时间窗口（例如，32帧跨越8秒）得到的精细特征。
LSTR环境安装
XCCCCZ的博客
07-13 1620
出来虽然两年了但依然是一个非常优秀的车道线检测模型，可以同来拓展检测其他线形，而且占用资源较少推理速度非常快。后来发现使用更高版本的python3.7或3.8 + torch1.12.1 导出onnx时可以使用参数do_constant_folding=True，并且导出的onnx用TensorRT8.4.1.5可以成功解析出engine。和导出onnx(github上源码里是没有提供导出onnx的脚本的，需要自己参考test.py以及通常导出onnx的写法自己写一个脚本)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

OverlordDuke

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值