自动驾驶与transformer大模型的前世今生

最新推荐文章于 2025-03-16 14:23:42 发布

转载最新推荐文章于 2025-03-16 14:23:42 发布 · 458 阅读

CC 4.0 BY-SA版权

原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247559564&idx=1&sn=849bd9ef53029f4005e727e607de564d&chksm=ceb9c445f9ce4d537b8951e33d9b30a374b2e9cc88ad537c94d7ae1dc051ced75a7f2f640617&scene=126&sessionid=0

文章标签：

#自动驾驶 #transformer #人工智能 #机器学习 #深度学习

Transformer到来之前，包括自动驾驶、自然语言在内的整个人工智能领域都生活在一片“天下苦秦久矣”的环境中，算法模型制约着整个产业的进步。

Transformer以及BETR出来以后，便开始在NLP领域一统江湖。随着这几年的发展，在各种视觉基准数据集上，Vision Transformer已经逐步替代掉了以往的CNN结构，并且整体架构更加简单。自动驾驶技术在最近几年的快速进展，正是得益于深度学习算法在自动驾驶领域的应用，特别是Transformer这一深度网络模型，就像打通自动驾驶的“任督二脉”一样，对于自动驾驶技术的成熟，在未来的3-5年当中，将发挥着举足轻重的作用。

近期，基于Transformer的多模态大模型以及AIGC生成方向等方向也成为了业界和学界的研究热点。Transformer可以充分发挥大数据的价值，而想要让Transformer全力输出，就需要海量数据的支持。正好大模型在自动驾驶上数据标注以及模型蒸馏上也有着广泛的应用。

自动驾驶是高安全型应用，需要高性能和高可靠的深度学习模型，Vision Transformer是理想的选择。现在主流的自动驾驶感知算法基本都使用了Vision Transformer相关技术，比如分割、2D/3D检测，以及最近大火的大模型（如SAM），Vision Transformer在自动驾驶领域的落地方面遍地开花。另一方面，在自动驾驶或图像处理相关算法岗位的面试题中，Vision Transformer是必考题，需要对其理论知识有深入理解，并且在项目中真实的使用过相关技术。

如何入门学习？

视觉Transformer的设计思想与之前的CNN一个手工设计上有很大的不同，理解上并不是很直观，自学入门并不简单。许多同学在刚学习的时候往往不知道如何下手，大多数人不清楚如何将Vision Transformer应用到特定任务，例如，如何设计具体模型结构来做感知任务，如何根据自己的业务需要选择更合适的Transformer模型，如何把视觉大模型应用到自己的业务或者研究任务上等等。

为此，在深入调研大家的需求后，我们自研了一套自动驾驶与transformer大模型的教程，选择了行业主流的Vision Transformer感知的基础及应用算法，主要包括基于ViT的分割、检测、大模型、以及在自动驾驶感知的应用等。从0到1为大家详细展开网络结构设计、算法优化、实战等方方面面。

开学季优惠！扫码领取

内容非常详细，梳理整个领域一些通用的设计原则以及研究进展，紧跟22年以后的一些新的方法与研究热点问题。紧密结合实战，帮助大家更好地理解算法的实现细节，系统和全面地介绍基于Transformer的分割与检测模型。这是国内首门完整的视觉Transformer理论与实战教程，一骑绝尘！ 特别适合刚入门的小白以及需要在业务上从事自动驾驶感知或图像算法的同学，也很适合想要系统地了解新方向的其他方向从业人员。

课程大纲如下：

主讲老师

Tiger老师，top2博士，新加坡国立大学博士后，业界研究员。目前主要研究方向：图像视频检测与分割，多模态场景理解，物体跟踪，多模态大模型。曾在计算机视觉顶会（CVPR、ECCV、ICCV、NeurIPS、ICLR等）/顶刊（T-PAMI，IJCV，TIP）等发表相关论文近30篇，其中以第一作者发表15篇。熟悉常用的分割与检测算法的设计与具体实现。指导过超过6个以上的低年级博士以及硕士生发表过顶会论文。