端到端自动驾驶作为目前智驾量产的核心算法,可以分为一段式端到端、二段式端到端两个大的技术方向。这两年有非常多的工作如雨后春笋般涌现,以PLUTO为代表的二段式端到端思考如何用模型实现自车规划;以UniAD为代表的基于感知的一段式端到端不断发展进步;以OccWorld为代表的基于世界模型的一段式端到端开创了新流派;以DiffusionDrive为代表的基于扩散模型的一段式端到端开创了多模轨迹的新时代;随后基于VLM的一系列方法不断进化出自动驾驶VLA方向,开启了大模型时代下的端到端;
而传统的BEV感知、车道线、Occupancy等工作相对较少出现在顶会了,最近也有很多同学陆续来咨询峰哥,传统的感知、规划这块还能继续发论文吗?感觉工作都已经被做的七七八八了,审稿人会打高分吗?
说到传统的感知、规划等任务,工业界都还在继续优化方案!但学术界基本都慢慢转向大模型与VLA了,这个领域还有很多工作可以做的子领域......
但新的领域往往对初学者是陌生的,只有极少数科研能力强的人才有机会独立产出。如果您真的需要选择论文研究方向,我们建议向大模型、VLA靠拢。
如果您基础真的不好,也可以看看我们为大家准备好得VLA相关研究课题,欢迎加入学习。
直接给您IDEA,催着你努力、助力发表论文!还有最后2个名额,错过要等下一期了。
⼀、VLA科研论文辅导课题来啦⭐
解决只了解VLA零散知识,没有清晰的体系的问题,帮助同学系统掌握指定方向的重点理论知识,同时做适当拓展,让学员对指定方向内容形成更清晰的体系;
解决没有方向,动手能力差,无法复现论文,帮助同学将模型理论与代码实践相结合,协助同学开发设计新模型铺垫基础;能让学员将baseline深化拓展,形成自己的论文;
解决文章不会写、写了不会投的问题,帮助同学积累一套论文写作方法论、获得修稿指导与投稿建议。

二、招生人数⭐
6人/期(⾄多8人)
三、招生对象⭐
VLA与自驾方向的本硕博,希望获取论文创新思路;
申硕申博、国外留学,提升简历含金量;
有科研需求,想融会贯通的使用算法模型,了解前沿进展和方向;
从事自动驾驶与AI领域工作,想系统提升算法理论,高效掌握算法设计及创新思路,快速了解论文撰写技能;
四、课程收获⭐
经典论⽂、前沿论⽂和代码实现——创新点、baseline、数据集——选题⽅法、实验⽅法、写作⽅法、投稿建议
12周【在线小组科研】+2周【论文指导】+10周【论文维护期】。
获得对经典及前沿的典型论⽂的分析⽅法,理解重点算法与原理、清晰不同算法的优劣势,也促使⾃⼰对研究idea的思考;
即使⾃⼰没有想到合适的idea,也能得到⽼师提供的idea从⽽进⾏后续的研究过程(导师会给每位同学都准备⼀个idea);
获得Coding能⼒的增强,在⽼师准备的baseline代码和可⽤数据集上更⾼效展开研究和实验⼯作;
获得论⽂写作、⾃查、修改的⽅法论,以及关于投稿的⼀些建议;
撰写出⼀篇论⽂初稿(⾃⼰完全投⼊课程的学习与实践中,将可能会产出⼀篇不错的论⽂)。
五、招生要求⭐
基础要求
具备深度学习基础,对于自动驾驶算法有简单了解,熟悉掌握python语法,以及PyTorch的使用。
完成与老师在线的1v1面试
基础补齐
Python编程语言入门
深度学习与PyTorch框架
入学基础先修课(随到随学):补充基础知识、强化后期课程理解能力,减轻学习负担
硬件要求
最好具备8张4090显卡或以上设备性能的机器; 最低不少于4张4090显卡的设备。
可以考虑租赁云服务器。
软件要求
掌握基本的编程语言(python等),具备基础编程能力.
熟练使用PyTorch等深度学习框架的调用和调试.
最好具备Linux系统下开发调试的能力.
学习要求
每周上课前按时阅读相关资料并完成相关作业。
作业必须在规定时限内完成。
课上积极参与讨论、交流。
应该全勤。若晚交作业、上课请假等必须提前1⽇通知班主任和导师并说明理由。
保持学术诚信,拒绝剽窃。
每次课后自学时长至少1-2⼩时。
六、课程亮点
“2+1”式优质授课师资,更全面的学习支持
项目采用“2+1”多师制教学服务团队,为同学带来全方位的学习支持。
主导师由名校教授、研究院、行业导师担任,领衔授课;
在此之上,配备经验丰富的科研论文班主任,全程跟踪监督项目进展,解决同学学习过程中的每个所需。
全学习周期服务更专业的科研体验
依据多年累积的教研经验,项目精心设计了每个学习阶段的教学支持,保证学习效果。
这一学习经历从项目正式开始前就已展开,导师将先对同学个人基础知识水平进行测试,并有针对性地帮助同学进行学术通识准备,以更好地开展项目;
项目开始后,主讲导师将根据同学个人特点,进行教学指导,并基于评估系统对每位同学的表现进行密切跟踪,通过便捷的问题反馈机制及时优化教学流程;
项目后期,在同学准备项目报告时,导师将带领同学进行学术知识复习与回顾,并对报告内容进行指导。
同时,对于非学术性问题(上课时间、线上软件操作流程等)将由班主任老师进行服务解决,以便同学更加专注于学术知识的研究
高学术标准更深刻的项目收获
项目均配备科学制定的《学员守则》与《学员表现评估体系》,让学员在理解学术诚信重要性的同时,提前感受高标准学术经历的魅力。
项目结束后,同学将有丰富、立体、全面的产出与收获,从申请材料、个人经历的角度更高效地助力申博申硕留学等申请与就业。
产出包括论文初稿、项目结业证书、看学生优秀程度给推荐信。
七、课程大纲⭐
提供数据集:
数据集来自于公开数据集,根据具体的任务来需用。
如本课题的自动驾驶感知任务,可采用较为通用的自动驾驶数据集nuScenes,Waymo,Argoverse等。涉及VLA任务,可采用大语言模型配合生成等。
提供Baseline代码:
Baseline取决于具体的应用。
基于模仿学习的端到端自动驾驶:
https://github.com/hustvl/VAD
https://github.com/OpenDriveLab/UniAD
基于扩散模型的端到端自动驾驶:
https://github.com/hustvl/DiffusionDrive
https://github.com/OpenDriveLab/OccNet
基于VLA的端到端自动驾驶:
https://github.com/DriveVLA/OpenDriveVLA
https://github.com/RenzKa/simlingo
https://github.com/hustvl/Senna必读论文:
A Survey on Vision-Language-Action Models for Autonomous Driving
https://arxiv.org/abs/2506.24044Senna: Bridging Large Vision-Language Models and End-to-End Autonomous Driving
https://arxiv.org/abs/2410.22313SimLingo: Vision-Only Closed-Loop Autonomous Driving with Language-Action Alignment
https://arxiv.org/abs/2503.09594OpenDriveVLA: Towards End-to-end Autonomous Driving with Large Vision Language Action Model
https://arxiv.org/abs/2503.23463ORION: A Holistic End-to-End Autonomous Driving Framework
by Vision-Language Instructed Action Generation
https://arxiv.org/abs/2503.19755
参考时间安排:
以下为参考课表,最终时间安排以实际通知为准
八、服务方式
班主任:督学,跟进学习进度,
九、上课平台
腾讯会议直播+小鹅通回放
十、Q&A
Q1:没有基础怎么办?
A:前期课程安排为基础为主,实在跟不上,提供基础课程与前训论文,可在课下学习基础内容或读论文。Q2:我自己有课题,老师可以单独指导我这部分嘛?
A:不可以,老师不会指导非课程安排的方向,但如果方向差不多是可以做迁移的,学完我们的课用自己的数据集进行训练Q3:课程有效期及服务有效期是多久?
A:授课周期为3.5-4个月,答疑周期为6个月Q4:我们的课程能交付给学员比较大的价值是什么?
A:科研流程,写作方法,论文初稿