大模型在自动驾驶后期的落地与研究方向有哪些？-优快云博客

大模型在自动驾驶功能上的落地逐渐清晰化，理想、华为等公司开始推行自己的VLA、VLM方案。那么下一代大模型需要关注的点有哪些呢？

按照早期自动驾驶技术发展的规律，当数据和方案基本验证有效后，开始重点关注轻量化与硬件适配、知识蒸馏与量化加速、高效微调大模型等方向！

除此之外目前大火的CoT方案也是后期完成空间感知的重点，VLA+强化学习等高级推理范式也被行业重点关注。

这些问题是学术界和工业界亟需要解决的，相关的论文研究受到审稿人的青睐，国内外越来越多的团队正在从事相关方向研究。前面收到很多同学的求助，希望能够辅助开展大模型相关的论文指导研究，解决无人带发论文，缺乏指导的痛点。

自动驾驶之心联合业内知名大模型方向学者，开展了1v6的大模型论文指导小班课，解决无人带、易踩坑、不知如何写稿、投稿的难题。

⼀、课程介绍⭐

随着大语言模型（LLM）和多模态模型的快速发展，如何提升模型效率、扩展知识能力以及增强推理性能已成为当前人工智能研究的核心议题。本课程系统性地探讨大模型的前沿优化方法，重点研究参数高效计算、知识动态扩展和复杂推理三大方向的关键技术。

课程将深入分析大模型优化中的核心挑战：在参数压缩方面，研究剪枝稀疏化和量化加速等轻量化方法；在知识扩展方面，探索检索增强生成（RAG）和参数高效微调（PEFT）等动态知识注入技术；在推理优化方面，研究链式思维（CoT）和强化学习优化（GRPO）等高级推理范式。同时，课程还将探讨多智能体协作和多模态理解等前沿方向。

通过本课程的学习，你将掌握大模型优化的核心算法，包括但不限于：结构化剪枝、低比特量化、动态检索、角色化智能体、多跳推理等关键技术。课程采用理论讲解与实验实践相结合的方式，使用主流大模型（如LLaMA、GPT等）作为实验平台，重点培养学生在模型优化和推理增强方面的研究能力。

关键词：大模型优化；参数高效计算；检索增强生成；链式推理；多智能体协作；多模态理解

⼆、课程解决的问题

解决只了解大模型相关零散知识，没有清晰的体系的问题，帮助系统掌握指定方向的重点理论知识，同时做适当拓展，让学员对指定方向内容形成更清晰的体系；
解决没有方向，动手能力差，无法复现论文，帮助同学将模型理论与代码实践相结合，协助同学开发设计新模型铺垫基础；能让学员将baseline深化拓展，形成自己的论文；
解决⽂章不会写、写了不会投的问题，帮助同学积累⼀套论⽂写作⽅法论、获得修稿指导与投稿建议。

三、招生人数⭐

6⼈/期（⾄多8人）

四、招生对象⭐

大模型方向的本硕博，希望获取论文创新思路；
申硕申博、国外留学，提升简历含金量；
有科研需求，想融会贯通的使用算法模型，了解前沿进展和方向；
从事人工智能领域工作，想系统提升算法理论，高效掌握算法设计及创新思路，快速了解论文撰写技能；

五、课程收获

大模型经典论文、前沿论文和代码实现——创新点、baseline、数据集——选题方法、实验方法、写作方法、投稿建议；
12周【在线小组科研】+2周【论文指导】+10周【论文维护期】；
获得对大模型经典及前沿论文的分析方法，理解重点算法与原理、清晰不同算法的优劣势，也促使自己对研究idea的思考；
即使自己没有想到合适的idea，也能得到老师提供的idea从而进行后续的研究过程（导师会给每位同学都准备⼀个idea）；
获得Coding能力的增强，在老师准备的baseline代码和可用数据集上更高效展开研究和实验工作；
获得论文写作、自查、修改的方法论，以及关于投稿的一些建议；
撰写出⼀篇论⽂初稿（⾃⼰完全投⼊课程的学习与实践中，将可能会产出⼀篇不错的论⽂）；

六、招生要求

基础要求

具备深度学习/机器学习基础，对于大模型算法有简单了解，熟悉掌握python语法，以及PyTorch的使用，有一定的研究热情，不限制学历，整体授课深度将会根据同学们的基础做适当调整。

完成与老师在线的1v1面试，认可老师的能力，敢于提出问题和老师一起解决。

基础补齐

Python编程语言入门
深度学习与PyTorch框架
大模型基础，计算机视觉，自然语言处理，机器学习
LaTex语法写作

硬件要求

最好具备4张4090显卡或以上设备性能的机器；最低不少于2张4090显卡的设备
可以考虑租赁云服务器，或者与其他同学一起合作完成

软件要求

掌握基本的编程语言(python等),具备基础编程能力；
熟练使用PyTorch等深度学习框架的调用和调试；
最好具备Linux系统下开发调试的能力；
熟悉一些CUDA语法基础；
会使用cursor这样的代码辅助生成工具完成简单的开发；

学习要求

每周上课前按时阅读相关资料并完成相关作业；
作业必须在规定时限内完成；
课上积极参与讨论、交流；
应该全勤。若晚交作业、上课请假等必须提前1⽇通知班主任和导师并说明理由；
保持学术诚信，拒绝剽窃；
每次课后⾃学时⻓⾄少1-2⼩时；
其他要求（optional）；

七、课程大纲⭐

提供数据集：

数据集来自于公开数据集，根据具体的任务来需用。

如本课题与大模型相关任务挂钩，可采用较为通用的大模型benchmark，也可以在自己的垂类应用下，使用对应的数据集进行训练，根据任务的复杂性自定义对应的metric来进行测试。

提供Baseline代码：

Baseline取决于具体的应用，不限于下面的代码。

大模型的剪枝与量化:

https://github.com/horseee/LLM-Pruner

https://github.com/IST-DASLab/gptq

多模态的高效推理：

https://github.com/haotian-liu/LLaVA

https://github.com/lucidrains/flamingo-pytorch

基于系统与编译的高效推理优化：

https://github.com/apache/tvm

https://github.com/vllm-project/vllm

基于强化学习的大模型优化：

https://github.com/lsdefine/simple_GRPO

必读基础论文：

Frantar et al. "GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers" (NeurIPS 2023)
Ma et al. "Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning" (ICML 2024)
Chen et al. "TVM: An Automated End-to-End Optimizing Compiler for Deep Learning" (OSDI 2018)
Kwon et al. "Efficient Memory Management for Large Language Model Serving with PagedAttention" (SOSP 2023)
Liu et al. "LLaVA: Large Language and Vision Assistant" (NeurIPS 2023)
Alayrac et al. "Flamingo: a Visual Language Model for Few-Shot Learning" (NeurIPS 2022)
Wei et al. "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models" (NeurIPS 2022)
Rafailov et al. "Direct Preference Optimization: Your Language Model is Secretly a Reward Model" (NeurIPS 2023)

参考时间安排，以下为参考课表，最终时间安排以实际通知为准：

	WEEK	课程主题	课时(小时)	课程内容/阶段产出
1	Week1	先导课	1--1.5	介绍课题应用和课程安排。
2	Week2	课题概览与科研路径介绍	1--1.5	本课题科研论文的发展、实验环境，训练与推理框架介绍。
3	Week3	选题讨论	1--1.5	确定每位同学的研究Idea。
4	Week4	大模型剪枝与稀疏化算法优化	1--1.5	详解让大模型体积更小、运行更快，同时尽量保持性能的方法。
5	Week5	大模型量化加速全景	1--1.5	进一步从数据位宽到编译来详解如何进一步优化大模型的加速。
6	Week6	参数高效微调（PEFT）革命	1--1.5	介绍用少量计算资源，让大模型适应你的垂类不同任务的高效微调算法（如医疗、法律，生物，金融等）。
7	Week7	Agent智能化与多智能体相互协作	1--1.5	通过角色提示工程和领域知识注入，实现智能体在特定场景下的专业化行为建模，并建立多智能体协作网络。
8	Week8	基于RAG的大模型的知识动态扩展范式	1--1.5	解决大模型的事实性错误（幻觉）、知识更新滞后，基于检索结果生成回答，显著提升输出的准确性和可信度。
9	Week9	Chain-of-Thought推理进阶	1--1.5	针对让大模型像人类一样分步骤思考，解决复杂问题的算法进行深入剖析与实现。
10	Week10	GRPO与强化学习	1--1.5	目前针对大模型的Post-Training中基于强化学习方法的详细介绍和彻底分析。
11	Week11	多模态大模型架构	1--1.5	让大模型同时理解文本、图片、视频等，从各个模态来提升大模型的理解能力。
12	Week12	论文写作方法论(初步)	1--1.5	顶会八股文风格介绍与高效模版手把手教学，套模版中顶会。
13	Week13	论文写作方法论(进阶)	1--1.5	脱离模版的束缚，凝练自己的动机和故事，深刻打动审稿人。
14	Week14	课题汇报与投稿意见	1--1.5	讲解关于论文选会选刊、投稿的方式。